艾倫人工智慧研究所(AI2)是一個由已故微軟共同創辦人保羅·艾倫於2014年成立的非營利機構,最近推出了一款名為OLMo的開源大型語言模型(LLM),該模型被形容為「真正的開源」以及「最先進」的限制性封閉模型替代品。此舉標誌著人工智慧發展的重大變革。
與其他僅分享代碼和權重的模型不同,OLMo提供全面資源,包括訓練代碼、訓練數據及相關工具包,還有評估工具。OLMo的所有組件,包括代碼、權重和中間檢查點,都以Apache 2.0許可證的形式發布,經Open Source Initiative批准。
此公告恰逢開源人工智慧迅速發展之際,努力趕上OpenAI的GPT-4和Anthropic的Claude等專有模型。例如,位於巴黎的初創公司Mistral的首席執行官最近確認了一款新開源AI模型的出現,其性能接近GPT-4。此外,Meta最近發布了其代碼生成模型Code Llama 70B的增強版,並且對即將推出的Llama LLM版本充滿期待。
然而,開源AI領域面臨來自一些研究人員、監管機構和政策制定者的批評。一篇特別具爭議的意見文章在IEEE Spectrum上宣稱「開源AI具有獨特的危險性」。
OLMo框架提倡「完全開放」的方式,提供對預訓練數據、訓練代碼、模型權重和評估過程的全面訪問,包括推理代碼、訓練指標、訓練記錄,以及涵蓋所有模型的開發評估套件,該套件在Catwalk項目中跟踪了訓練過程中的500多個檢查點。
AI2的研究人員計劃透過引入各種模型大小、多個模態、數據集和功能,持續改進OLMo。AI2的自然語言處理研究高級總監Hanna Hajishirzi表示:「許多語言模型今天缺乏透明度。研究人員無法在沒有訓練數據的情況下全面理解模型的運作。我們的框架使研究人員能夠科學地研究LLM,對於開發安全且可靠的AI至關重要。」
AI2的機器學習科學家Nathan Lambert強調,OLMo代表著LLM的新範式。他說:「OLMo促進了機器學習研究與部署的新方法,為過程中的每個階段提供科學發展的便利。」
開源AI社區對OLMo的推出反應熱烈。MosaicML和Databricks的首席科學家Jonathan Frankle稱讚此舉為「開放科學的巨大躍進」。Hugging Face的首席技術官在社交媒體上也表示,該模型「正在推動開源AI的邊界」。
Meta的首席科學家Yann LeCun在AI2的新聞稿中指出:「開放基礎模型驅動生成式AI的創新,而充滿活力的開源社群是塑造AI未來的關鍵。」