蘋果推出OpenELM:一款開源語言模型,助力設備上的AI開發

在人工智慧領域的一項重大突破中,Apple 最近推出了 OpenELM,這是一系列開源的大型語言模型(LLM),旨在直接在裝置上運行,而無需依賴雲端伺服器。這一創新不僅鞏固了 Apple 在 AI 領域的領導地位,還為自然語言處理的研究和應用帶來了革命性的變化。

OpenELM 的發佈增強了 Hugging Face 平台上的 AI 資源,為全球的研究人員和開發者提供了一個協作與創新的空間。這一系列模型共包括八個版本:四個使用 CoreNet 庫進行預訓練,四個針對特定應用場景進行微調。

Apple 在開發 OpenELM 時採用了分層擴展策略,有效地在變壓器模型的每一層分配參數,從而顯著提高了準確性。OpenELM 的參數預算約為十億,準確性較 OLMo 模型提高 2.36%,同時將所需的預訓練數據量減少了一半。

重要的是,隨著 OpenELM 的發布,Apple 也公開了模型的源代碼、預訓練權重、完整的訓練日志、多個檢查點和預訓練配置。這種開放的方式有助於研究人員和開發者重現和優化模型,加速自然語言處理領域的進展。

Apple 表示,發布 OpenELM 的目的是「賦能並豐富開放的研究社群」,提供前沿的語言模型,讓研究人員探索風險、數據和模型偏見。開發者和公司可以直接使用或修改這些模型,以滿足各種實際應用需求。

此外,這項開源計劃使 Apple 能夠吸引頂尖工程師、科學家和專家。透明的信息共享政策為研究者提供了發表論文的機會,這在 Apple 之前的保密做法下是相對受限的。

雖然 Apple 尚未完全將其 AI 能力整合入裝置,但普遍預期 iOS 18 將會包含多項新的 AI 功能。有消息稱,Apple 計劃將大型語言模型直接運行於裝置上,以加強用戶隱私,最終提供更順暢和更安全的使用體驗。

OpenELM 的推出無疑為 Apple 在人工智慧發展奠定了堅實的基礎。隨著越來越多的公司和研究機構參與這一開源項目,自然語言處理領域有望迎來更多創新和突破。通過擁抱開源計劃,Apple 展示了其推進科技和促進協作創新的承諾。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles