Snowflake 推出 Arctic：一款開放的「專家混合」大型語言模型，旨在與 DBRX 和 Llama 3 競爭。

今天，Snowflake 發布了 Arctic，一款針對複雜企業任務（如 SQL 生成、代碼創建和遵循指令）設計的大型語言模型 (LLM)。被宣傳為「最開放的企業級 LLM」，Arctic 採用了專家混合 (MoE) 架構，高效地達成企業工作負載的高標準。它在世界知識、常識、推理和數學能力等方面的表現，與 Databricks、Meta 和 Mistral 的標準模型相抗衡。

Snowflake 執行長 Sridhar Ramaswamy 表示：「這是 Snowflake 的一個關鍵時刻，我們的 AI 研究團隊站在創新的前沿。透過以開放的方式提供行業領先的智能和效率，我們正在擴大開源 AI 的潛力。Arctic 的研究將顯著提升我們為客戶提供可靠和高效 AI 的能力。」

此次發布是 Snowflake 與積極推進 AI 計畫的 Databricks 展開競爭的戰略舉措。近來，Snowflake 在收購了 Neeva 並任命 Ramaswamy 為執行長後，對 AI 的關注加劇。

Arctic：專為企業工作負載設計

隨著現代企業對生成式 AI 的接受度提升，開發應用（如檢索增強生成（RAG）聊天機器人、數據助手和代碼助理）正在激增。雖然市面上有許多模型，但專門針對企業需求的卻不多，這正是 Snowflake Arctic 的優勢所在。

Ramaswamy 在最近的簡報中表示：「我們相信 AI 會提升端到端 AI 產品的開發。我們的願景是創建一個 API，使用戶可以直接與數據互動，將數據民主化。Arctic 是實現這一願景的重要步驟。」

Arctic 採用了密集型 MoE 混合架構，將參數劃分為 128 個專門的子專家。這些專家只處理他們最擅長的輸入標記，並在回答查詢時僅激活 4800 億個參數中的 170 億。這種針對性的方法確保了高效能和最小的計算需求。

基準測試顯示，Arctic 有效應對企業任務，在各項測試中平均得分為 65%。這一表現與 Llama 3 70B 的平均企業得分 70% 相近，僅次於 Mixtral 8X22B 的 70%。

在 SQL 生成的 Spider 基準測試中，Arctic 得分 79%，超越了 Databricks 的 DBRX 和 Mixtral 8X7B，並接近 Llama 3 70B 和 Mixtral 8X22B。在編碼任務中，Arctic 獲得 64.3%的得分，優於 Databricks 和較小的 Mixtral 模型，但仍落後於 Llama 3 70B 和 Mixtral 8X22B。

值得注意的是，在 IFEval 的遵循指令能力基準測試中，Arctic 得分 52.4%，超過了大多數競爭對手，僅次於最新的 Mixtral 模型。

效率與成本效益

Snowflake 表示，Arctic 的企業智慧水平是以突破性的效率實現的，訓練計算預算低於 200 萬美元，顯著低於 Llama 3 70B 的 1700 萬美元。此外，Arctic 僅使用 17 個活躍的參數，進一步增強了其成本效益。

Apache 2.0 許可下的可用性

Snowflake 透過其 LLM 應用開發服務 Cortex 以及多個模型目錄（包括 Hugging Face、Lamini、Microsoft Azure、Nvidia API 目錄、Perplexity 和 Together）提供 Arctic。用戶可在 Hugging Face 上根據 Apache 2.0 許可下載 Arctic 的模型權重和代碼，以便進行無限制的個人、商業或研究使用。

隨著模型發布，Snowflake 也提供了一份數據食譜，以便在單個 GPU 上高效調整，並詳細說明了模型的設計和訓練過程的研究手冊。「這本食譜旨在加速對世界級 MoE 模型感興趣者的學習曲線，提供高層次見解和詳細的技術規格，幫助用戶構建高效且具有成本效益的 LLM，如 Arctic。」Snowflake 的 AI 負責人 Baris Gultekin 在新聞發布會上表示。