Mistral推出Mixtral 8x22B:主導法國開源AI市場

在人工智慧領域,一場新的競爭正悄然興起。法國公司 Mistral AI 最近推出了其開創性的混合大型專家模型 Mixtral 8x22B,具備令人驚嘆的 1760 億個參數,成為市場上第二大開源模型,僅次於 Grok-1。

Mixtral 8x22B 因其創新架構而備受關注,擁有八個專家模型,每個模型擁有 220 億個參數。整個模型文件大小約為 262GB。在性能方面,Mixtral 8x22B 在多項評估中表現優異,特別是在 MMLU(大規模多任務語言理解)測試中,榮登開源模型之首。此外,它在 Hellaswag、TruthfulQA 和 GSM8K 等測試中超越了 Llama 2 70B、GPT-3.5 和 Claude 3 Sonnet 等競爭對手。

Mixtral 8x22B 的推出雖然略顯低調,但在開源社群中引發了巨大興奮。上市不久後,該模型便迅速上架 Hugging Face,讓用戶能夠進一步訓練和部署。此外,AI 搜尋平台 Perplexity Labs 和開源平台 Together AI 也迅速提供必要支援。

在性能優化方面,AI 科學家賈揚清指出,透過有效的量化,Mixtral 8x22B 能夠在四個 A100/H100 GPU 上運行,通常只需三個 A100 GPU 即可。此外,Apple 機器學習研究員 Awni Hannun 強調該模型與 Apple MLX 框架中的 M2 Ultra 芯片相容,並與 MLX 社群分享量化模型。

Mistral AI 的進展展示了法國在人工智慧領域的強大實力,進一步推動全球 AI 技術的發展。迅速成長的開源社群使得 Mixtral 8x22B 的推出為開發者和研究者帶來全新的機遇與挑戰。

近年來,法國在 AI 領域取得了顯著進展,從訓練機構發展成為深度學習研究中心和科技孵化器,確立了全球 AI 生態系的重要地位。谷歌 DeepMind 在巴黎開設實驗室,更顯示出該國在 AI 領域的吸引力。Mistral AI 的成功為法國的 AI 生態系注入了新動能。

展望未來,我們期待像 Mistral AI 這樣的公司紛紛湧現,推動全球 AI 技術的進步,並透過創新與合作為社會帶來更美好的未來。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles