Cohere for AI 揭示支持 101 種語言的開源大型語言模型：提升全球 AI 溝通能力

Home AI新聞 Cohere for AI 揭示支持 101 種語言的開源大型語言模型：提升全球 AI 溝通能力

今天，Cohere for AI，一個由Cohere於2022年創立的非營利研究實驗室，推出了Aya，一個開源的大型語言模型（LLM），支持101種語言，超過現有開源模型的兩倍。此次發布還伴隨著Aya數據集，該數據集包含人類標註，對於訓練較少使用語言的模型至關重要。Cohere for AI的研究人員還開發了在有限訓練數據下提升模型性能的方法。

Aya項目自2023年1月啟動以來，吸引了來自119個國家的3000多位合作者，這是一次重大的努力。Cohere的研究副總裁Sara Hooker表示，該項目超出了最初的預期，擁有超過5.13億條精調指令標註。這些關鍵數據被視為“金礦”，對於改進大型語言模型的訓練至關重要，超越了僅從互聯網上抓取的基本數據。

Cohere共同創辦人兼CTO Ivan Zhang在X平台上分享，團隊正在推出超過100種語言的人類示範，以擴大大型語言模型的可及性，確保其能夠服務全球受眾，而不僅限於英語使用者。他讚賞這是Hooker和Cohere for AI團隊在科學和運營方面的卓越成就。

釋放大型語言模型對於代表性不足語言與文化的潛力

根據Cohere的博客貼文，Aya模型和數據集旨在幫助研究人員挖掘現有模型未充分關注的多種語言和文化的潛力。Cohere for AI的基準測試顯示，Aya模型顯著優於最佳的開源多語言模型，如mT0和Bloomz，並擴展到超過50種之前未被服務的語言，包括索馬利亞語和烏茲別克語。

Hooker強調，支持超過6種語言的模型被視為“極端”，而真正實現“極為多語言”表現的模型只有少數，通常接近25種語言。

解決英語以外的數據資源不足問題

Hooker解釋，除了英語的精調數據外，還存在一個數據“懸崖”，使得Aya的數據集格外珍貴。她相信研究人員會從該數據集中選擇語言，以針對特定語言社區開發模型，這是迫切的需求。然而，她也指出，主要的技術挑戰在於精確度，因為全球用戶期望能夠獲得針對其語言量身定制的模型。

前Google DeepMind研究員Aleksa Gordic，創建的YugoGPT在塞爾維亞語、波士尼亞語、克羅埃西亞語和黑山語方面超越了Mistral和Llama 2，強調了像Aya這樣的多語言數據集的重要性。他表示，為非英語語言開發高品質大型語言模型，必須有高品質和豐富的數據來源。

儘管他認為這項努力是朝著正確方向邁出了重要一步，但Gordic指出，全球研究社區和政府支持對於創建和維護大型高品質數據集，以在不斷演變的AI環境中保護語言和文化是必要的。

Cohere for AI的Aya模型和數據集現已在Hugging Face上提供。

啟用會議洞察：Otter.ai 創新的「Meeting GenAI」徹底改變您捕捉對話智慧的方式

有效的廣告策略：運用生成式人工智慧、跨類型內容與遊戲化 | AppLovin

Most people like

Privee AI

46.1K

創建個性化的 AI 角色，讓對話更具吸引力並提供互動體驗。

AI 角色 AI Character

Stockimg AI

415.2K

介紹 Stockimg AI：一個創新的 AI 驅動平台，旨在輕鬆打造令人驚艷的標誌、引人入勝的書籍封面和吸引眼球的海報。與 Stockimg AI 一起釋放你的創造潛力！

AI 圖像生成 Text to Image

Hammer

54.3K

隨時隨地以人工智慧驅動的回應吸引買家。

人工智慧 AI Reply Assistant

Decoritt

60.4K

探索我們創新的 AI 家居設計平台，開啟室內設計的未來。這款強大的工具利用最新的人工智慧進步，幫助您輕鬆創建並視覺化夢想中的生活空間。無論您是專業設計師或DIY愛好者，我們的平台都提供量身定制的解決方案，以滿足您獨特的風格和需求。憑藉直觀的功能和智能設計建議，改造您的家從未如此輕鬆和愉快。請與我們一同探索我們的AI技術如何重新定義您的家居設計方式。

AI室內設計 AI Photo & Image Generator

Find AI tools in YBX