コヒア、Aya 23を発表：20以上の言語に対応したオープンウェイトAIモデル

今日、Cohere for AI（C4AI）は、カナダのエンタープライズAIスタートアップCohereの非営利研究部門として、最新の多言語言語モデル「Aya 23」のオープンウエイトを発表しました。Aya 23は、8Bおよび35Bという2つのバリエーションで提供されており、これらのパラメータは人工ニューロン間の接続の強さを示しています。パラメータの数が多いほど、モデルの能力も高くなります。このリリースは、C4AIのAyaイニシアティブの一環であり、多言語対応の強化を目指しています。

C4AIはAya 23の重みをオープンソース化しており、外部の研究者がモデルを特定のニーズに合わせて微調整できます。完全なオープンソースリリース（トレーニングデータやアーキテクチャの詳細を含む）ではありませんが、MetaのLlamaモデルと同様に、かなりの柔軟性を提供しています。

Aya 23は、前のモデルAya 101を基にしており、アラビア語、中国語（簡体字および繁体字）、チェコ語、オランダ語、英語、フランス語、ドイツ語、ギリシャ語、ヘブライ語、ヒンディー語、インドネシア語、イタリア語、日本語、韓国語、ペルシャ語、ポーランド語、ポルトガル語、ルーマニア語、ロシア語、スペイン語、トルコ語、ウクライナ語、ベトナム語の23言語をサポートしています。Cohere for AIは、このモデルが世界人口のほぼ半分に高度な言語モデル機能を提供すると主張しています。また、Aya 23はAya 101だけでなく、GoogleのGemmaやMistralのモデルに対しても高品質な応答を提供します。

Ayaで言語の壁を打破

最近、大規模な言語モデル（LLM）が急速に普及していますが、多くは主に英語に焦点を当てています。そのため、リソースが限られた言語に対しては対応が不十分です。C4AIの研究者は、堅牢な多言語事前学習モデルの不足と多様な指示スタイルのトレーニングデータの欠如という二つの主要な問題を特定しました。これらの課題に対処するため、C4AIはAyaイニシアティブを立ち上げ、119カ国の3,000人以上の独立研究者と連携しました。その成果がAyaコレクションであり、5億1300万件のプロンプトと完了文を含む巨大な多言語指示スタイルのデータセットが作成され、101言語をカバーする指示調整済みLLMの基盤となりました。

2024年2月にリリースされたAya 101は、多言語言語モデリングの大きな進歩を示しましたが、旧式のmT5に基づいており、設計が広範であるため individual 言語間のパフォーマンスが希薄化していました。Aya 23の導入により、Cohere for AIは23の言語に集中し、パフォーマンスの向上を図りました。これらのモデルは、CohereのCommandSiriーズとAyaコレクションに基づいており、より少ない言語にリソースを集中させることで生成品質を向上させています。

評価結果によると、Aya 23はAYA 101やGemma、Mistralなどの広く使用されるモデルをさまざまな識別的および生成的タスクで上回っています。識別的タスクで最大14％、生成的タスクで20％、多言語のMMLUで41.6％の改善が見られ、特に数学的推論においてAya 101と比較して6.6倍の向上が実現されています。

すぐにアクセス可能

Cohere for AIは、高性能の多言語モデルに向けた重要な一歩を踏み出しました。8Bおよび35Bモデルのオープンウエイトは、Hugging Face上のクリエイティブ・コモンズ 表示-非営利 4.0国際ライセンスのもとで利用可能です。「Aya 23モデルファミリーの重みを公開することにより、研究者や実務者が多言語モデルやアプリケーションを進められることを目指しています」と研究者たちは述べました。ユーザーはCohere Playgroundで新しいモデルを無料で試すこともできます。