画期的なオープンソース言語モデルが、Hugging Faceの最新ランキングにおいて世界最高の座を獲得しました。Hugging Faceは自然言語処理（NLP）研究及びアプリケーションの主要プラットフォームです。このモデル、名付けられた「Smaug-72B」は、人工知能と機械学習の複雑な課題に取り組むスタートアップAbacus AIにより本日発表されました。Smaug-72Bは、数ヶ月前にAlibaba Groupの研究チームによって発表された著名な言語モデル「Qwen-72B」の微調整されたバージョンです。
特筆すべきは、Smaug-72Bが一流の独自言語モデルであるOpenAIのGPT-3.5およびMistral Mediumを、複数の重要なベンチマークで上回ったことです。また、Smaug-72BはQwen-72Bに対しても大きな差をつけて評価されています。
Hugging FaceのオープンLLMリーダーボードによると、Smaug-72Bは全体の主要評価で平均80を超える初のオープンソースモデルとなりました。まだ90〜100の人間レベルのパフォーマンスには達していないものの、そのリリースはオープンソースAIの風景に変革の兆しをもたらすものと期待されています。
オープンソースの利点
「Abacus AIのSmaug-72Bが、平均スコア80を達成した初のモデルとしてLLMリーダーボードの首位に立っています」とAbacus AIのCEO、ビンドゥ・レディがX.comの投稿で述べています。「次の目標は、これらの技術を研究論文として発表し、Mistralのトップモデル、特に70Bの微調整版LLama-2であるMiquに適用することです。私たちが用いた技術は、論理的思考や数学のスキルに特化しており、これが驚異的なGSM8Kのスコアにつながっています。今後の論文でさらなる洞察を提供する予定です。」
Smaug-72Bは、その優れたパフォーマンスだけでなく、Abacus AIが適用した特別な微調整技術によって向上した論理的思考や数学タスクの能力でも注目されています。これらの技術は大規模な言語モデルが抱える一般的な弱点に対応し、パフォーマンスの向上を実現しました。
他にも、Qwenから発表されたQwen 1.5という強力な小規模言語モデル群（0.5Bから72Bパラメータまで）も注目されています。Qwen 1.5はMistral MediumやGPT-3.5を上回り、32kのコンテキスト長と多様なツールとの互換性を備え、迅速なローカル推論に対応しています。また、Qwenは新たな大規模視覚言語モデルQwen-VL-Maxを発表し、GoogleのGemini UltraやOpenAIのGPT-4Vと競っています。
AIの未来への示唆
Smaug-72BやQwen 1.5の台頭は、AIコミュニティや広範なテック業界内で期待と議論を巻き起こしています。多くの専門家は、Abacus AIやQwenによるオープンソースAIの貢献を称賛し、過去1年間での急速な進展を強調しています。
「去年の今頃、私たちはDollyのようなモデルに感動していたことを考えると信じられない。」とAIインフルエンサーでアナリストのサハール・モールがLinkedInで述べ、オープンソースモデルの急速な進化について反映しています。
Smaug-72BとQwen 1.5は、Hugging Faceで一般公開されており、ユーザーは自由にダウンロード、利用、変更することができます。Abacus AIとQwenは、言語モデルの人間評価リーダーボードにもモデルを提出予定で、さらにオープンソースモデルの制作や多様なアプリケーションの探求に向けたプロジェクトを示唆しています。
Smaug-72BとQwen 1.5は、最近のオープンソースAIの急速な進化を象徴しています。それは、主要なテック企業の支配に挑む革新と民主化の波であり、開発者や研究者に新たな機会を広げています。Smaug-72BのHugging Faceリーダーボードにおけるリーダーシップが今後どうなるかは未知ですが、オープンソースAIが着実に勢いを増していることは明らかです。
ランキング
