Microsoftのオルカ・マスAI、より大きなモデルと比較して10倍の性能を実現

Home AIニュース Microsoftのオルカ・マスAI、より大きなモデルと比較して10倍の性能を実現

学生とSTEM研究者へのエキサイティングなお知らせ！

数学に苦労したことがある方、あるいはスキルを向上させたい方に、Microsoftから素晴らしいニュースがあります。Microsoftリサーチの上級研究者でオルカAIのリーダーであるアリンダム・ミトラが、数学問題を解くために特化した革新的なモデル「オルカ-マス」を最近発表しました。この新しいモデルは、フランスのスタートアップMistralのMistral 7Bのバリアントであり、コンパクトなサイズで効率的なトレーニングとデプロイメントを実現しています。このブレークスルーは、Microsoftオルカチームが小規模な大型言語モデル（LLM）の能力を高めるという目標の一環です。

オルカ-マス: パフォーマンスと効率の融合

オルカ-マスは、複雑な数学の文章問題を解く際、10倍のパラメーターを持つモデルを上回る印象的な結果を達成しました。ミトラは、オルカ-マスがGSM8Kベンチマークにおいて7億から70億パラメーターを持つAIモデルの中で優位性を示すチャートを共有しました。このGSM8Kは、優秀な中学生が解決できる多様な数学問題8,500問を集めたものです。特に、オルカ-マスの70億パラメーターは、OpenAIのGPT-4やGoogleのGemini Ultraとほぼ同等の競争力を持ち、MetaMath（70B）やLlemma（34B）などのより大きなモデルに対しても大きく優れた性能を示しています。

オルカ-マスの開発: 協力的アプローチ

オルカチームは、どのようにこの偉業を成し遂げたのでしょうか？彼らは、学生や教師のAIを含む専門AIエージェントの協力によって、20万問の数学問題からなる新しいデータセットを作成しました。これらの問題は、オープンデータセットから取得した36,217問の数学問題を基にしており、OpenAIのGPT-4が回答を提供しました。このプロセスは、Mistral 7Bモデルを使用したオルカ-マスの開発に繋がりました。

さらに、オルカチームは「サジェスターとエディター」エージェントシステムを導入し、より複雑な問題を生成することでAIのトレーニングセットを強化しました。arXiv.orgに発表された研究によると、問題の反復的な改善プロセスは、学習時の精度を高める挑戦的な問題の開発に大きく寄与しています。

また、機械生成の合成データは、LLMの能力を向上させ、モデルの停滞に関する懸念を解消する上で非常に貴重であることが証明されています。オルカチームは、「カーネマン・トヴェルスキー最適化（KTO）」手法を活用し、複雑な選好基準よりも出力の desirability（望ましさ）を重視しました。この方法は、従来の監視付きファインチューニングと合わせて、オルカ-マスのパフォーマンスをさらに洗練させました。

オープンソースリソース: 革新のための20万問の数学問題

オルカチームは、彼らのAI生成データセットである20万問の数学問題を、Hugging Face上でMITライセンスの下で無償で提供しています。これは、スタートアップや企業が探索、革新、商業利用を行うための新たな道を開きます。

2023年6月に初代オルカ13Bがリリースされた後（このモデルはGPT-4を指導モデルとして使用）、2023年11月にはオルカ2が続いて公開され、オルカファミリーはさらに拡大し進化を続けています。これにより、より賢く、よりコンパクトなバージョンが一貫して提供されています。

これらの進展により、Microsoftは数学教育とAI駆動の学習ツールの未来を変革する準備が整いました。

未来のためのAI構築に関する公開書簡が見落としている重要な点

Metaプレーン、1300万ドルの資金調達でAIによるデータ異常検出を強化

Most people like

NicheBay

96.8K

イントロダクション：私たちの革新的なモバイルアプリを使って、ドロップシッピングビジネスとShopifyストアの可能性を引き出しましょう。このアプリは、Eコマース起業家のために特別に設計されています。スマートフォンからの操作で、業務を効率化し、生産性を向上させ、売上を最大化します。在庫管理、注文追跡、売上分析など、さまざまな機能をシームレスに統合し、ドロップシッパーやShopifyストアのオーナーの独自のニーズに合わせた使いやすさを提供します。今日からあなたのビジネスを新たな高みに引き上げましょう！

ドロップシッピングアプリ Other

Zapata AI

20.7K

今日の急速に変化するビジネス環境において、産業生成AIの統合が企業ソリューションに革命をもたらしています。高度なアルゴリズムと機械学習を活用することで、組織は生産性を向上させ、イノベーションを推進し、業務を効率化できます。この変革的な技術は、企業が特定のニーズに応じたカスタマイズされたソリューションを作成できるようにし、賢明な意思決定を可能にし、競争の激しい市場での成長を促進します。産業生成AIと共に未来を受け入れ、どのように企業戦略を再定義できるかを発見してください。

産業生成AI Large Language Models (LLMs)

SpicyChat AI

25.6M

SpicyChat AIで魅力的なAIキャラクターと触れ合い、創造しましょう。これまでにないインタラクティブな物語体験をお楽しみください！

チャットボット AI Chatbot

Sku Fetch

13.3K

供給者からの製品情報を収集、整理、編集し、その後さまざまなリスティングプラットフォームにスムーズに配信するために設計された効率的なサービスを紹介します。このソリューションはワークフローを簡素化し、製品データの正確性を確保し、顧客との効果的なエンゲージメントを実現します。

商品取得 AI Product Description Generator

Find AI tools in YBX