Microsoftのオルカ・マスAI、より大きなモデルと比較して10倍の性能を実現

Home AIニュース Microsoftのオルカ・マスAI、より大きなモデルと比較して10倍の性能を実現

学生とSTEM研究者へのエキサイティングなお知らせ！

数学に苦労したことがある方、あるいはスキルを向上させたい方に、Microsoftから素晴らしいニュースがあります。Microsoftリサーチの上級研究者でオルカAIのリーダーであるアリンダム・ミトラが、数学問題を解くために特化した革新的なモデル「オルカ-マス」を最近発表しました。この新しいモデルは、フランスのスタートアップMistralのMistral 7Bのバリアントであり、コンパクトなサイズで効率的なトレーニングとデプロイメントを実現しています。このブレークスルーは、Microsoftオルカチームが小規模な大型言語モデル（LLM）の能力を高めるという目標の一環です。

オルカ-マス: パフォーマンスと効率の融合

オルカ-マスは、複雑な数学の文章問題を解く際、10倍のパラメーターを持つモデルを上回る印象的な結果を達成しました。ミトラは、オルカ-マスがGSM8Kベンチマークにおいて7億から70億パラメーターを持つAIモデルの中で優位性を示すチャートを共有しました。このGSM8Kは、優秀な中学生が解決できる多様な数学問題8,500問を集めたものです。特に、オルカ-マスの70億パラメーターは、OpenAIのGPT-4やGoogleのGemini Ultraとほぼ同等の競争力を持ち、MetaMath（70B）やLlemma（34B）などのより大きなモデルに対しても大きく優れた性能を示しています。

オルカ-マスの開発: 協力的アプローチ

オルカチームは、どのようにこの偉業を成し遂げたのでしょうか？彼らは、学生や教師のAIを含む専門AIエージェントの協力によって、20万問の数学問題からなる新しいデータセットを作成しました。これらの問題は、オープンデータセットから取得した36,217問の数学問題を基にしており、OpenAIのGPT-4が回答を提供しました。このプロセスは、Mistral 7Bモデルを使用したオルカ-マスの開発に繋がりました。

さらに、オルカチームは「サジェスターとエディター」エージェントシステムを導入し、より複雑な問題を生成することでAIのトレーニングセットを強化しました。arXiv.orgに発表された研究によると、問題の反復的な改善プロセスは、学習時の精度を高める挑戦的な問題の開発に大きく寄与しています。

また、機械生成の合成データは、LLMの能力を向上させ、モデルの停滞に関する懸念を解消する上で非常に貴重であることが証明されています。オルカチームは、「カーネマン・トヴェルスキー最適化（KTO）」手法を活用し、複雑な選好基準よりも出力の desirability（望ましさ）を重視しました。この方法は、従来の監視付きファインチューニングと合わせて、オルカ-マスのパフォーマンスをさらに洗練させました。

オープンソースリソース: 革新のための20万問の数学問題

オルカチームは、彼らのAI生成データセットである20万問の数学問題を、Hugging Face上でMITライセンスの下で無償で提供しています。これは、スタートアップや企業が探索、革新、商業利用を行うための新たな道を開きます。

2023年6月に初代オルカ13Bがリリースされた後（このモデルはGPT-4を指導モデルとして使用）、2023年11月にはオルカ2が続いて公開され、オルカファミリーはさらに拡大し進化を続けています。これにより、より賢く、よりコンパクトなバージョンが一貫して提供されています。

これらの進展により、Microsoftは数学教育とAI駆動の学習ツールの未来を変革する準備が整いました。

未来のためのAI構築に関する公開書簡が見落としている重要な点

Metaプレーン、1300万ドルの資金調達でAIによるデータ異常検出を強化

Most people like

AI Web Designer

27.6K

今日のデジタル環境において、ウェブサイトを常に新鮮で魅力的に保つことは、訪問者の獲得と維持にとって非常に重要です。私たちのAI駆動のウェブサイト再設計ツールは、先進的なアルゴリズムを活用してユーザーの行動やデザインのトレンドを分析し、シームレスでダイナミックなオンライン体験を提供します。この革新的なソリューションは、企業がウェブプレゼンスを簡単に向上させ、ユーザーエンゲージメントを改善し、最終的にはコンバージョンを増加させることを可能にします。私たちのAI技術が、どのようにあなたのウェブサイトを成長のための強力なツールに変えることができるのかをご覧ください。

AIウェブサイトの再設計 AI Website Designer

GetBooks.ai

パーソナライズされたAIによる本のおすすめを発見し、洞察に満ちた要約と詳細な分析をお楽しみください。読書体験を向上させ、次のお気に入りの本を簡単に見つけましょう。

書籍おすすめ Other

Araby.ai

276.1K

Araby.aiへようこそ。高度なアラビア語AIツールを提供し、多様な業界を支えます。アラビア語を話すユーザー向けに特別に設計された革新的なソリューションで、未来の技術を体験してください。

アラビア語AI AI Productivity Tools

Gliglish

614.9K

Gliglishは、手頃な価格で会話力とリスニング力を向上させるために設計された革新的なAI語学教師です。Gliglishで効果的な言語学習を体験し、あなたの可能性を今日から解き放ちましょう！

言語学習 Large Language Models (LLMs)

Find AI tools in YBX