Microsoftが発表した「LeMa」：人間の問題解決を模倣する革新的なAI学習法

Home AIニュース Microsoftが発表した「LeMa」：人間の問題解決を模倣する革新的なAI学習法

Microsoft Research Asia、北京大学、及び西安交通大学の研究者たちは、大規模言語モデル（LLM）の数学的問題解決能力を向上させるための革新的な手法を導入しました。このアプローチは、人間の学習を模倣し、LLMが自身のミスから学ぶことを促します。

新たに発表されたこの戦略、Learning from Mistakes（LeMa）は、AIに自らのエラーを認識し修正するよう訓練することに焦点を当てており、最近の研究論文もその内容を詳述しています。

LeMaのインスピレーション

研究者たちは、人間がミスから学び、未来のパフォーマンスを向上させるプロセスに着目しています。著者たちは「挑戦的な数学の問題に直面した学生は、エラーから学び、どのように修正するかを理解する」と述べています。この原理を、GPT-4によって生成されたミス修正データペアを用いてLLMに適用しました。

LeMaによる数学的推論の向上

従来のモデル（例：LLaMA-2）は、数学の文章問題に対して誤った推論経路を生成していました。GPT-4はその後、これらのミスを特定し、エラーを明確化し、修正された推論経路を提供しました。研究者たちは、この洗練されたデータを利用して元のモデルを再訓練しました。

LeMaから得られた優れた結果

この新しい手法の成果は素晴らしいものです。「5つのバックボーンLLMと2つの数学的推論タスクにおいて、LeMaはChain of Thought（CoT）データに基づくファインチューニングを常に上回ります」と研究者たちは報告しています。WizardMathやMetaMathなどの専門モデルもLeMaによる恩恵を受け、GSM8Kで85.4%、MATHで27.1%のpass@1精度を達成し、これらの困難な領域での従来の最先端性能を超えました。

より広がる意味と今後の展望

研究者たちの仕事、コード、データ、モデルはGitHubで公開されており、AIコミュニティ内の協力が促進され、機械学習のさらなる革新の道を開いています。LeMaの導入はAIにおける重要な進展を示しており、機械学習が人間の学習プロセスにより近づくことができる可能性を示しています。この進化は、エラー修正や継続的学習が重要な医療、金融、自律走行車などの分野に革命をもたらすでしょう。

AIの市場が進化し続ける中、ミスから学ぶといった人間に似た学習方法を統合することが、より優れた影響力のあるAIシステムの開発において重要になります。このブレイクスルーは、人工知能の巨大な可能性を際立たせ、人間の能力を超えた複雑な問題解決タスクにおいてAIが優れた成果を上げる未来に一歩近づいたことを意味しています。

SAPが開発者の生産性を向上させ、カスタムアプリ作成を強化するために生成AIを強化

Midjourneyの新しいスタイルチューナーを活用する方法：クリエーションを強化するステップバイステップガイド