微軟的Orca-Math AI 相較於更大模型，性能提升達十倍

Home AI新聞微軟的Orca-Math AI 相較於更大模型，性能提升達十倍

學生和STEM研究者的振奮消息！

如果你在數學方面曾經碰到困難，或者想要提升你的技能，那麼微軟有令人興奮的消息要告訴你。微軟研究院的高級研究員、Orca AI計畫負責人阿林達姆·米特拉（Arindam Mitra）最近在X平台上宣布了Orca-Math。這款創新的模型是法國初創公司Mistral的Mistral 7B的變種，專為解決數學文字題而設計，保持了緊湊的大小，提升了訓練和部署的效率。這一突破是微軟Orca團隊提升小型大型語言模型（LLMs）能力的總體目標的一部分。

Orca-Math：性能與效率的結合

Orca-Math在解決複雜的數學文字題中表現出色，超越了參數數量是其十倍的其他模型。米特拉分享了一張圖表，顯示Orca-Math在GSM8K基準測試中的優勢，該測試包含8,500道設計上適合優秀中學生解答的多樣化數學問題。令人生驚的是，具有70億參數的Orca-Math與OpenAI的GPT-4和谷歌的Gemini Ultra幾乎平起平坐，並且明顯優於MetaMath（70B）和Llemma（34B）等更大的模型。

創造Orca-Math：合作的成果

Orca團隊是如何達成這一成就的呢？他們通過專業AI代理（包括學生和教師AI）的合作，制作了一個包含200,000道數學題目的新數據集，這些代理對生成的答案進行了修正。該數據集來自36,217道公開數據集中的數學題目，答案由OpenAI的GPT-4提供。這一過程最終促成了基於Mistral 7B模型的Orca-Math的開發。

此外，Orca團隊實施了一個「建議和編輯」代理系統，生成更複雜的問題，進一步提升了AI的訓練集。根據他們發表在arXiv.org上的研究，迭代改進問題的過程對於開發更具挑戰性的問題並推動學習的高準確性貢獻顯著。

機器生成的合成數據在提升大型語言模型的能力上顯示出其價值，解決了模型停滯不前的擔憂。Orca團隊採用了「卡尼曼-特沃斯基優化」（KTO）方法，著重於評估輸出的可取性，而不是複雜的偏好標準。這一方法結合傳統的有監督微調，進一步提升了Orca-Math的性能。

開源資源：20萬道數學問題促進創新

Orca團隊慷慨地將他們生成的20萬道數學題目數據集在Hugging Face上以MIT許可協議公開，為初創企業和公司提供探索、創新甚至商業應用的機會。

自2023年6月釋出的原版Orca 13B以來，該模型利用GPT-4作為教學模型，隨後在2023年11月發布了Orca 2，Orca家族持續擴展和演變，穩定推出更智能、更緊湊的版本。

隨著這些進展，微軟將改變數學教育和AI驅動學習工具的格局。

為什麼致「為美好未來而創造AI」的公開信沒有達到目標

Metaplane 獲得 1300 萬美元投資，以利用人工智慧進行數據異常檢測