Искусственный интеллект Orca-Math от Microsoft обеспечивает в 10 раз более высокую производительность по сравнению с большими моделями.

Удивительные новости для студентов и исследователей STEM!

Если вы когда-либо испытывали трудности с математикой, как это было у меня в детстве, или если вы просто хотите улучшить свои навыки, у Microsoft есть отличные новости для вас.

Арианда Митра, старший исследователь Microsoft Research и руководитель инициативы Orca AI, недавно анонсировал Orca-Math в X. Эта инновационная модель, вариант Mistral 7B от французского стартапа Mistral, специально разработана для решения математических задач. Она компактна и эффективна для обучения и развертывания. Это достижение является частью более широкой цели команды Microsoft Orca — улучшить способности маломасштабных больших языковых моделей (LLMs).

Orca-Math: производительность и эффективность

Orca-Math демонстрирует впечатляющие результаты, превосходя модели с десятикратным количеством параметров в решении сложных математических задач. Митра поделился графиком, показывающим превосходство Orca-Math над большинством других AI моделей с 7-70 миллиардами параметров в бенчмарке GSM8K, который включает 8,500 разнообразных задач, предназначенных для умных учащихся средней школы.

Удивительно, но Orca-Math с 7 миллиардами параметров практически сравним с более крупными моделями, такими как GPT-4 от OpenAI и Gemini Ultra от Google, значительно превосходя модели MetaMath (70B) и Llemma (34B).

Создание Orca-Math: Сотрудничество и инновации

Как команде Orca удалось достичь такого успеха? Они разработали новый набор данных из 200,000 математических задач с помощью специализированных AI-агентов, включая AI-учеников и учителей, которые проверяли сгенерированные ответы. Этот набор был составлен из 36,217 задач, полученных из открытых источников, с ответами, предоставленными GPT-4 от OpenAI. Этот процесс завершился разработкой Orca-Math на основе модели Mistral 7B.

Кроме того, команда Orca внедрила систему "Suggester and Editor", которая создавала более сложные вопросы, улучшая набор данных для тренировки AI. Исследования, опубликованные на arXiv.org, показывают, что итеративный процесс улучшения задач значительно способствует разработке сложных вопросов, обеспечивающих высокую точность во время обучения.

Синтетические данные, созданные машиной, доказали свою ценность в улучшении возможностей LLM, решая проблемы стагнации моделей. Команда Orca использовала метод "Kahneman-Tversky Optimization" (KTO), сосредотачиваясь на оценке желательности результатов, а не на сложных предпочтениях. Этот метод, в дополнение к традиционному контролируемому дообучению, дополнительно улучшил производительность Orca-Math.

Ресурс с открытым исходным кодом: 200,000 математических задач для инноваций

Команда Orca щедро сделала свой AI-сгенерированный набор данных из 200,000 задач доступным на Hugging Face под лицензией MIT. Это откроет двери для стартапов и компаний для исследования, инноваций и даже коммерческого использования набора данных.

С момента выпуска оригинальной модели Orca 13B в июне 2023 года, которая использовала GPT-4 в качестве обучающей модели, а затем Orca 2 в ноябре 2023 года, семья Orca продолжает расширяться и развиваться, постоянно предлагая более умные и компактные версии.

С этими достижениями Microsoft готова изменить ландшафт математического образования и инструментов обучения на основе AI.