A IA Orca-Math da Microsoft oferece desempenho 10 vezes superior em comparação com modelos maiores.

Notícias Empolgantes para Estudantes e Pesquisadores em STEM!

Se você já teve dificuldades com matemática, como eu tive durante a infância, ou se está ansioso para aprimorar suas habilidades, a Microsoft tem uma novidade incrível para você. Arindam Mitra, pesquisador sênior da Microsoft Research e líder da iniciativa Orca AI, anunciou recentemente o Orca-Math no X. Este modelo inovador, uma variante do Mistral 7B da startup francesa Mistral, foi desenvolvido especificamente para resolver problemas de matemática em formato de texto. Notavelmente, mantém um tamanho compacto, o que o torna eficiente para treinamento e implantação. Essa inovação faz parte do objetivo maior da equipe Orca da Microsoft de aprimorar as capacidades de modelos de linguagem grandes (LLMs) em menor escala.

Orca-Math: Desempenho e Eficiência

O Orca-Math obteve resultados impressionantes, superando modelos com dez vezes mais parâmetros (os pesos e viéses que orientam as conexões dos modelos de IA) na resolução de problemas complexos de matemática. Mitra compartilhou um gráfico demonstrando a superioridade do Orca-Math em relação à maioria dos outros modelos de IA com parâmetros entre 7 e 70 bilhões no benchmark GSM8K—uma coletânea de 8.500 problemas de matemática elaborados para ser resolvidos por alunos de destaque do ensino médio.

Remarkavelmente, o Orca-Math, com seus 7 bilhões de parâmetros, compete quase em pé de igualdade com modelos maiores como o GPT-4 da OpenAI e o Gemini Ultra do Google, enquanto ultrapassa significativamente modelos maiores como o MetaMath (70B) e o Llemma (34B).

Criando o Orca-Math: Uma Abordagem Colaborativa

Como a equipe Orca alcançou esse feito? Eles formularam um novo conjunto de dados com 200.000 problemas de matemática através da colaboração de agentes de IA especializados, incluindo IAs de estudantes e professores, que corrigiram as respostas geradas. Esse conjunto de dados foi construído a partir de 36.217 problemas matemáticos obtidos de conjuntos de dados abertos, com respostas fornecidas pelo GPT-4 da OpenAI. Esse processo culminou no desenvolvimento do Orca-Math utilizando o modelo Mistral 7B.

Além disso, a equipe Orca implementou um sistema de “Suggester and Editor” para produzir questões mais complexas, enriquecendo o conjunto de treinamento da IA. Segundo sua pesquisa publicada em arXiv.org, o processo iterativo de aprimoramento dos problemas contribui significativamente para a formulação de questões desafiadoras que elevam a precisão durante o aprendizado.

Dados sintéticos gerados por máquinas mostraram-se valiosos para impulsionar as capacidades dos LLMs, abordando preocupações sobre a estagnação do modelo. A equipe Orca utilizou o método de "Kahneman-Tversky Optimization" (KTO), que se concentra na avaliação da desirabilidade das saídas em vez de critérios de preferências complexos. Esse método, juntamente com fine-tuning supervisionado tradicional, refinou ainda mais o desempenho do Orca-Math.

Recurso Open-Source: 200.000 Problemas de Matemática para Inovação

A equipe Orca disponibilizou generosamente seu conjunto de dados gerado por IA com 200.000 problemas de matemática no Hugging Face sob uma licença MIT permissiva. Isso abre portas para startups e empresas explorarem, inovarem e até mesmo utilizarem o conjunto de dados para fins comerciais.

Desde o lançamento do Orca 13B em junho de 2023—que utilizou o GPT-4 como modelo de ensino—e o Orca 2 em novembro de 2023, a família Orca continua a se expandir e evoluir, entregando iterações mais inteligentes e compactas.

Com esses avanços, a Microsoft está prestes a transformar o cenário da educação matemática e das ferramentas de aprendizado impulsionadas por IA.