Um inovador modelo de linguagem de código aberto conquistou agora o título de melhor do mundo, conforme os últimos rankings da Hugging Face, uma plataforma líder em pesquisa e aplicações de processamento de linguagem natural (PNL). O modelo, chamado "Smaug-72B", foi lançado publicamente hoje pela Abacus AI, uma startup dedicada a resolver desafios complexos em inteligência artificial e aprendizado de máquina. Smaug-72B é uma versão ajustada do "Qwen-72B", outro modelo de linguagem proeminente apresentado há apenas alguns meses por uma equipe de pesquisa do Alibaba Group.
Significativamente, o Smaug-72B supera o GPT-3.5 da OpenAI e o Mistral Medium—dois dos modelos de linguagem proprietários mais avançados—em várias avaliações importantes. Notavelmente, ele também supera o Qwen-72B por uma margem substancial em muitas avaliações.
De acordo com o ranking Open LLM da Hugging Face, que avalia o desempenho de modelos de linguagem de código aberto em diversas tarefas, Smaug-72B é agora o primeiro e único modelo de código aberto a ter uma pontuação média superior a 80 em todas as avaliações principais. Embora ainda não tenha alcançado a média de 90-100 pontos, que indica desempenho em nível humano, seu lançamento sinaliza uma possível mudança no cenário de IA de código aberto, sugerindo que pode em breve rivalizar com as capacidades de grandes empresas de tecnologia.
Vantagens do Código Aberto
"Smaug-72B da Abacus AI agora lidera o ranking de LLM como o primeiro modelo a alcançar uma pontuação média de 80", disse Bindu Reddy, CEO da Abacus AI, em um post no X.com. “Nosso próximo objetivo é publicar essas técnicas como um artigo de pesquisa e aplicá-las aos modelos Mistral, incluindo o Miqu, uma versão ajustada de 70B do LLama-2. As técnicas que aplicamos visam especificamente habilidades de raciocínio e matemática, o que explica os impressionantes resultados do GSM8K! Forneceremos mais informações em nosso próximo artigo.”
Desde seu lançamento, o Smaug-72B se destaca não apenas por seu desempenho geral, mas também por suas capacidades excepcionais em tarefas de raciocínio e matemática—aperfeiçoadas pelas técnicas de ajuste específicas aplicadas pela Abacus AI. Essas técnicas abordam fraquezas comuns em modelos de linguagem grandes, levando a um desempenho aprimorado.
Outros desenvolvimentos notáveis em código aberto incluem o Qwen 1.5, uma suíte de modelos de linguagem pequenos, mas poderosos, variando de 0,5B a 72B de parâmetros, lançada pela Qwen. O Qwen 1.5 supera modelos proprietários populares como Mistral Medium e GPT-3.5, apresentando um comprimento de contexto de 32k e compatibilidade com diversas ferramentas para inferência local rápida. Além disso, a Qwen lançou o Qwen-VL-Max, um novo grande modelo de linguagem visual que compete com o Gemini Ultra do Google e o GPT-4V da OpenAI.
Implicações para o Futuro da IA
A ascensão do Smaug-72B e do Qwen 1.5 gerou entusiasmo e discussões dentro da comunidade de IA e do setor tecnológico mais amplo. Muitos especialistas elogiaram as contribuições da Abacus AI e da Qwen para a IA de código aberto, destacando os avanços rápidos dos últimos anos.
"É incrível pensar que, há menos de um ano, estávamos empolgados com modelos como o Dolly", comentou Sahar Mor, influenciador e analista de IA, no LinkedIn, refletindo sobre o progresso ágil em modelos de código aberto.
Tanto o Smaug-72B quanto o Qwen 1.5 estão disponíveis para acesso público na Hugging Face, permitindo que os usuários façam o download, utilizem e modifiquem como desejarem. A Abacus AI e a Qwen também pretendem submeter seus modelos ao ranking de avaliação humana da llmsys—uma nova métrica projetada para medir o desempenho de modelos de linguagem em tarefas semelhantes às humanas. Elas sugeriram projetos futuros voltados para a produção de mais modelos de código aberto e exploração de diversas aplicações.
Smaug-72B e Qwen 1.5 exemplificam a rápida evolução da IA de código aberto nos últimos meses. Eles sinalizam uma onda transformadora de inovação e democratização, desafiando a dominação de grandes empresas de tecnologia e ampliando as oportunidades para desenvolvedores e pesquisadores. Embora o futuro da liderança do Smaug-72B no ranking da Hugging Face ainda seja incerto, está claro que a IA de código aberto está ganhando um impulso substancial.