Allen Institute for AI Lança LLM 'Realmente Open Source' para Impulsionar uma 'Mudança Crítica' no Desenvolvimento de IA

O Allen Institute for AI (AI2), uma organização sem fins lucrativos fundada em 2014 pelo falecido cofundador da Microsoft, Paul Allen, lançou o OLMo—um modelo de linguagem grande (LLM) de código aberto descrito como "verdadeiramente open-source" e uma alternativa "de ponta" a modelos restritivos e fechados. Esta iniciativa representa uma mudança significativa no desenvolvimento de IA.

Diferentemente de outros modelos que compartilham apenas código e pesos, o OLMo oferece recursos abrangentes, incluindo código de treinamento, dados de treinamento e pacotes de ferramentas associadas, além de ferramentas de avaliação. Lançados sob uma licença aprovada pela Open Source Initiative, todos os componentes do OLMo, incluindo código, pesos e pontos de verificação intermediários, estão disponíveis sob a Licença Apache 2.0.

O anúncio surge em um momento crucial, quando a IA de código aberto avança rapidamente, buscando se igualar a modelos proprietários como o GPT-4 da OpenAI e o Claude da Anthropic. Por exemplo, o CEO da startup parisiense Mistral confirmou recentemente o surgimento de um novo modelo de IA de código aberto com desempenho próximo ao do GPT-4. Adicionalmente, a Meta lançou recentemente uma versão aprimorada de seu modelo de geração de código, o Code Llama 70B, enquanto a expectativa cresce em torno da próxima iteração do Llama LLM.

Entretanto, o setor de IA de código aberto enfrenta críticas de alguns pesquisadores, reguladores e formuladores de políticas. Um artigo de opinião bastante controverso na IEEE Spectrum alegou que "IA de Código Aberto é Singularmente Perigosa."

A estrutura OLMo promove uma abordagem "completamente aberta", oferecendo acesso total aos dados de pré-treinamento, código de treinamento, pesos do modelo e processos de avaliação. Isso inclui código de inferência, métricas de treinamento, registros de treinamento e uma suíte de avaliação de desenvolvimento com mais de 500 pontos de verificação para cada modelo, acompanhados durante todo o processo de treinamento sob o projeto Catwalk.

Os pesquisadores da AI2 planejam melhorar continuamente o OLMo, introduzindo diversos tamanhos de modelo, modalidades, conjuntos de dados e capacidades. “Muitos modelos de linguagem hoje carecem de transparência,” afirmou Hanna Hajishirzi, líder do projeto e diretora sênior de Pesquisa em NLP na AI2. “Os pesquisadores não podem entender completamente o funcionamento de um modelo sem acesso aos dados de treinamento. Nossa estrutura capacita os pesquisadores a estudar cientificamente os LLMs, essencial para desenvolver uma IA segura e confiável.”

Nathan Lambert, cientista em ML na AI2, enfatizou que o OLMo representa um novo paradigma nos LLMs. “O OLMo permite novas abordagens para pesquisa e implantação em ML, facilitando o desenvolvimento científico em todas as etapas do processo,” disse ele.

A comunidade de IA de código aberto respondeu entusiasticamente ao lançamento do OLMo. Jonathan Frankle, cientista-chefe da MosaicML e Databricks, elogiou-o como “um grande salto para a ciência aberta.” O CTO da Hugging Face também comentou nas redes sociais que o modelo está “ampliando os limites da IA de código aberto.”

O cientista-chefe da Meta, Yann LeCun, destacou no comunicado de imprensa da AI2 que “Modelos fundacionais abertos impulsionam inovação na IA generativa, e uma comunidade vibrante de código aberto é fundamental para moldar o futuro da IA.”