Avanço da IA da Tenyx: Modelo Open-Source Llama 3 Supera o Desempenho do GPT-4

Em uma entrevista exclusiva, Itamar Arel, fundador e CEO da startup de IA Tenyx, revelou um avanço notável em processamento de linguagem natural. A Tenyx aprimorou o modelo de linguagem Llama-3 da Meta, agora chamado Tenyx-70B, superando o GPT-4 da OpenAI em domínios específicos—marcando a primeira vez que um modelo de código aberto ultrapassa o padrão proprietário.

“Desenvolvemos uma tecnologia de ajuste fino que nos permite melhorar um modelo fundamental além do seu treinamento original,” explicou Arel. “Estamos empolgados em usar essa abordagem para possibilitar o aprendizado contínuo ou incremental, aproveitando redundâncias em grandes modelos.”

O modelo Llama-3 da Tenyx se destaca em matemática e programação, superando o modelo base Llama-3 em todas as capacidades. Essa conquista, segundo Arel, marca uma nova era para a IA de código aberto.

Abordando o 'Esquecimento Catastrófico'

A Tenyx enfrenta o problema do "esquecimento catastrófico", onde um modelo pode perder conhecimentos adquiridos ao ser exposto a novos dados. Ao atualizar seletivamente uma pequena fração dos parâmetros do modelo, a Tenyx treina efetivamente com novas informações sem sacrificar habilidades existentes.

“Se você alterar apenas 5% dos parâmetros do modelo enquanto mantém o restante intacto, pode fazer isso de maneira mais agressiva sem distorcer outras funções,” observou Arel. Esse método permite à Tenyx ajustar o modelo Llama-3, com 70 bilhões de parâmetros, em apenas 15 horas utilizando 100 GPUs.

Compromisso com a IA de Código Aberto

A Tenyx defende a IA de código aberto ao liberar seu modelo ajustado, Tenyx-70B, sob a mesma licença do Llama-3 original. “Acreditamos em modelos de código aberto,” declarou Arel. “Compartilhar avanços com a comunidade promove inovação e beneficia a todos.”

As aplicações da tecnologia de otimização pós-treinamento da Tenyx são extensas, desde o desenvolvimento de chatbots especializados até a facilitação de atualizações frequentes para modelos em uso, garantindo que permaneçam atualizados com informações emergentes.

Transformando o Cenário da IA

O avanço da Tenyx tem implicações significativas, oferecendo a empresas e pesquisadores acesso a modelos de linguagem avançados sem os custos proibitivos de soluções proprietárias. Esse progresso também pode estimular ainda mais inovação na comunidade de código aberto, à medida que outros se baseiam no sucesso da Tenyx.

“O que isso significa para a indústria e para empresas como a OpenAI?” ponderou Arel. À medida que a concorrência no setor de IA aumenta, o ajuste fino de modelos de código aberto pela Tenyx pode redefinir a dinâmica do setor e a abordagem das empresas ao processamento de linguagem natural.

Embora o Llama-3 otimizado pela Tenyx mantenha algumas limitações encontradas no modelo base—incluindo respostas ocasionalmente ilógicas—seus aprimoramentos são notáveis. Arel relatou que o modelo apresenta precisão de quase 96% em matemática e raciocínio, em comparação com 85% do modelo base.

Enquanto a Tenyx inaugura uma nova onda de inovação em IA de código aberto, o impacto a longo prazo de seu avanço no ecossistema de IA ainda está por ser observado. No entanto, é evidente que a Tenyx provou que modelos de código aberto podem competir e até superar seus pares proprietários, abrindo caminho para um futuro mais acessível e colaborativo na inteligência artificial.