H2O AI Lança o Danube: Um LLM Super Compacto Otimizado para Aplicativos Móveis

Hoje, a H2O AI—dedicada a democratizar a inteligência artificial por meio de ferramentas de código aberto e proprietárias—anunciou o lançamento do Danube, um modelo de linguagem de última geração (LLM) ultra-leve, projetado especificamente para dispositivos móveis.

Batizado em homenagem ao segundo maior rio da Europa, este modelo de código aberto possui 1,8 bilhão de parâmetros e, segundo relatos, alcança ou até supera o desempenho de modelos de tamanho semelhante em diversas tarefas de linguagem natural, posicionando-se ao lado de concorrentes notáveis como Microsoft, Stability AI e Eleuther AI.

Este anúncio coincide com o crescente interesse de empresas que desenvolvem dispositivos para consumidores, ao explorar o potencial da inteligência artificial generativa offline. Ao permitir que os modelos operem localmente nos dispositivos, os usuários podem acessar assistência rápida sem depender de serviços baseados em nuvem.

“Estamos entusiasmados em apresentar o H2O-Danube-1.8B como um LLM portátil para dispositivos móveis. O aumento do uso de hardware menor e mais acessível, além de técnicas de treinamento mais eficientes, tornou os modelos de tamanho moderado mais acessíveis. Acreditamos que o H2O-Danube-1.8B revolucionará as aplicações móveis offline,” disse Sri Ambati, CEO e co-fundador da H2O.

Principais Recursos do Danube-1.8B LLM

Embora tenha sido lançado recentemente, a H2O afirma que o Danube pode ser ajustado para uma variedade de aplicações de linguagem natural em dispositivos compactos, incluindo raciocínio lógico, compreensão de leitura, resumindo e tradução.

Para treinar este modelo, a H2O coletou um trilhão de tokens de diversas fontes da web e empregou técnicas avançadas inspiradas nos modelos Llama 2 e Mistral para aprimorar suas capacidades.

“Nós adaptamos a arquitetura do Llama 2 para conter cerca de 1,8B de parâmetros. Utilizamos o tokenizador do Llama 2, com um vocabulário de 32.000 e treinamos o modelo para alcançar um comprimento de contexto de 16.384. Além disso, integramos o mecanismo de atenção da janela deslizante do Mistral, com um tamanho de 4.096,” detalhou a empresa na Hugging Face.

Os benchmarks mostram que o Danube apresenta desempenho comparável ou até superior à maioria dos modelos na faixa de 1-2B de parâmetros. Por exemplo, no teste Hellaswag, que avalia a inferência de linguagem natural de senso comum, o modelo alcançou uma precisão de 69,58%, ficando atrás apenas do Stable LM 2 da Stability AI, que possui 1,6 bilhão de parâmetros pré-treinados em 2 trilhões de tokens. No benchmark Arc para perguntas avançadas, o Danube ficou em terceiro lugar, com 39,42% de precisão, atrás apenas do Microsoft Phi 1.5 (1,3 bilhão de parâmetros) e do Stable LM 2.

Ferramentas para uma Adoção Fluida

Lançado sob a licença Apache 2.0, o Danube-1.8B está disponível para uso comercial. As equipes interessadas em implementar este modelo para aplicações móveis podem baixá-lo na Hugging Face e personalizá-lo para casos de uso específicos.

Para facilitar esse processo, a H2O planeja introduzir ferramentas adicionais em breve. Além disso, uma versão otimizada para chat—H2O-Danube-1.8B-Chat—também está disponível para aplicações conversacionais.

A longo prazo, a introdução do Danube e modelos compactos similares deve impulsionar aplicações de IA generativa offline em smartphones e laptops, melhorando tarefas como resumo de e-mails, assistência na digitação e edição de imagens. A Samsung já tomou medidas nessa direção com o lançamento da linha de smartphones S24.