AI21 Lança o Jamba 1.5: Modelo Transformer Híbrido Aprimorado para Capacidades Avançadas de IA Agente

Os transformers desempenham um papel essencial no panorama da IA generativa, mas não são o único método para o desenvolvimento de modelos. Hoje, a AI21 lançou novas iterações de seu modelo Jamba, integrando transformers com uma abordagem de modelo de Espaço de Estado Estruturado (SSM). As versões mini e grande do Jamba 1.5 aprimoram as inovações introduzidas na versão Jamba 1.0 em março. Utilizando um método SSM chamado Mamba, o Jamba visa unir os pontos fortes dos transformers e do SSM. O nome "Jamba" significa Atenção Conjunta e Arquitetura Mamba, prometendo desempenho e precisão superiores ao que cada modelo pode alcançar isoladamente.

"Recebemos um feedback incrível da comunidade; este foi o primeiro—e continua sendo um dos poucos—modelos em escala de produção baseados no Mamba", disse Or Dagan, VP de Produto da AI21. "Esta nova arquitetura gerou discussões sobre o futuro das arquiteturas de LLM e o papel dos transformers."

A série Jamba 1.5 introduz funcionalidades aprimoradas, incluindo chamada de funções, modo JSON, objetos de documentos estruturados e modo de citação. Essas adições posicionam os modelos como candidatos ideais para o desenvolvimento de sistemas de IA agentiva. Ambas as versões contam com uma janela de contexto substancial de 256K e utilizam uma arquitetura de Mistura de Especialistas (MoE), com o Jamba 1.5 mini oferecendo 52 bilhões de parâmetros totais (12 bilhões ativos) e o Jamba 1.5 grande exibindo 398 bilhões de parâmetros totais (94 bilhões ativos).

Estes modelos estão disponíveis sob uma licença aberta, com a AI21 oferecendo suporte e serviços comerciais. A empresa estabeleceu parcerias com AWS, Google Cloud, Microsoft Azure, Snowflake, Databricks e Nvidia.

Novas Funcionalidades do Jamba 1.5: Acelerando a IA Agentiva

Os modelos Jamba 1.5 Mini e Large apresentam várias novas capacidades voltadas para atender às crescentes demandas dos desenvolvedores de IA:

- Modo JSON para gerenciamento eficiente de dados estruturados

- Citações para aumentar a responsabilidade

- API de Documentos para melhor gerenciamento de contexto

- Capacidades de Chamada de Funções

Segundo Dagan, esses aprimoramentos são cruciais para desenvolvedores que avançam em sistemas de IA agentiva. O JSON (JavaScript Object Notation) é amplamente utilizado para criar fluxos de trabalho de aplicações, e sua inclusão facilita relações mais claras de entrada/saída em configurações complexas de IA, além do uso básico de modelos de linguagem. O recurso de citação funciona em conjunto com a nova API de documentos.

"Ensinamos o modelo a atribuir conteúdo relevante aos documentos fornecidos durante a geração", explicou Dagan.

Distinguindo o Modo de Citação do RAG

É importante diferenciar o modo de citação da Geração Aumentada por Recuperação (RAG), embora ambos busquem fundamentar as saídas da IA em dados confiáveis. Dagan esclareceu que o modo de citação do Jamba 1.5 é projetado para uma integração fluida com a API de documentos, oferecendo uma abordagem mais holística em comparação com o RAG tradicional. Em configurações padrão de RAG, os desenvolvedores conectam um modelo de linguagem a um banco de dados vetorial, exigindo que o modelo incorpore efetivamente os dados recuperados em suas saídas.

Em contraste, o modo de citação no Jamba 1.5 está intrinsecamente entrelaçado com o próprio modelo, permitindo que ele recupere, integre e cite explicitamente as fontes de informação utilizadas em suas saídas. Este recurso melhora a transparência e a rastreabilidade em comparação com fluxos de trabalho convencionais de LLM, onde o raciocínio do modelo pode ser menos claro.

A AI21 também suporta soluções RAG e fornece um serviço gerenciado de ponta a ponta que inclui recuperação e indexação de documentos.

Olhando para o futuro, Dagan destacou o compromisso da AI21 em evoluir seus modelos para atender às demandas dos clientes, com foco contínuo em avançar as capacidades de IA agentiva. "Reconhecemos a necessidade de inovar nos sistemas de IA agentiva, especialmente em relação ao planejamento e execução", afirmou.