A Snowflake, líder em serviços de data cloud, integrou oficialmente o modelo Jamba-Instruct da AI21 Labs em seu serviço Cortex AI. Esta nova adição visa ajudar os clientes corporativos da Snowflake a desenvolver aplicações de IA generativa — como chatbots e ferramentas de resumo — capazes de gerenciar documentos extensos com eficiência, sem comprometer a qualidade ou a precisão.
A partir de hoje, o modelo Jamba-Instruct permite que organizações aproveitem arquivos grandes, uma necessidade comum em muitas empresas. Embora a AI21 Labs seja um parceiro significativo, a Snowflake colabora com uma variedade de LLMs para enriquecer seu ecossistema de IA generativa. Recentemente, a Snowflake se associou à Meta para incorporar a família de LLM Llama 3.1 e lançou seu modelo proprietário, 'Arctic', reforçando sua posição no espaço de IA generativa.
Benefícios do Jamba-Instruct para Usuários da Snowflake
Em março, a AI21 Labs apresentou o Jamba, um modelo de IA generativa aberto que combina uma arquitetura transformer com um novo modelo de Espaço de Estado Estruturado (SSM) que é eficiente em termos de memória. O Jamba se destaca ao oferecer uma janela de contexto impressionante de 256K, resultando em um aumento triplo na capacidade de processamento para contextos longos em comparação a modelos similares. Essa eficiência possibilitou o Jamba-Instruct, uma versão ajustada para instruções que inclui treinamento avançado, capacidades de conversa e recursos de segurança para aplicações corporativas.
Lançado na plataforma da AI21 em maio, o Jamba-Instruct agora faz parte do Cortex AI, o serviço sem código totalmente gerenciado da Snowflake para construir poderosas aplicações de IA generativa. “Com sua ampla janela de contexto, o Jamba-Instruct processa até 256K tokens — cerca de 800 páginas de texto — tornando-se uma ferramenta valiosa para o gerenciamento de documentos extensos”, afirmou Baris Gultekin, chefe de IA da Snowflake.
Por exemplo, analistas financeiros podem usar ferramentas de perguntas e respostas para extrair insights de longos documentos 10-K, enquanto clínicos podem analisar rapidamente extensos relatórios de pacientes em busca de dados relevantes. Varejistas também podem criar chatbots capazes de manter diálogos coerentes e baseados em referências com os clientes.
Gultekin ressaltou que a ampla janela de contexto do modelo simplifica a criação de pipelines de geração aumentada por recuperação (RAG), permitindo uma recuperação eficiente de informações e suporte a prompts guiados para tons específicos durante a geração de conteúdo.
Eficiência de Custos
Além de suas capacidades para documentos longos, o Jamba-Instruct oferece economias significativas de custos para os clientes da Snowflake. O design híbrido do modelo e a tecnologia de mistura de especialistas (MoE) tornam sua ampla janela de contexto mais acessível economicamente em comparação a outros modelos transformer ajustados para instruções. Juntamente com o modelo de precificação baseado no consumo e inferência sem servidor do Cortex AI, as empresas pagam apenas pelos recursos utilizados, eliminando a necessidade de infraestrutura dedicada e cara.
“As organizações podem equilibrar performance, custo e latência de forma eficaz ao aproveitar a escalabilidade da Snowflake em conjunto com a eficiência do Jamba-Instruct. A arquitetura do Cortex AI permite a escalabilidade contínua dos recursos computacionais”, explicou Pankaj Dugar, SVP e GM da AI21 Labs para a América do Norte.
Atualmente, o Cortex AI suporta uma variedade de LLMs, incluindo o modelo Arctic da Snowflake e ofertas do Google, Meta, Mistral AI e Reka AI. “Nosso objetivo é proporcionar aos clientes a flexibilidade de escolher entre modelos de código aberto e comerciais, atendendo a suas necessidades específicas sem complicar a governança de dados”, acrescentou Gultekin.
A seleção de modelos deve crescer, com novas opções — especialmente da AI21 — previstas para os próximos meses. Gultekin destacou que o feedback dos clientes é fundamental na avaliação e integração de LLMs para garantir que as ferramentas certas estejam disponíveis para diversos casos de uso, incluindo inteligência empresarial automatizada, assistentes conversacionais e resumo de textos.
Recentemente, a Snowflake adquiriu a TruEra para ajudar os clientes a navegar na crescente variedade de escolhas de modelos. Gultekin observou que o TruLens da TruEra permite aos usuários experimentar LLMs e avaliar os melhores para suas necessidades.
Atualmente, mais de 5.000 empresas utilizam as capacidades de IA da Snowflake, com foco em aplicações chave como BI automatizado, assistentes conversacionais e resumo de textos.
Classificação
