Snowflake se une a Jamba-Instruct de AI21 para ayudar a las empresas a analizar documentos extensos.

Snowflake, el proveedor líder de la nube de datos, ha integrado oficialmente el modelo Jamba-Instruct LLM de AI21 Labs en su servicio Cortex AI. Esta nueva incorporación está diseñada para ayudar a los clientes empresariales de Snowflake a desarrollar aplicaciones de IA generativa—como chatbots y herramientas de resumen—que manejan documentos extensos de manera eficiente sin sacrificar calidad o precisión.

Desde hoy, el modelo Jamba-Instruct permite a las organizaciones aprovechar archivos grandes, una necesidad en muchas empresas. Aunque AI21 Labs es un socio significativo, Snowflake colabora con varios LLMs para mejorar su ecosistema de IA generativa. Recientemente, Snowflake se asoció con Meta para incorporar la familia de modelos Llama 3.1 y lanzó su modelo propietario, 'Arctic', subrayando su ambición en el ámbito de la IA generativa.

Beneficios de Jamba-Instruct para Usuarios de Snowflake

En marzo, AI21 Labs presentó Jamba, un modelo de IA generativa abierto que combina una arquitectura de transformador con un novedoso modelo de Estado Espacial Estructurado (SSM) eficiente en memoria. Jamba se destaca al ofrecer una notable ventana de contexto de 256K, lo que produce un aumento triplicado en el rendimiento para contextos largos en comparación con modelos similares. Esta eficiencia dio paso a Jamba-Instruct, una versión ajustada por instrucciones que incluye entrenamiento avanzado, capacidades de chat y funciones de seguridad para aplicaciones empresariales.

Lanzado en la plataforma de AI21 en mayo, Jamba-Instruct es ahora parte de Cortex AI, el servicio sin código y totalmente gestionado de Snowflake para construir potentes aplicaciones de IA generativa. “Con su amplia ventana de contexto, Jamba-Instruct procesa hasta 256K tokens—aproximadamente 800 páginas de texto—convirtiéndolo en una herramienta invaluable para la gestión de documentos extensos”, afirmó Baris Gultekin, líder de IA en Snowflake.

Por ejemplo, los analistas financieros pueden utilizar herramientas de preguntas y respuestas para extraer información de extensos informes 10-K, mientras que los clínicos pueden analizar rápidamente amplios informes de pacientes en busca de datos relevantes. Los minoristas pueden crear chatbots que mantengan diálogos coherentes y basados en referencias con los clientes.

Gultekin enfatizó que la amplia ventana de contexto del modelo simplifica la creación de pipelines de generación aumentada por recuperación (RAG), permitiendo una recuperación de información eficiente y soportando indicaciones guiadas para tonos específicos durante la generación de contenido.

Eficiencia de Costos

Además de sus capacidades para documentos largos, Jamba-Instruct ofrece importantes ahorros de costos para los clientes de Snowflake. El diseño híbrido del modelo y la tecnología de mezcla de expertos (MoE) hacen que su amplia ventana de contexto sea más accesible económicamente en comparación con otros modelos de transformador ajustados por instrucciones. Junto con el modelo de precios basado en el consumo de Cortex AI, las empresas solo pagan por los recursos que utilizan, eliminando la necesidad de infraestructura dedicada costosa.

“Las organizaciones pueden equilibrar efectivamente rendimiento, costo y latencia aprovechando la escalabilidad de Snowflake junto con la eficiencia de Jamba-Instruct. La arquitectura de Cortex AI permite la escalabilidad sin problemas de los recursos de computación”, explicó Pankaj Dugar, SVP y GM para América del Norte en AI21 Labs.

Actualmente, Cortex AI admite una variedad de LLMs, incluyendo el modelo Arctic de Snowflake y ofertas de Google, Meta, Mistral AI y Reka AI. “Nos esforzamos por brindar a nuestros clientes la flexibilidad para elegir entre modelos de código abierto y comerciales, atendiendo sus necesidades específicas sin complicar la gobernanza de datos”, añadió Gultekin.

La selección de modelos se espera que crezca, con nuevas opciones—especialmente de AI21—previstas para llegar en los próximos meses. Gultekin destacó que la retroalimentación de los clientes juega un papel crucial en la evaluación e integración de LLMs para asegurar que las herramientas adecuadas estén disponibles para diversos casos de uso, incluyendo inteligencia de negocios automatizada, asistentes conversacionales y resumen de textos.

Snowflake adquirió recientemente TruEra para ayudar a sus clientes a navegar a través del paisaje en expansión de opciones de modelos. Gultekin mencionó que TruEra’s TruLens permite a los usuarios experimentar con LLMs y evaluar las mejores opciones para sus necesidades.

Hoy en día, más de 5,000 empresas utilizan las capacidades de IA de Snowflake, enfocándose en aplicaciones clave como inteligencia de negocios automatizada, asistentes conversacionales y resumen de textos.