Databricks está elevando las herramientas de desarrollo de inteligencia artificial generativa para empresas con importantes mejoras en su plataforma Mosaic AI, presentadas en su conferencia anual sobre datos e IA liderada por el CEO Ali Ghodsi. Estas actualizaciones tienen como objetivo capacitar a las empresas para implementar aplicaciones impulsadas por modelos de lenguaje grande (LLM) de manera efectiva.
La plataforma Mosaic AI, un producto de la adquisición de $1.3 mil millones de Databricks de MosaicML, potencia las capacidades de la compañía en IA generativa, simplificando el desarrollo de aplicaciones de IA. Las últimas características se centran en tres áreas principales: 1. construir sistemas de IA compuestos, 2. evaluar estos sistemas a través de múltiples métricas, y 3. garantizar la gobernanza en toda la cadena de IA.
Este robusto ecosistema de extremo a extremo permite a las organizaciones crear aplicaciones de IA generativa confiables que aprovechan sus datos. Además, posiciona a Databricks de manera competitiva frente a Snowflake, que ha estado expandiendo su propia oferta de IA generativa, incluyendo el reciente lanzamiento de su LLM de nivel empresarial, “Arctic”, diseñado para desafiar a Databricks DBRX.
Novedades de Databricks Mosaic AI
Las organizaciones entusiastas por la IA generativa están ansiosas por aprovechar esta tecnología innovadora para desarrollar aplicaciones utilizando sus datos internos. Sin embargo, muchos equipos enfrentan dificultades para lograr el retorno de inversión esperado de los modelos grandes, a menudo encontrando desafíos para entregar resultados de alta calidad dentro de las restricciones presupuestarias y de privacidad.
Para abordar estos desafíos, las empresas están adoptando cada vez más sistemas de IA compuestos basados en generación aumentada por recuperación (RAG), que integran diversos modelos pequeños, recuperadores, bases de datos vectoriales y herramientas para evaluación, monitoreo, seguridad y gobernanza. Databricks ha mejorado Mosaic AI para facilitar la creación de estos sistemas avanzados.
Recientemente, Databricks presentó la búsqueda Vector AI como una base de datos vectorial serverless integrada en su plataforma. Las nuevas adiciones incluyen el Entrenamiento de Modelos de Mosaic AI y el Marco de Agentes. La función de Entrenamiento de Modelos permite a los usuarios ajustar pequeñas plataformas de modelos de código abierto a través de una API amigable, optimizando el conocimiento para tareas específicas mientras se mantiene un costo efectivo. Mientras tanto, el Marco de Agentes, al combinarse con la Búsqueda Vectorial de Mosaic AI y el Servicio de Modelos, impulsa aplicaciones RAG de alta calidad utilizando estos modelos ajustados.
“Primero, el Marco de Agentes simplifica la medición y evaluación de la calidad de las aplicaciones a través de la Evaluación de Agentes”, explicó Joel Minnick, VP de Marketing de Producto en Databricks. “Incluye herramientas de evaluación asistida por IA que valoran automáticamente la calidad de los resultados y una interfaz intuitiva de seguimiento para la retroalimentación de los interesados. Esto permite a los desarrolladores probar hipótesis, iterar rápidamente y redeplegar aplicaciones de manera eficiente dentro de un flujo de trabajo LLMOps de extremo a extremo.”
La plataforma también cuenta con un Catálogo de Herramientas de IA que permite a las organizaciones gobernar, compartir y registrar herramientas a través del Catálogo de Unidad de Databricks, que recientemente se convirtió en open-source. Este catálogo mejora los sistemas de IA compuestos al proporcionarles capacidades como generación inteligente de código, búsqueda en la web y llamadas a APIs. Cualquier función de Python o SQL registrada en el Catálogo de Unidad es compatible con el Catálogo de Herramientas de Mosaic AI, mejorando así la calidad de los resultados.
Gobernanza Mejorada con Mosaic AI Gateway
Para asegurar una gobernanza robusta y confianza en aplicaciones de IA, Databricks introduce el "Mosaic AI Gateway". Esta herramienta proporciona una interfaz unificada para consultar, gestionar y desplegar tanto modelos open-source como propietarios, permitiendo a los equipos intercambiar LLMs sin modificaciones extensas en el código de la aplicación.
Crucialmente, el AI Gateway está equipado con características de gobernanza y monitoreo integradas. Permite el seguimiento de uso y establece guardrails, permitiendo a las organizaciones monitorear el uso de modelos y establecer límites de tasa para controlar costos, mientras filtra información segura y datos personales identificables.
Todas las nuevas ofertas para Mosaic AI, excepto el Catálogo de Herramientas de IA, están actualmente en vista pública y se espera que estén disponibles de manera general en los próximos meses. El Catálogo de Herramientas de IA está en vista privada, sin un cronograma anunciado para su lanzamiento general. Adicionalmente, Databricks presentó otros productos destacados en el evento, incluyendo Databricks AI/BI para análisis impulsados por IA generativa, Databricks LakeFlow para ingeniería de datos, y un modelo especializado de generación de imágenes desarrollado en colaboración con Shutterstock.
La Cumbre de Datos e IA de Databricks se llevará a cabo del 10 al 13 de junio de 2024.
Clasificación
