Cumbre de Datos e IA de Databricks 2024: Descubriendo las Innovaciones Más Significativas

La cumbre anual de Databricks sigue siendo un evento vibrante para los interesados en el ecosistema de datos. Cada año, la empresa presenta tecnologías innovadoras, asociaciones y avances destinados a simplificar la gestión de datos estructurados y no estructurados. Este año, la cumbre mantuvo esa tradición, con un notable énfasis en la inteligencia artificial (IA).

Durante la conferencia principal, el CEO Ali Ghodsi presentó una serie de innovaciones en la intersección de los datos y la IA, reafirmando el compromiso de la empresa con la optimización de conjuntos de datos gobernados en la Plataforma de Inteligencia de Datos de Databricks. Entre los aspectos más destacados se encuentran mejoras en Mosaic AI, un modelo de generación de imágenes, y una solución de IA generativa diseñada para hacer más eficientes los análisis de datos.

A continuación se detallan los principales anuncios de la cumbre de este año:

1. Unity Catalog se Vuelve Open-Source

En un movimiento estratégico para competir con el Polaris Catalog de Snowflake, Databricks ha abierto el código de su Unity Catalog bajo una licencia Apache 2.0, con especificaciones OpenAPI. Esto permitirá a otras empresas utilizar la arquitectura y el código para crear catálogos que soporten varios formatos de datos, incluidos Iceberg y Delta/Hudi. El código fue compartido en vivo durante la conferencia, y se espera que Snowflake siga este ejemplo en los próximos 90 días.

2. Mejoras en Mosaic AI para Sistemas en Producción

Mosaic AI, el kit de herramientas para el desarrollo de aplicaciones de IA, recibió importantes mejoras orientadas a ayudar a los equipos a crear sistemas de IA compuestos, confiables y listos para producción. Las nuevas funciones incluyen el producto Mosaic AI Model Training, un marco para agentes de IA, un marco de evaluación y el Catálogo de Herramientas de IA y Gateway de IA para gobernanza. Todas las ofertas, salvo las herramientas de IA, ya están disponibles en vista previa pública.

3. Nuevo Modelo de Texto a Imagen para Empresas

Databricks presentó la vista previa privada de Shutterstock ImageAI, un modelo de IA generativa que permite a las empresas crear imágenes de alta fidelidad adaptadas a diversas aplicaciones comerciales. Este modelo, preentrenado con Mosaic AI y la colección de imágenes confiables de Shutterstock, es accesible a través del generador de imágenes de Shutterstock y puede ajustarse mediante Mosaic AI o integrarse a través de APIs.

4. Databricks AI/BI para Análisis Inteligentes

Para ayudar a las empresas a democratizar el acceso a los conocimientos analíticos, Databricks lanzó Databricks AI/BI, un sistema de IA compuesto integrado con la Plataforma de Inteligencia de Datos. Utilizando agentes de IA—Dashboards y Genie—este sistema interpreta consultas comerciales para producir respuestas y visualizaciones en lenguaje natural. Cada agente se enfoca en funciones específicas como planificación, generación de SQL y visualización, respaldado por componentes adicionales como clasificación de respuestas e indexación vectorial. Esta oferta está disponible para todos los clientes de Databricks SQL Pro y Serverless, con Dashboards ya disponibles y Genie en vista previa pública.

5. Databricks LakeFlow para Ingeniería de Datos Simplificada

Databricks también presentó LakeFlow, una experiencia unificada diseñada para optimizar todos los aspectos de la ingeniería de datos, desde la ingesta hasta la transformación y orquestación. LakeFlow simplifica el proceso tradicionalmente complejo de construir y mantener pipelines de datos mediante la automatización de su implementación, operación y monitoreo, con un sólido soporte para CI/CD y controles de calidad a gran escala. Aunque aún no está en vista previa, Databricks ha abierto una lista de espera para acceso anticipado.

6. Asociaciones con Nvidia y Gretel

Por último, Databricks anunció asociaciones significativas con Nvidia y Gretel. La colaboración con Nvidia busca incorporar soporte nativo para computación acelerada por CUDA en el motor de consulta vectorizada de próxima generación de Databricks, Photon, mejorando el rendimiento para cargas de trabajo de almacenamiento y análisis de datos. La asociación con Gretel designa a la empresa como socio tecnológico ISV, ofreciendo conjuntos de datos sintéticos de alta calidad para desarrollar y personalizar modelos de aprendizaje automático en la plataforma de Databricks.