Databricks Presenta Nuevas Herramientas para Crear Aplicaciones RAG de Alta Calidad

Hoy, Databricks anunció el lanzamiento de nuevas herramientas de generación aumentada de recuperación (RAG) dentro de su Plataforma de Inteligencia de Datos. Estas herramientas están diseñadas para ayudar a las empresas a construir, implementar y mantener aplicaciones de modelos de lenguaje grande (LLM) de alta calidad, adaptadas a diversos casos de uso.

Actualmente disponibles en vista previa pública, estas herramientas abordan los desafíos significativos en el desarrollo de aplicaciones RAG listas para producción. Optimizar el proceso de integración de datos empresariales en tiempo real de diversas fuentes con los modelos apropiados, al tiempo que permite la monitorización efectiva de las aplicaciones para detectar problemas como la toxicidad, que comúnmente afectan a los LLM.

Craig Wiley, Director Senior de Producto para IA/ML en Databricks, destacó la urgencia de desarrollar aplicaciones RAG: “Las organizaciones encuentran difícil ofrecer soluciones que produzcan respuestas precisas y de alta calidad de manera consistente, mientras implementan medidas para evitar resultados indeseables”.

Entendiendo RAG y sus Desafíos

A medida que los LLM ganan popularidad, muchos modelos existentes dependen del conocimiento parametrizado, lo que limita su capacidad para ofrecer respuestas actualizadas y específicas al contexto, especialmente para necesidades internas. La generación aumentada de recuperación (RAG) aborda esto aprovechando fuentes de datos específicas para mejorar la precisión y la fiabilidad de las respuestas del modelo. Por ejemplo, un modelo entrenado con datos de recursos humanos puede ayudar a los empleados con diversas consultas.

RAG implica varias tareas complejas, como recopilar y preparar datos estructurados y no estructurados de múltiples fuentes, selección de modelos, optimización de prompts y monitorización continua. Este enfoque fragmentado suele resultar en aplicaciones RAG con bajo rendimiento.

Cómo Databricks Marca la Diferencia

Las nuevas herramientas RAG de Databricks integran diversos procesos, permitiendo a los equipos prototipar y desplegar rápidamente aplicaciones RAG de calidad. Funciones como la búsqueda vectorial y el servicio de características eliminan la necesidad de construir complejas canalizaciones de datos, ya que los datos estructurados y no estructurados de las tablas Delta se sincronizan sin problemas con la aplicación LLM. Esto asegura el acceso a la información empresarial más reciente y relevante para respuestas precisas y contextualizadas.

“El Unity Catalog rastrea automáticamente la procedencia entre conjuntos de datos offline y online, simplificando la depuración de problemas de calidad de datos y aplicando configuraciones de control de acceso para una mejor gobernanza de datos”, señalaron el cofundador de Databricks, Patrick Wendell, y el CTO de Redes Neuronales, Hanlin Tang.

Además, los desarrolladores pueden utilizar el espacio de trabajo unificado de IA y la evaluación de MLFlow para evaluar modelos de diversos proveedores, incluyendo Azure OpenAI Service, AWS Bedrock y opciones de código abierto como Llama 2 y MPT. Esta flexibilidad permite a los equipos desplegar proyectos con los modelos más eficientes y rentables, manteniendo la opción de cambiar a soluciones mejoradas conforme estén disponibles.

Capacidades de Monitoreo Avanzadas

Después de implementar una aplicación RAG, es crucial monitorear su rendimiento a gran escala. Databricks ofrece una capacidad de Monitoreo de Lakehouse completamente gestionada que escanea automáticamente las respuestas de la aplicación en busca de toxicidad, alucinaciones o cualquier contenido no seguro. Esta detección proactiva se integra en paneles, sistemas de alerta y canalizaciones de datos, lo que permite a los equipos tomar acciones correctivas rápidamente. La función se conecta con la procedencia de modelos y conjuntos de datos, facilitando la identificación rápida de errores y sus causas.

Éxito en la Adopción Temprana

Aunque las nuevas herramientas acaban de lanzarse, empresas como el proveedor de RV Lippert y EQT Corporation ya están probando sus capacidades dentro de la plataforma de Inteligencia de Datos de Databricks. Chris Nishnick, líder de los esfuerzos de datos e IA en Lippert, compartió: “Databricks mejora nuestras operaciones de centro de llamadas al integrar diversas fuentes de contenido en nuestra Búsqueda Vectorial, asegurando que los agentes tengan el conocimiento que necesitan al alcance de la mano. Este enfoque innovador mejora significativamente la eficiencia y el soporte al cliente”.

Internamente, Databricks también está implementando aplicaciones RAG. Según Wiley, el equipo de TI de la empresa está pilotando un Slackbot RAG para ejecutivos de cuentas y un plugin de navegador para representantes de desarrollo de ventas.

Reconociendo la creciente demanda de aplicaciones LLM especializadas, Databricks planea invertir significativamente en su conjunto de herramientas RAG. El objetivo es capacitar a los clientes para que implementen aplicaciones LLM de alta calidad a gran escala, con un compromiso constante hacia la investigación y las futuras innovaciones en este ámbito.