Aujourd'hui, Databricks a annoncé le lancement de nouveaux outils de génération augmentée par récupération (RAG) au sein de sa plateforme d'intelligence des données. Ces outils sont conçus pour aider les entreprises à créer, déployer et maintenir des applications de modèles de langage de grande envergure (LLM) de haute qualité adaptées à divers cas d'utilisation.
Disponibles en aperçu public, ces outils s'attaquent à des défis majeurs dans le développement d'applications RAG prêtes pour la production. Ils simplifient l'intégration de données commerciales en temps réel issues de sources diverses avec les modèles appropriés, tout en permettant une surveillance efficace des applications pour détecter des problèmes tels que la toxicité, qui affectent souvent les LLM.
Craig Wiley, directeur senior des produits pour l'IA/ML chez Databricks, a souligné l'urgence de développer des applications RAG : « Les organisations ont du mal à proposer des solutions qui produisent systématiquement des réponses précises et de haute qualité tout en mettant en place des garde-fous pour éviter les résultats indésirables. »
Comprendre le RAG et ses Défis
Bien que les LLM gagnent en popularité, de nombreux modèles existants reposent sur des connaissances paramétrées, ce qui limite leur capacité à fournir des réponses à jour et contextuelles, notamment pour les besoins internes des entreprises. La génération augmentée par récupération (RAG) y remédie en tirant parti de sources de données spécifiques pour améliorer l'exactitude et la fiabilité des réponses des modèles. Par exemple, un modèle formé sur des données RH peut aider les employés avec diverses questions.
Le RAG implique plusieurs tâches complexes, notamment la collecte et la préparation de données structurées et non structurées de multiples sources, la sélection de modèles, l'ingénierie des incitations, et la surveillance continue. Cette approche morcelée entraîne souvent des applications RAG sous-performantes.
Comment Databricks Ouvre la Voie
Les nouveaux outils RAG de Databricks intègrent divers processus, permettant aux équipes de prototyper rapidement et de déployer des applications RAG de qualité. Des fonctionnalités telles que la recherche vectorielle et le service de fonctionnalités éliminent le besoin de construire des pipelines de données complexes, car les données structurées et non structurées des tables Delta se synchronisent sans effort avec l'application LLM. Cela garantit l'accès aux informations commerciales les plus récentes et pertinentes pour des réponses précises et contextualisées.
« Unity Catalog suit automatiquement la filiation entre les ensembles de données hors ligne et en ligne, simplifiant le débogage des problèmes de qualité des données et renforçant les paramètres de contrôle d'accès pour une meilleure gouvernance des données, » a noté Patrick Wendell, cofondateur de Databricks et VP de l'ingénierie, ainsi que Hanlin Tang, CTO des réseaux neuronaux.
De plus, les développeurs peuvent utiliser le terrain de jeu AI unifié et l'évaluation MLFlow pour évaluer des modèles provenant de divers fournisseurs, notamment Azure OpenAI Service, AWS Bedrock, et des options open-source comme Llama 2 et MPT. Cette flexibilité permet aux équipes de déployer des projets avec les modèles les plus performants et les plus rentables, tout en conservant la possibilité de passer à des solutions améliorées dès qu'elles deviennent disponibles.
Capacités de Surveillance Avancées
Après le déploiement d'une application RAG, il est crucial de surveiller sa performance à grande échelle. Databricks propose une capacité de surveillance Lakehouse entièrement gérée qui analyse automatiquement les réponses des applications pour détecter la toxicité, les hallucinations ou tout contenu dangereux. Cette détection proactive alimente des tableaux de bord, systèmes d'alerte et pipelines de données, permettant aux équipes de prendre rapidement des mesures correctives. La fonctionnalité s'intègre à la filiation des modèles et des ensembles de données, facilitant une identification rapide des erreurs et de leurs causes.
Succès des Premiers Adoptants
Bien que les nouveaux outils viennent d'être lancés, des entreprises comme le fournisseur de RV Lippert et EQT Corporation testent déjà leurs capacités au sein de la plateforme d'intelligence des données de Databricks. Chris Nishnick, responsable des efforts en matière de données et d'IA chez Lippert, a déclaré : « Databricks améliore nos opérations de centre d'appels en intégrant des sources de contenu diverses dans notre recherche vectorielle, garantissant que les agents disposent des connaissances nécessaires à portée de main. Cette approche innovante améliore considérablement l'efficacité et le support client. »
En interne, Databricks déploie également des applications RAG. Selon Wiley, l'équipe informatique de la société pilote un RAG Slackbot pour les directeurs de compte et un plugin de navigateur pour les représentants en développement commercial.
Conscient de la demande croissante pour des applications LLM spécialisées, Databricks prévoit d'investir de manière significative dans sa suite d'outils RAG. L'objectif est de permettre aux clients de déployer des applications LLM de haute qualité à grande échelle, tout en maintenant un engagement continu envers la recherche et les innovations futures dans ce domaine.
Classement
