La tournée Media AI Impact a récemment fait escale à San Francisco, se concentrant sur les applications concrètes de l'IA générative et les subtilités de son déploiement. Matt Marshall, PDG d'une entreprise de médias, a animé la discussion avec des leaders du secteur tels qu'Ed Anuff, directeur produit chez DataStax ; Nicole Kaufman, directrice de la transformation chez Genesis Health ; et Tisson Matthew, PDG de Skypoint.
Cette conversation est cruciale alors que les entreprises passent des phases exploratoires de l'IA générative à des mises en œuvre matures. Les entreprises ne se contentent plus d'expérimenter des outils tels que ChatGPT ; elles s'attaquent à une question essentielle : comment exploiter cette technologie et l'intégrer avec nos données commerciales essentielles pour un usage en production ?
« Nous assistons à l'émergence d'un modèle de maturité de l'IA », a souligné Anuff. « Les organisations passent de projets ponctuels visant des gains rapides à des initiatives critiques en IA dirigées par des acteurs clés du secteur, axées sur des déploiements à fort impact et grande visibilité. Ces efforts peuvent prendre plus de temps à se développer, mais leur potentiel de transformation est considérable. »
L'IA générative peut être appliquée à divers cas d'utilisation, des opérations de back-office aux sites web publics et applications mobiles. Bien que les entreprises puissent encore évoquer des termes comme "chatbots" ou "interfaces conversationnelles", leur objectif final est de créer des applications de connaissances permettant une recherche interactive de données dans des contextes appropriés. La décision principale reste de développer ces solutions en interne ou d'utiliser des produits prêts à l'emploi.
Considérations Pré-Production
Pour le support client ou l'analyse financière, de nombreuses organisations cherchent à exploiter l'IA générative pour créer des applications qui extraient des insights de données internes. Anuff a expliqué : « Selon le volume de vos données et les exigences spécifiques de votre interface personnalisée, les solutions prêtes à l'emploi peuvent être très efficaces. Des entreprises comme Amazon offrent des plateformes qui permettent de télécharger des documents pour des réponses immédiates de chatbots, facilitant ainsi une mise en œuvre rapide et simple. »
Cependant, à mesure que les entreprises élargissent leur focus des applications de back-office vers des cas d'utilisation critiques liés à des fonctions commerciales essentielles—en particulier celles orientées vers l'extérieur—des solutions basiques peuvent ne pas suffire. Anuff a cité des applications de santé requérant des connexions en temps réel aux sources de données pour des réponses précises basées sur des informations actualisées des patients. Il a également mis en avant des agents IA dans des institutions financières de la région Asie-Pacifique fournissant un accès direct à une planification financière par chat, informée par des données en temps réel issues des états financiers.
« C'est une application IA RAG (génération augmentée par récupération) sur mesure liée à vos données essentielles », a-t-il affirmé. « Des détaillants de renom comme Home Depot ou Best Buy investissent dans des équipes d'ingénierie web dédiées pour développer des expériences sur mesure qui s'alignent avec leur marque et leurs opérations commerciales. »
Évaluation de la Préparation et du Coût
À mesure que les organisations progressent au-delà de la phase d'idéation, elles rencontrent deux défis principaux : la pertinence et le coût.
« La pertinence est un nouveau critère clé pour beaucoup dans le domaine des données », a expliqué Anuff. « Les organisations doivent évaluer la adéquation de leurs réponses générées par l'IA. Les problèmes de pertinence exigent souvent une réévaluation de l'ensemble de votre architecture de données. »
Cela influence alors le second défi : le coût. Trouver un moyen de fournir des résultats pertinents et fiables est coûteux, et les organisations doivent évaluer les coûts associés à la mise à l'échelle en production.
« Les discussions autour de ces enjeux fournissent une évaluation réaliste de la préparation des équipes pour la production », a-t-il noté. « Si la pertinence reste un obstacle, cela indique que les équipes ont surmonté les défis architecturaux initiaux mais rencontrent de nouvelles complexités liées aux coûts de production, qui vont souvent de pair. »
Hallucinations, Données et Importance du RAG
Le terme « hallucinations » est couramment utilisé lorsque les réponses de l'IA semblent incorrectes. Bien qu'il soit utile dans le langage courant, toutes les réponses erronées ne relèvent pas des hallucinations ; certaines proviennent d'erreurs dans les données d'entraînement. Les hallucinations se produisent lorsqu'un modèle de langage large (LLM) extrapole au-delà de son entraînement et génère un contenu vague ou trompeur. Anuff a souligné qu'il existe des solutions efficaces à ces problèmes, notamment à travers le RAG.
Le RAG combine la récupération de connaissances avec l'IA générative, permettant à un système de traiter et de consolider des données d'une base de connaissances interne, fournissant des réponses contextualisées en langage naturel au lieu de simplement résumer des informations.
« Un grand modèle de langage excelle dans deux domaines », a déclaré Anuff. « Premièrement, il comprend les nuances du langage. Deuxièmement, il sert de répertoire de connaissances. Un programmeur peut contrôler la quantité de connaissances intrinsèques utilisées en imposant des limites sur les réponses, ce qu'on appelle le grounding. Cela réduit considérablement le risque d'hallucinations en gardant le modèle concentré sur des données pertinentes. »
De plus, Anuff a souligné que le RAG est essentiel pour intégrer de manière sécurisée et précise des données d'entreprise en temps réel dans le modèle lors de l'inférence.
« Bien que d'autres méthodes d'intégration de données existent, elles manquent souvent de sécurité, de capacité en temps réel et de protection », a-t-il affirmé. « Pour cette raison, l'utilisation d'un couplage modèle-base de données—qu'on l'appelle RAG ou non—restera omniprésente dans l'industrie à l'avenir. »
Classement
