À l'ère de l'IA générative, les chatbots sont plus présents que jamais, mais sont-ils réellement plus utiles et précis ? Aujourd'hui, Vectara, une plateforme dédiée à l'IA générative, a présenté un nouveau module visant à permettre aux entreprises de créer et de déployer des chatbots hautement précis. En utilisant une méthode de génération augmentée par récupération (RAG) associée à des embeddings vectoriels Boomerang, Vectara garantit la fourniture d'informations en temps réel tout en réduisant le risque de hallucinations. Depuis son lancement en octobre 2022, Vectara a progressivement amélioré sa plateforme pour répondre aux besoins des utilisateurs, et l'introduction de ce module de chat marque une extension significative de ses capacités.
« Lorsque vous utilisez notre fonctionnalité de chat, elle exploite RAG pour générer vos réponses », a déclaré Tallat Shafaat, co-fondateur et architecte en chef chez Vectara. « Les réponses proviennent de vos propres documents, ce qui améliore la précision. »
Chatbots modernes : au-delà du Q&R vers l'IA conversationnelle
Qu'est-ce qui distingue le nouveau module de chat de Vectara de ses offres précédentes ? Selon Amr Awadallah, co-fondateur et PDG de Vectara, l’innovation réside dans l'évolutivité et la persistance des conversations. Historiquement, l'API de Vectara se concentrait principalement sur les interactions de questions et réponses, où les utilisateurs posaient une question pour recevoir une réponse. Si les utilisateurs avaient des questions complémentaires, ils devaient reformuler leur demande originale en raison de l'approche sans état de Vectara, qui ne conservait pas l'historique des conversations. Cette limitation obligeait souvent les clients à construire leurs propres couches de persistance pour des échanges avec état. Cependant, le nouveau module de chat de Vectara modifie cela en intégrant une mémoire persistante, permettant à la plateforme de suivre l'historique des conversations de manière fluide. « Cette nouvelle extension permet à notre API de maintenir l'historique des conversations, éliminant ainsi le besoin de reformuler les requêtes précédentes », a déclaré Awadallah.
Pour le déploiement, Vectara propose à la fois une API et des widgets simples pour que les organisations puissent intégrer facilement le module de chat sur leurs sites web ou applications avec seulement quelques lignes de JavaScript et HTML.
Dans un avenir proche, Shafaat a évoqué des projets d'amélioration du Chat Vectara avec de nouvelles fonctionnalités de gestion pour les entreprises. Les propriétaires de comptes pourront analyser les historiques de chat des clients de manière sémantique, obtenant ainsi des insights sur les sentiments des utilisateurs et les tendances des requêtes. La fonctionnalité de requête basée sur RAG facilitera également les demandes concernant les chats des utilisateurs.
Aborder les hallucinations et les biais dans l'IA générative
Un défi majeur dans l'utilisation de l'IA générative en entreprise est le risque d'hallucinations. L'approche RAG de Vectara fait partie des stratégies conçues pour atténuer la probabilité de réponses inexactes dans son module de chat. Awadallah a souligné que le système de Vectara offre des réponses explicables avec des citations, renforçant ainsi la précision. La plateforme intègre également une atténuation des biais grâce à une approche novatrice connue sous le nom de pertinence marginale maximale. « La pertinence marginale maximale augmente la diversité des résultats que nous renvoyons », a-t-il expliqué.
Awadallah a ajouta que pour les sujets sujets à débat avec des opinions variées, un algorithme robuste est crucial pour présenter plusieurs perspectives. « Nous veillons à capturer les points de vue principaux ainsi que les opinions secondaires, même si elles sont moins pertinentes », a-t-il déclaré.
En mettant l'accent sur la précision, la diversité et l'engagement des utilisateurs, Vectara vise à élever le rôle des chatbots dans la communication d'entreprise.
Classement
