De plus en plus d'entreprises s'efforcent d'intégrer des systèmes de génération augmentée par récupération (RAG) dans leurs technologies, ce qui conduit à l'émergence de méthodes innovantes pour améliorer ce processus. La société de bases de données vectorielles Qdrant est convaincue que son nouvel algorithme de recherche, le BM42, va considérablement accroître l'efficacité et la rentabilité du RAG. Fondée en 2021, Qdrant visait à enrichir les capacités de recherche hybride—combinant recherche sémantique et par mots-clés—via le BM42. Andrey Vasnetsov, co-fondateur et CTO de Qdrant, a expliqué que BM42 met à jour l'algorithme BM25, couramment utilisé pour évaluer la pertinence des documents lors des requêtes de recherche. Les systèmes traditionnels utilisent généralement BM25, mais le RAG adopte des bases de données vectorielles qui représentent les données sous forme de métriques mathématiques, simplifiant ainsi l'appariement des données.
Vasnetsov a déclaré : « Les algorithmes de correspondance de mots-clés traditionnels comme BM25 supposent que les documents sont suffisamment volumineux pour générer des statistiques. Cependant, le RAG travaille avec des morceaux d'information plus petits, rendant le BM25 inadapté. »
BM42 utilise un modèle linguistique pour extraire des informations pertinentes des documents au lieu de générer des embeddings. Ces données extraites sont tokenisées puis évaluées, permettant à Qdrant d'identifier précisément les informations nécessaires pour répondre à des requêtes spécifiques.
La recherche hybride présente plusieurs options d'amélioration. BM42 n'est pas la seule avancée cherchant à surpasser le BM25 pour optimiser la recherche hybride et les applications RAG. Splade, ou Sparse Lexical and Expansion model, est un autre concurrent. Il utilise un modèle linguistique pré-entraîné capable de reconnaître les relations entre les mots tout en intégrant des termes connexes qui peuvent varier entre la requête de recherche et les documents pertinents.
Alors que certaines entreprises de bases de données vectorielles utilisent Splade, Vasnetsov affirme que BM42 propose une solution plus économique. « Splade peut coûter très cher en raison de la taille et des exigences de calcul de ces modèles», a-t-il noté.
Le RAG émerge rapidement comme un point focal dans l'IA d'entreprise, les organisations cherchant à exploiter les modèles d'IA générative avec leurs données propriétaires. En utilisant le RAG, les entreprises peuvent fournir à leurs employés et utilisateurs des informations plus précises et à jour extraites de leurs données organisationnelles.
Des acteurs majeurs comme Microsoft et Amazon offrent désormais des infrastructures de cloud computing conçues pour développer des applications RAG. De plus, OpenAI a acquis Rockset en juin pour renforcer ses capacités RAG.
Bien que le RAG permette aux utilisateurs de relier les sorties des modèles d'IA aux données de l'entreprise, il est important de reconnaître qu'il reste un modèle linguistique et qu'il est susceptible d'inexactitudes, souvent appelées « hallucinations ».
Classement
