Qdrant: Auf der Suche nach kosteneffektiven Lösungen in der Vektor-Datenbank RAG

Immer mehr Unternehmen streben danach, Retrieval-Augmented Generation (RAG)-Systeme in ihre Technologiestacks zu integrieren, was zur Entwicklung innovativer Methoden führt, um diesen Prozess zu optimieren. Das auf Vektordatenbanken spezialisierte Unternehmen Qdrant ist überzeugt, dass sein neu entwickelter Suchalgorithmus BM42 die Effizienz und Kosteneffektivität von RAG erheblich steigern wird.

Qdrant, 2021 gegründet, hat sich zum Ziel gesetzt, die hybriden Suchfähigkeiten – also die Kombination von semantischer und Keyword-Suche – durch BM42 zu verbessern. Andrey Vasnetsov, Mitgründer und CTO von Qdrant, erklärte, dass BM42 eine Weiterentwicklung des weit verbreiteten BM25-Algorithmus darstellt, der die Relevanz von Dokumenten in Suchanfragen bewertet. Traditionelle Systeme nutzen in der Regel BM25, während RAG Vektordatenbanken verwendet, die Daten als mathematische Metriken darstellen, was die Datenabgleichung erleichtert.

Vasnetsov bemerkte: „Traditionelle Keyword-Abgleichalgorithmen wie BM25 gehen davon aus, dass Dokumente ausreichend groß sind, um Statistiken zu generieren. RAG hingegen arbeitet mit kleineren Informationshäppchen, weshalb BM25 unzureichend ist.“ BM42 verwendet ein Sprachmodell, um relevante Informationen aus Dokumenten zu extrahieren, anstatt Embeddings zu generieren. Diese extrahierten Daten werden tokenisiert und dann bewertet, wodurch Qdrant präzise die nötigen Informationen zur Beantwortung spezifischer Anfragen identifizieren kann.

Die hybride Suche bietet zahlreiche Möglichkeiten zur Optimierung. BM42 ist jedoch nicht die einzige Neuerung, die darauf abzielt, BM25 bei der Optimierung hybrider Suchen und RAG-Anwendungen zu übertreffen. Splade, ein Sparse Lexical and Expansion-Modell, ist ein weiterer Mitbewerber. Es nutzt ein vortrainiertes Sprachmodell, das Wortbeziehungen erkennen kann und gleichzeitig verwandte Begriffe einbezieht, die zwischen der Suchanfrage und den relevanten Dokumenten variieren können.

Während einige Vektordatenbankunternehmen Splade verwenden, behauptet Vasnetsov, dass BM42 eine kostengünstigere Lösung bietet. „Splade kann aufgrund der Größe und Rechenanforderungen dieser Modelle sehr teuer sein“, merkte er an.

RAG entwickelt sich schnell zu einem zentralen Thema in der Unternehmens-KI, da Organisationen versuchen, generative KI-Modelle mit ihren firmeneigenen Daten zu kombinieren. Mit RAG können Unternehmen ihren Mitarbeitern und Nutzern genauere und zeitnahe Informationen aus den Unternehmensdaten bereitstellen. Große Akteure wie Microsoft und Amazon bieten mittlerweile Cloud-Infrastrukturen an, die speziell für die Entwicklung von RAG-Anwendungen konzipiert sind. Darüber hinaus hat OpenAI im Juni Rockset übernommen, um seine RAG-Fähigkeiten zu erweitern.

Obwohl RAG es Nutzern ermöglicht, die Ausgaben von KI-Modellen mit Unternehmensdaten zu verknüpfen, ist es wichtig zu betonen, dass es sich weiterhin um ein Sprachmodell handelt, das anfällig für Ungenauigkeiten ist, die oft als „Halluzinationen“ bezeichnet werden.