Als Edo Liberty seine Promotion in Informatik an der Yale University abschloss, mit Fokus auf zufällige Projektionen, hätte er nicht ahnen können, dass dieses Konzept ein Jahrzehnt später für die moderne KI unerlässlich sein würde. Liberty ist der Gründer und CEO von Pinecone, einem führenden Unternehmen im Bereich der Vektordatenbanktechnologie, das über 138 Millionen US-Dollar, darunter eine bedeutende Finanzierungsrunde von 100 Millionen US-Dollar im Jahr 2023, eingenommen hat. Die zufälligen Projektionen, die Grundlage seiner Dissertation, sind heute ein essentielles Element der Vektorsuche. Bis 2024 hat sich die Technologie der Vektordatenbanken von einem Nischenbereich zu einem entscheidenden Bestandteil für die Ermöglichung von Retrieval Augmented Generation (RAG) in der generativen KI entwickelt.
Als Pinecone 2019 gegründet wurde, waren Vektordatenbanken weitgehend unbekannt. Heute jedoch bietet jeder große Datenbankanbieter – darunter Oracle, MongoDB, DataStax und Google Cloud – Funktionen für Vektordatenbanken an. Pinecone hebt sich in mehreren wesentlichen Aspekten von anderen Technologien ab. Kürzlich gab das Unternehmen die allgemeine Verfügbarkeit seiner serverlosen Datenbank über die drei führenden Cloud-Anbieter AWS, Microsoft Azure und Google Cloud bekannt. Dazu werden auch neue Funktionen eingeführt, um die Funktionalität und Nützlichkeit der Plattform zu verbessern.
„Wir haben uns von einem kleinen Team, das ein obskures Produkt entwickelte, zu einem Marktführer in der spannendsten Datenbankkategorie weltweit entwickelt“, teilte Liberty mit den Medien.
Wie die serverlose Vektordatenbank von Pinecone funktioniert
Pinecone stellte seine serverlose Vektordatenbank erstmals im Januar vor und führte sie zunächst auf AWS ein. Mit der aktuellen Ankündigung ist sie nun auch auf Google Cloud und Microsoft Azure verfügbar. Das Wesentliche eines serverlosen Ansatzes ist die Bereitstellung einer optimierten, verwalteten Lösung, bei der die Kosten nutzungsbasiert sind. Liberty betont die Benutzerfreundlichkeit, da die Komplexitäten des Infrastrukturmanagements entfallen.
„Als Kunde haben Sie keinen Kontakt zu Konzepten wie Computerressourcen; Sie wählen keine Knotengrößen oder CPUs aus“, erklärte Liberty. „Sie verwalten Lese-, Schreib- und Speicherkapazitäten basierend auf der Kapazität.“
Eine bedeutende Vorteil des serverlosen Modells ist die Skalierbarkeit. Nutzer können Anwendungen starten, ohne sich um die Anzahl der Vektoren kümmern zu müssen, sei es fünf Tausend oder fünf Milliarden. „Sie erstellen einen Index und beginnen, den Service zu nutzen“, sagte er.
Neue Funktionen zur Verbesserung der serverlosen Vektordatenbank von Pinecone
Die allgemeine Verfügbarkeit der serverlosen Vektordatenbank von Pinecone bringt auch mehrere neue Funktionen mit sich. Eine bemerkenswerte Ergänzung sind die Funktionen für den Massenimport von Daten, mit denen Nutzer große Datensätze problemlos von einer Cloud in eine andere transferieren können, um umfangreiche Indizes effizient und kostengünstig zu erstellen.
Darüber hinaus implementiert Pinecone die rollenbasierte Zugangskontrolle (RBAC) in seinem serverlosen Angebot. Während RBAC typischerweise mit Sicherheit verbunden ist, betont Liberty, dass der Hauptvorteil in der Verbesserung der Datenverwaltung durch praktische Zugangskontrollmaßnahmen liegt. „Wenn Sie mit Infrastruktur arbeiten, ist es entscheidend zu steuern, wer das Recht hat, zu lesen, zu schreiben und zu löschen. Die rollenbasierte Zugangskontrolle ermöglicht das“, erklärte er.
Neben diesem Update für die Datenbank bringt Pinecone ein neues Software Development Kit (SDK) auf den Markt, das die Integration von Pinecone in Anwendungs-Workflows, insbesondere für .NET-Anwendungen, vereinfachen soll.
Warum Pinecone sich im Wettbewerb abhebt
Trotz der wachsenden Anzahl von Anbietern, die Unterstützung für Vektordatenbanken anbieten, ist Liberty von den einzigartigen Vorteilen von Pinecone überzeugt. Er argumentiert, dass Datenbankanbieter, die einen Multi-Model-Ansatz verfolgen, bei dem Vektoren lediglich als ein weiterer Datentyp behandelt werden, im Vergleich zu Pinecone, das sich konsequent auf Vektortechnologie konzentriert, im Nachteil sind. „Vom ersten Tag an haben wir ein herausragendes Entwicklererlebnis priorisiert. Sobald Benutzer sich engagieren, erkennen sie, dass wir die skalierbarste, effizienteste und kostengünstigste Lösung für die Vektorsuche bieten“, betonte Liberty. „Unser Fokus bleibt auf der Produktions- und Unternehmensbereitschaft.“