Mit dem Fortschritt der generativen KI könnten Unternehmen feststellen, dass grundlegende Chatbots nicht mehr ausreichen. Cloud-Hyperscaler verbessern schnell ihre Datenbanken und Tools, um eine zügige und effiziente Bereitstellung operativer Daten zu ermöglichen, was es Unternehmen erlaubt, intelligente, kontextbewusste Anwendungen zu entwickeln. Ein herausragendes Beispiel sind die aktuellen Updates von Google Cloud für seine Datenbanklösungen, beginnend mit AlloyDB.
In einem aktuellen Blogbeitrag kündigte Google an, dass ihre vollständig verwaltete, PostgreSQL-kompatible Datenbank nun die allgemeine Verfügbarkeit des ScaNN (scalable nearest neighbor) Vektorindex bietet. Diese Technologie, die Google Search und YouTube zugrunde liegt, ermöglicht eine schnellere Erstellung von Indizes und Vektorabfragen und reduziert gleichzeitig den Speicherverbrauch erheblich. Darüber hinaus hat Google eine Partnerschaft mit Aiven geschlossen, um die verwaltete Bereitstellung von AlloyDB anzubieten, und neue Updates für Memorystore für Valkey und Firebase eingeführt.
Wert von ScaNN für AlloyDB verstehen
Vektordatenbanken sind entscheidend für die Unterstützung fortschrittlicher KI-Anwendungen, von RAG-Chatbots bis hin zu Empfehlungssystemen. Sie sind besonders gut darin, Vektor-Embeddings (numerische Datenrepräsentationen) zu speichern und bei der Durchführung von Ähnlichkeitssuchen, die für zielgerichtete Anwendungen entscheidend sind, zu helfen. PostgreSQL ist die bevorzugte Datenbank unter Entwicklern weltweit. Ihre Erweiterung für die Vektorsuche, pgvector, hat enorme Popularität erlangt. Google Cloud unterstützt dieses Feature auf AlloyDB und verwendet einen modernen graphbasierten Algorithmus namens Hierarchical Navigable Small World (HNSW) für Vektoroperationen. Allerdings kann die Leistung von HNSW bei außergewöhnlich großen Vektorladeszenarien abnehmen, was zu Verzögerungen und erhöhtem Speicherverbrauch führt.
Um diese Herausforderungen zu überwinden, hat Google Cloud den ScaNN Vektorindex in AlloyDB verfügbar gemacht. Dieser innovative Index nutzt dieselbe Technologie wie Google Search und YouTube, liefert bis zu viermal schnellere Vektorabfragen und eine achtmal schnellere Indexerstellung, und das bei einem Speicherverbrauch, der 3-4 Mal geringer ist als der standardmäßige HNSW-Index in PostgreSQL. „Der ScaNN-Index ist der erste PostgreSQL-kompatible Index, der mehr als eine Milliarde Vektoren unterstützen kann und außergewöhnliche Abfrageleistungen bietet – ideal für leistungsstarke Arbeitslasten in jedem Unternehmen“, erklärte Andi Gutmans, GM und VP Engineering für Datenbanken bei Google Cloud.
Gutmans kündigte außerdem an, dass AlloyDB Omni, die herunterladbare Version von AlloyDB, in Partnerschaft mit Aiven als verwalteter Service verfügbar sein wird, der eine Bereitstellung in jeder Umgebung ermöglicht, einschließlich vor Ort oder in der Cloud. „Führen Sie transaktionale, analytische und Vektorladeanwendungen über Clouds auf einer einzigen Plattform aus und erstellen Sie mühelos generative KI-Anwendungen, wo immer sie benötigt werden“, fügte er hinzu.
Erweiterungen für Memorystore für Valkey und Firebase
Zusätzlich hat Google Cloud Upgrades für Memorystore für Valkey, seinem verwalteten Cluster für die Valkey In-Memory-Datenbank, und für die Firebase-Anwendungsentwicklungsplattform eingeführt. Valkey wird nun Vektorsuche-Funktionen enthalten, sodass eine einzelne Instanz Ähnlichkeitssuchen mit einer Latenz von nur wenigen Millisekunden für über eine Milliarde Vektoren durchführen kann und dabei mehr als 99% Recall erreicht. Die nächste Version, Memorystore für Valkey 8.0, befindet sich derzeit in der öffentlichen Vorschau und bietet eine um das Doppelte schnellere Abfragegeschwindigkeit im Vergleich zu Memorystore für Redis Cluster, zusammen mit neuen Replikationsschemata, Netzwerkverbesserungen und verbesserter Leistungsübersicht.
Für Firebase plant Google Cloud die Einführung von Data Connect, einem Backend-as-a-Service, das mit einer vollständig verwalteten PostgreSQL-Datenbank betrieben von Cloud SQL integriert ist und später in diesem Jahr in die öffentliche Vorschau geht.
Mit diesen Innovationen möchte Google Cloud Entwicklern eine umfassende Palette von Infrastruktur- und Datenbankoptionen bieten, kombiniert mit robusten Sprachmodellen, um intelligente Anwendungen für ihre Organisationen zu schaffen. Da die Nachfrage nach generativen KI-Anwendungen voraussichtlich dramatisch steigen wird, schätzt Omdia, dass der Markt von 6,2 Milliarden USD im Jahr 2023 auf 58,5 Milliarden USD im Jahr 2028 anwachsen wird, was einem CAGR von 56% entspricht.