À mesure que l'IA générative progresse, les entreprises réalisent que les chatbots basiques ne suffisent plus. Les hyperscalers cloud améliorent rapidement leurs bases de données et outils pour permettre un déploiement rapide et efficace des données opérationnelles, permettant aux entreprises de créer des applications intelligentes et contextuellement conscientes.
Un exemple notable est les récentes mises à jour de Google Cloud concernant ses offres de bases de données, à commencer par AlloyDB. Dans un billet de blog récent, Google a annoncé la disponibilité générale de l'index vectoriel ScaNN (scalable nearest neighbor) pour sa base de données entièrement gérée compatible PostgreSQL. Cette technologie, qui sous-tend Google Search et YouTube, facilite la création d'index et les requêtes vectorielles, tout en réduisant significativement la consommation de mémoire.
De plus, Google s'est associé à Aiven pour fournir un déploiement géré d'AlloyDB et a introduit des mises à jour pour Memorystore for Valkey et Firebase.
Comprendre la valeur de ScaNN pour AlloyDB
Les bases de données vectorielles sont essentielles pour alimenter des charges de travail avancées en IA, allant des chatbots RAG aux systèmes de recommandation. Elles excellent dans le stockage et la gestion des embeddings vectoriels (représentations numériques) et dans la réalisation de recherches de similarité cruciales pour des applications ciblées. Avec PostgreSQL étant la base de données préférée des développeurs dans le monde, son extension de recherche vectorielle, pgvector, a gagné une immense popularité. Google Cloud supporte cette fonctionnalité sur AlloyDB, utilisant un algorithme basé sur un graphe de pointe appelé HNSW (Hierarchical Navigable Small World) pour les opérations vectorielles. Cependant, les performances d'HNSW peuvent diminuer avec des charges de travail vectorielles exceptionnellement importantes, entraînant des latences applicatives et une augmentation de la mémoire utilisée.
Pour surmonter ces défis, Google Cloud a rendu l'index vectoriel ScaNN disponible dans AlloyDB. Cet index innovant utilise la même technologie que Google Search et YouTube, offrant jusqu'à quatre fois plus de rapidité pour les requêtes vectorielles et huit fois plus de rapidité pour la création d'index, tout en consommant 3 à 4 fois moins de mémoire que l'index HNSW standard dans PostgreSQL.
« L'index ScaNN est le premier index compatible PostgreSQL capable de gérer plus d'un milliard de vecteurs tout en offrant des performances de requête exceptionnelles — permettant des charges de travail haute performance pour toute entreprise », a déclaré Andi Gutmans, directeur général et vice-président de l'ingénierie pour les bases de données chez Google Cloud. Gutmans a également annoncé qu'AlloyDB Omni, la version téléchargeable d'AlloyDB, sera disponible en tant que service géré grâce à un partenariat avec Aiven, permettant un déploiement dans n'importe quel environnement, y compris sur site ou dans le cloud. « Exécutez des charges de travail transactionnelles, analytiques et vectorielles sur plusieurs clouds sur une plateforme unique, construisant facilement des applications d’IA générative là où cela est nécessaire », a-t-il poursuivi.
Améliorations pour Memorystore for Valkey et Firebase
De plus, Google Cloud a introduit des améliorations pour Memorystore for Valkey, son cluster géré pour la base de données en mémoire Valkey, ainsi que pour la plateforme de développement d'applications Firebase. Valkey inclura désormais des capacités de recherche vectorielle, permettant à une seule instance d'effectuer des recherches de similarité avec une latence d'un chiffre milliseconde sur plus d'un milliard de vecteurs, atteignant plus de 99% de rappel. La prochaine version, Memorystore for Valkey 8.0, est actuellement en préversion publique, offrant des requêtes deux fois plus rapides comparées à Memorystore for Redis Cluster, avec de nouveaux schémas de réplication, des améliorations réseau et une meilleure visibilité des performances.
Pour Firebase, Google Cloud s'apprête à dévoiler Data Connect, un backend-as-a-service intégré avec une base de données PostgreSQL entièrement gérée alimentée par Cloud SQL, qui entrera en préversion publique plus tard cette année.
Avec ces innovations, Google Cloud vise à fournir aux développeurs une suite complète d'options d'infrastructure et de bases de données, associées à des modèles linguistiques robustes, pour créer des applications intelligentes au sein de leurs organisations. Alors que la demande pour les applications d’IA générative devrait augmenter de manière spectaculaire, Omdia estime que le marché passera de 6,2 milliards de dollars en 2023 à 58,5 milliards de dollars en 2028, représentant un TCAC de 56%.