Rockset, un fournisseur de bases de données en temps réel de premier plan, améliore ses capacités grâce à une recherche vectorielle avancée et une échelle améliorée. Fondée sur l'open-source RocksDB, un magasin de valeurs clés développé chez Meta (anciennement Facebook), Rockset utilise une technologie en constante évolution qui permet ses fonctionnalités d'indexation en temps réel. L'entreprise a levé un total de 105 millions de dollars de fonds, dont un récent tour de financement de 44 millions de dollars annoncé en août.
Avec cette mise à jour, Rockset lance officiellement la recherche vectorielle au sein de sa plateforme de base de données en temps réel. Cette capacité a été présentée pour la première fois en avril et a bénéficié d'améliorations significatives ces derniers mois. Des pionniers comme la compagnie aérienne à bas prix JetBlue ont déjà rapporté des mises en œuvre réussies de la technologie de Rockset. Parallèlement à la mise à jour de la recherche vectorielle, Rockset s'intègre également à l'outil populaire LangChain pour l'orchestration de l'IA et au framework de données LlamaIndex.
« Notre capacité de recherche vectorielle est désormais disponible et hautement sophistiquée. Vous pouvez créer des index de similarité grâce à la technologie d'approximate nearest neighbor (ANN) à grande échelle, avec des mises à jour en temps réel sur les embeddings vectoriels et les métadonnées », a déclaré Venkat Venkataramani, co-fondateur et PDG de Rockset.
Indexation en Temps Réel pour la Recherche Vectorielle
La concurrence sur le marché de la recherche vectorielle s'est intensifiée en 2023. Les vecteurs — représentations numériques des données — sont essentiels pour alimenter les grands modèles de langage (LLMs). De nombreuses bases de données vectorielles spécialisées, telles que Pinecone et Milvus, ont émergé, aux côtés de technologies de bases de données établies comme DataStax, MongoDB et Neo4j.
Rockset vise à se démarquer en offrant des mises à jour en temps réel pour la recherche vectorielle. À mesure que de nouvelles données entrent dans une base de données Rockset, tant l'index de la base de données que les embeddings vectoriels sont actualisés en temps réel, avec des latences dans la plage des chiffres à un chiffre en millisecondes. Cette efficacité provient d'un modèle de séparation des ressources qui isole les ressources dédiées à la construction de l'index de celles utilisées pour l'exécution des requêtes.
« Avec la plupart des bases de données vectorielles, les mises à jour en temps réel ne sont pas possibles ; elles nécessitent une reconstruction périodique de l'index », explique Venkataramani.
Accélération de la Recherche de Similarité Vectorielle par ANN
La recherche vectorielle peut être réalisée par divers moyens, y compris l'approximate nearest neighbor (ANN) et la technique plus précise des K Nearest Neighbors (KNN). Alors que l'ANN fournit des résultats approximatifs de manière efficace, le KNN calcule les correspondances exactes, ce qui peut être intensif en ressources pour les grands ensembles de données.
Rockset utilise à la fois les stratégies KNN et ANN en fonction du contexte des requêtes et des ensembles de données. L'interface SQL permet aux utilisateurs de combiner les recherches vectorielles avec des filtres de métadonnées, l'optimiseur de Rockset choisissant automatiquement la meilleure méthode pour la rapidité. Grâce à sa capacité de mise à jour en temps réel, les index ANN de Rockset reflètent les dernières données en quelques millisecondes.
La Pérennité des Bases de Données Vectorielles
Lors de la récente journée des développeurs d'OpenAI, l'entreprise a annoncé de nouveaux services susceptibles de remodeler le paysage de l'IA générative. Les API de construction et d'assistance de GPT d'OpenAI ont suscité des discussions sur l'avenir des technologies de bases de données vectorielles.
Malgré les spéculations de l'industrie, Venkataramani reste confiant quant à la demande continue pour les bases de données vectorielles. Il soutient que les grandes organisations avec des exigences élevées en matière de sécurité et de conformité ne peuvent pas uniquement compter sur des services tiers pour leurs initiatives en IA.
« Le besoin en bases de données vectorielles ne diminuera pas, surtout pour des ensembles de données complexes qui alimentent les cas d'utilisation de la génération augmentée par recherche (RAG) », a déclaré Venkataramani. Il a souligné qu'à mesure que les applications d'IA évoluent, l'infrastructure sous-jacente — les bases de données vectorielles — continuera de jouer un rôle crucial.
« Je crois que les bases de données vectorielles sont là pour rester, soutenues par une variété de cas d'utilisation émergents au-delà des simples chatbots », a-t-il conclu.
Classement
