Confluent dévoile une solution intuitive pour accélérer le streaming en temps réel avec l'IA.

Innovation en Streaming de Données : Faits Saillants du Premier Kafka Summit en Asie

Le leader du streaming de données, Confluent, a récemment accueilli son premier Kafka Summit à Bengaluru, en Inde, attirant un large public de la communauté Kafka, avec plus de 30 % de participants venant de la région. L'événement a comporté des sessions captivantes avec des clients et partenaires, soulignant l'importance croissante des solutions de données en temps réel.

Perspectives du Discours Principal de Jay Kreps

Lors de son discours d'ouverture, le PDG et co-fondateur Jay Kreps a présenté sa vision de la création de produits de données universels visant à améliorer les capacités opérationnelles et analytiques. Il a introduit plusieurs innovations à venir dans l'écosystème Confluent, notamment une nouvelle fonctionnalité conçue pour simplifier l’exécution de charges de travail en temps réel liées à l'IA.

Simplification de l'Inférence des Modèles d'IA

Kreps a souligné que cette nouvelle offre vise à réduire la complexité rencontrée par les développeurs lorsqu'ils gèrent divers outils et langages pour l'entraînement et l'inférence de modèles d'IA avec des données en direct. Au cours d'une discussion médiatique, le Directeur Produit (CPO) de Confluent, Shaun Clowes, a précisé leur stratégie pour naviguer dans le paysage moderne de l'IA.

L'Évolution de Kafka

Il y a dix ans, les entreprises s'appuyaient principalement sur les données en batch pour leurs analyses, ce qui limitait leur capacité à exploiter les informations les plus récentes. Pour surmonter ce défi, des technologies open-source comme Apache Kafka ont émergé, permettant la gestion et le traitement des données en temps réel. Aujourd'hui, Apache Kafka est devenu la solution incontournable pour le streaming de données dans de nombreuses entreprises. Confluent, fondé par Kreps—l'un des créateurs de Kafka—propose des produits et services commerciaux autour de cette plateforme puissante.

En plus de Kafka, Confluent a acquis Immerok l'année dernière, un acteur clé du projet Apache Flink, afin d'améliorer ses capacités de traitement des données en temps réel, permettant un filtrage, un regroupement et un enrichissement efficaces des flux de données.

Développements Passionnants dans l'IA en Temps Réel

Lors du Kafka Summit, Confluent a dévoilé l'inférence de modèles d'IA comme partie de ses offres cloud-native pour Apache Flink. Cette innovation facilite l'intégration de l'IA et de l'apprentissage automatique dans les applications de données en streaming. Clowes a souligné que Kafka a été conçu pour connecter divers systèmes en temps réel, et avec l'essor de l'IA, les possibilités se sont multipliées.

Auparavant, les équipes utilisant Flink faisaient face à des défis pour appeler l'IA avec des données en streaming, nécessitant une programmation et une intégration d'outils importantes. Désormais, grâce à l'inférence de modèles d'IA, les utilisateurs peuvent exploiter des requêtes SQL simples directement sur la plateforme pour accéder aux moteurs d'IA d'OpenAI, AWS SageMaker, Google Cloud Vertex et Microsoft Azure, améliorant ainsi l'accessibilité et l'efficacité.

Flexibilité dans le Choix des Modèles

L'approche plug-and-play de Confluent offre aux utilisateurs une flexibilité dans le choix des modèles d'IA adaptés à leurs besoins. À mesure que la performance des modèles évolue, les utilisateurs peuvent changer de modèle sans modifier leurs pipelines de données sous-jacents, maximisant ainsi l'adaptabilité et la rentabilité.

Clowes a illustré cela par un exemple impliquant deux jobs Flink : un job traite les données clients et stocke les embeddings dans une base de données vectorielle, tandis que l'autre gère les demandes d'inférence. Cette approche rationalisée permet des réponses rapides aux demandes des clients.

Plans d'Expansion et d'Innovation

Actuellement, l'inférence de modèles d'IA est disponible pour certains clients, avec des projets pour un accès plus large et des fonctionnalités supplémentaires dans les mois à venir. Confluent vise à améliorer ses offres cloud-native en intégrant un assistant IA génératif conçu pour soutenir les utilisateurs dans leurs tâches de codage et de flux de travail.

Solutions Rentables avec les Freight Clusters

Confluent a également présenté les Freight Clusters, un type de cluster sans serveur innovant qui utilise l'auto-scaling et des méthodes de réplication moins coûteuses à travers des centres de données. Bien que cela puisse introduire une certaine latence, cela peut offrir des économies allant jusqu'à 90 %. Clowes a noté que cette solution est idéale pour des cas d'utilisation spécifiques, tels que le traitement des données de journalisation et de télémétrie.

Croissance Future dans la Région APAC

En regardant vers l'avenir, Clowes et Kreps ont exprimé l'engagement de Confluent à élargir sa présence dans la région APAC, notamment en Inde, où ils prévoient d'augmenter leur effectif de 25 %. Ils se concentrent également sur l'amélioration de la gouvernance des données et des capacités en libre-service dans le domaine du streaming, un domaine qui reste sous-développé par rapport aux lacs de données traditionnels.

En résumé, Confluent est bien placé pour conduire des avancées significatives dans le streaming de données en temps réel et l'intégration de l'IA, continuant à innover et à s'adapter dans cette industrie en rapide évolution.