Reka, une startup d'IA basée à San Francisco et fondée par des chercheurs de DeepMind, Google et Meta, a lancé un nouveau modèle de langage multimodal appelé Reka Core. Ce modèle est présenté comme le « plus grand et le plus performant » de l'entreprise et a été formé de zéro en utilisant des milliers de GPU.
Disponible dès aujourd'hui via API, en déploiement sur site ou sur appareil, Reka Core est le troisième modèle de langage de la société. Il excelle dans la compréhension de multiples modalités, notamment le texte, les images, l'audio et la vidéo. Impressionnant, bien qu'il ait été formé en moins d'un an, ses performances rivalisent avec celles de géants de l'industrie comme OpenAI, Google et Anthropic.
« Cette capacité à former des modèles performants dans un délai court nous distingue », a déclaré Dani Yogatama, co-fondateur et PDG de l'entreprise de 22 personnes, lors d'une récente interview.
Reka Core a été testé sur « 3 Body Problem » de Netflix, traduisant avec succès les actions à l'écran en texte. Yi Tay, le scientifique en chef et co-fondateur de Reka, a souligné que le modèle a été développé avec « des milliers de H100s ». Affronter des modèles de premier plan comme GPT-4 d’OpenAI et Claude 3 Opus d’Anthropic n’est pas une mince affaire, mais Tay a assuré que les performances de Core continuent de s'améliorer.
Que propose Reka Core ?
Bien que le nombre exact de paramètres de Reka Core demeure confidentiel, il est décrit comme un « très grand modèle » (la version précédente, Reka Flash, comptait 21 milliards de paramètres). Il a été formé à partir de sources de données diverses, y compris des données sous licence, des données publiquement disponibles et des données synthétiques en formats texte, audio, vidéo et image.
Cette formation exhaustive permet à Reka Core de traiter plusieurs modalités et de répondre de manière précise dans divers domaines, tels que les mathématiques et la programmation, avec une capacité de raisonnement exceptionnelle. Il supporte 32 langues et dispose d'une fenêtre de contexte étendue de 128 000 tokens, ce qui le rend adapté pour travailler avec des documents longs. Yogatama a noté que Core est le deuxième modèle après le Gemini Ultra de Google à englober toutes les modalités tout en fournissant des sorties de haute qualité.
Dans les tests de performance, Reka Core a surpassé le Gemini Ultra en perception vidéo, obtenant un score de 59.3 contre 54.3. Au benchmark MMMU pour les tâches d'image, il a suivi de près GPT-4 (56.8), Claude 3 Opus (59.4) et Gemini Ultra (59.4) avec un score de 56.3. En revanche, le modèle Grok d’Elon Musk (xAI), capable de vision, n’a obtenu que 53.6.
Des évaluations indépendantes ont classé Reka Core comme le deuxième meilleur en performance multimodale. De plus, Core a égalé ou dépassé les performances de modèles renommés dans divers benchmarks. Lors des tests de connaissances MMLU, il a obtenu 83.2, se plaçant juste derrière GPT-4, Claude 3 Opus et Gemini Ultra. Il a également surpassé GPT-4 dans des tâches de raisonnement et de programmation avec des scores de 92.2 et 76.8, respectivement.
Pour atteindre de telles performances en peu de temps, l'entreprise a adopté une approche de développement inversé. Plutôt que de former traditionnellement le modèle, elle a établi un objectif de performance ciblé et a rétro-conçu le volume de données et les exigences GPU nécessaires pour y parvenir.
Partenariats et projets futurs
Avec un accent sur les capacités multimodales et une tarification compétitive — 10 dollars par million de tokens d'entrée et 25 dollars par million de tokens de sortie — Reka vise à explorer des cas d'utilisation divers à travers des secteurs tels que le commerce électronique, le gaming, la santé et la robotique. Pour référence, GPT-4 Turbo d’OpenAI facture le même prix pour les tokens d’entrée mais 30 dollars pour les tokens de sortie.
Bien qu’encore en phases initiales, Reka travaille activement à défier la dominance d'OpenAI, Anthropic et Google sur le marché. La startup a déjà établi des collaborations avec des partenaires industriels ; par exemple, Snowflake a récemment intégré Reka Core et Flash dans son service Cortex pour le développement d’applications de modèles de langage. Des partenariats avec Oracle et AI Singapore, qui regroupe des institutions de recherche basées à Singapour, sont également en cours.
Yogatama a mentionné qu'après le lancement des modèles initiaux de la famille Reka (Flash et Edge), un fort intérêt des entreprises a entraîné une augmentation de la pipeline de clients. Plus de détails sur les partenariats devraient être annoncés prochainement.
Avec la première année axée sur la mise sur le marché des modèles, Reka prévoit d'améliorer ses offres tout en développant simultanément ses opérations commerciales. L’équipe est déterminée à améliorer les performances de Core tout en développant la prochaine version.
Malgré les avancées continues, Yogatama a précisé que l'entreprise n'a pas de plans immédiats pour ouvrir son code source. Il défend les principes de l’open-source mais souligne la nécessité de trouver un équilibre sur ce qui est partagé pour garantir une croissance commerciale durable.
Le paysage concurrentiel de Reka Core
Alors que Reka Core fait son apparition sur le marché de l'IA concurrentiel, il démontre des capacités prometteuses qui le mettent en concurrence avec les modèles leaders actuels.
Classement
