À l'ère des grands modèles de langage (LLMs), les entreprises cherchent à mettre en œuvre le modèle le plus efficace pour leurs applications spécifiques. Bien que cette tâche puisse sembler simple, de nombreuses organisations rencontrent un défi majeur : identifier la meilleure solution pour leurs cas d'utilisation précis dans un environnement en évolution rapide.
Not Diamond, une startup révolutionnaire en provenance de San Francisco, propose une solution innovante via un routeur LLM qui permet aux entreprises d'utiliser plusieurs modèles simultanément, redirigeant les requêtes vers le modèle le plus adapté. Cette approche améliore la qualité des résultats tout en optimisant des facteurs cruciaux tels que la latence et les coûts.
« Notre conviction fondamentale est que l'avenir ne sera pas dominé par un seul modèle ou une seule entreprise, mais qu'il se composera de nombreux modèles fondamentaux, de variantes spécialisées et de moteurs d'inférence personnalisés. Nous avons fondé Not Diamond pour faciliter cet avenir multi-modèles, en offrant l'infrastructure la plus avancée au monde pour le routage entre modèles », déclare Tomás Hernando Kofman, cofondateur et PDG de Not Diamond.
Malgré son stade précoce, Not Diamond a attiré l'attention, récoltant 2,3 millions de dollars de financement auprès de defy.vc et de figures notables de la communauté IA, dont Jeff Dean de Google DeepMind et Julien Chaumond de Hugging Face.
Le défi du coût des LLM par rapport à la performance spécifique aux tâches
Naviguer dans le paysage actuel des LLMs est complexe, chaque modèle—qu'il soit open-source ou propriétaire—ayant ses forces et ses faiblesses. Choisir un modèle offrant une grande longueur de contexte et des performances élevées peut être prohibitivement coûteux, tandis que des options moins chères peuvent manquer de capacités essentielles ou montrer une latence élevée. De plus, de nouveaux modèles émergent chaque jour, tandis que les modèles existants continuent de recevoir des mises à jour significatives, illustrant le potentiel des avancées open-source comme Llama 3.1.
Comment Not Diamond renforce les entreprises
Kofman, qui avait auparavant développé un produit IA sans code, a été confronté au dilemme des LLMs. Il a imaginé une solution : une interface permettant aux entreprises d'accéder à un réseau de modèles spécialisés plutôt que de dépendre d'un seul. Cette vision l'a conduit à collaborer avec les experts en apprentissage automatique Tze-Yang Tung et Jeffrey Akiki pour établir Not Diamond, axé sur la création d'une infrastructure qui redirige intelligemment les requêtes entre modèles.
« Une infrastructure de routage efficace est essentielle pour maximiser la performance des systèmes IA. Les modèles spécialisés plus petits peuvent surpasser les plus grands dans des domaines spécifiques, et le routage leur confère la résilience des modèles généraux. Cette approche est non seulement efficace en termes de calcul, mais elle améliore également l'interprétabilité et la sécurité », a expliqué Kofman.
La technologie innovante de Not Diamond
Au cœur de la solution de Not Diamond se trouvent un 'méta-modèle' et un algorithme de classement des LLMs. Ce routeur analyse de manière approfondie les requêtes entrantes, les dirigeant automatiquement vers le modèle le mieux adapté pour fournir des réponses précises tout en maximisant l'efficacité des coûts et en minimisant la latence. De ce fait, les équipes évitent d'appeler de grands modèles pour des requêtes simples.
Les résultats de benchmarking montrent que le routeur de Not Diamond, utilisant plusieurs LLMs, surpasse des modèles individuels tels que Llama 3.1 et GPT-4, offrant des résultats supérieurs. Pour développer cette capacité, Not Diamond a créé un vaste ensemble de données d'évaluation pour mesurer la performance des LLMs à travers différentes tâches, allant des réponses aux questions à la programmation et au raisonnement. L'entreprise a ensuite formé un algorithme de classement pour identifier le LLM le plus compatible avec chaque requête, guidant ainsi le processus de routage.
En décembre 2023, Not Diamond a lancé une avant-première open-source de son routeur, permettant aux entreprises de gérer sans effort les requêtes entre GPT-3.5 et GPT-4, avec des plans d'expansion vers d'autres modèles. De plus, si une équipe souhaite intégrer le routeur dans ses flux de travail internes pour des applications spécifiques, elle peut fournir des ensembles de données d'évaluation internes pour former un routeur personnalisé, optimisant ainsi la sélection des modèles. Le routeur offre également des fonctionnalités de hachage de données et de traduction de prompt pour améliorer les performances.
Accélération de l'adoption par les développeurs
Bien que Not Diamond soit encore à ses débuts, elle connaît un important engouement de la part d'entreprises émergentes et de développeurs indépendants. Les comptes utilisateurs spécifiques restent non divulgués, mais un client entreprise, Samwell AI, a signalé une amélioration de 10 % de la qualité de sortie des LLMs, ainsi qu'une réduction de 10 % des coûts et de la latence d'inférence grâce à la technologie de Not Diamond.
Avec le soutien de leaders de l'industrie, l'entreprise vise à capitaliser sur ses progrès, accélérant le développement de produits et augmentant les taux d'adoption. Kofman souligne que Not Diamond dispose d'une « multitude de fonctionnalités supplémentaires » en cours de développement, bien que les détails restent confidentiels.
Dans le domaine du routage intelligent des requêtes, Not Diamond fait face à la concurrence de plusieurs startups notables, y compris Martian et Unify. Cependant, Kofman affirme que Not Diamond se démarque par sa rapidité de routage exceptionnelle, l'optimisation des prompts et ses fonctionnalités de confidentialité.
Classement
