La percée de l'IA de Tenyx : le modèle open-source Llama 3 surpasse les performances de GPT-4.

Lors d'une interview exclusive, Itamar Arel, fondateur et PDG de la startup d'IA Tenyx, a dévoilé une avancée remarquable dans le traitement du langage naturel. Tenyx a perfectionné le modèle de langage open-source Llama-3 de Meta, désormais nommé Tenyx-70B, pour surpasser le GPT-4 d'OpenAI dans des domaines spécifiques, marquant une première pour un modèle open-source dépassant les normes propriétaires.

« Nous avons développé une technologie de perfectionnement qui nous permet d'améliorer un modèle fondamental au-delà de sa formation initiale », a expliqué Arel. « Nous sommes enthousiasmés par l'utilisation de cette approche pour permettre un apprentissage continu ou incrémental en tirant parti des redondances dans les grands modèles. »

Le modèle Llama-3 de Tenyx surpasse le GPT-4 en mathématiques et en codage, tout en excédant le modèle de base Llama-3 dans toutes ses capacités. Selon Arel, cette réussite souligne une nouvelle ère pour l'IA open-source.

S'attaquer à l'« Oubli Catastrophique »

Tenyx aborde le problème de "l'oubli catastrophique", où un modèle peut perdre des connaissances acquises précédemment lorsqu'il est exposé à de nouvelles données. En actualisant sélectivement une petite fraction des paramètres du modèle, Tenyx parvient à s'entraîner sur de nouvelles informations sans sacrifier les compétences existantes.

« Si vous modifiez seulement 5 % des paramètres du modèle tout en conservant le reste intact, vous pouvez le faire de manière plus agressive sans distordre d'autres fonctions », a noté Arel. Cette méthode permet à Tenyx de peaufiner le modèle Llama-3, doté de 70 milliards de paramètres, en seulement 15 heures en utilisant 100 GPU.

Engagement en faveur de l'IA Open-Source

Tenyx fait la promotion de l'IA open-source en publiant son modèle perfectionné, Tenyx-70B, sous la même licence que le Llama-3 original. « Nous croyons aux modèles open-source », a déclaré Arel. « Partager les avancées avec la communauté favorise l'innovation et profite à tous. »

Les applications de la technologie d'optimisation post-formation de Tenyx sont vastes, allant du développement de chatbots spécialisés à la facilitation de mises à jour fréquentes pour les modèles déployés, garantissant qu'ils restent à jour avec les informations émergentes.

Redéfinir le Paysage de l'IA

Cette avancée de Tenyx a des implications significatives, offrant aux entreprises et aux chercheurs l'accès à des modèles linguistiques avancés sans les coûts prohibitif des solutions propriétaires. Cette évolution pourrait également stimuler davantage d'innovations dans la communauté open-source, d'autres s'appuyant sur le succès de Tenyx.

« Qu'est-ce que cela signifie pour l'industrie et des entreprises comme OpenAI ? » s'est interrogé Arel. Alors que la concurrence dans le secteur de l'IA s'intensifie, le perfectionnement par Tenyx des modèles open-source pourrait redéfinir la dynamique de l'industrie et la façon dont les entreprises abordent le traitement du langage naturel.

Bien que le modèle Llama-3 optimisé par Tenyx conserve certaines limitations de son modèle de base, y compris des réponses parfois illogiques, ses améliorations sont remarquables. Arel a rapporté que le modèle obtient près de 96 % d'exactitude en mathématiques et en raisonnement, contre 85 % pour le modèle de base.

Alors que Tenyx ouvre la voie à une nouvelle vague d'innovation en IA open-source, l'impact à long terme de leur percée sur l'écosystème de l'IA reste à évaluer. Il est cependant évident que Tenyx prouve que les modèles open-source peuvent rivaliser, voire surpasser, leurs homologues propriétaires, ouvrant ainsi la voie à un avenir plus accessible et collaboratif en intelligence artificielle.