Meta lance Llama 3.1 : Un modèle open-source puissant défiant la dominance d'OpenAI

Meta a récemment lancé Llama 3.1, le qualifiant de « modèle fondamental open-source le plus puissant » disponible aujourd'hui. Selon un billet de blog officiel, cette sortie marque un tournant dans l'évolution des grands modèles open-source, annonçant le début d'une nouvelle ère en IA.

La série Llama s'est constamment positionnée à l'avant-garde des modèles open-source, avec Meta aux côtés d'OpenAI pour représenter l’avenir des technologies open-source et propriétaires. Lors du lancement de Llama 3.1, le PDG de Meta, Mark Zuckerberg, a souligné le rôle crucial de l'open-source dans l'évolution positive de l'IA, annonçant des projets pour établir l'IA open-source comme norme industrielle.

Llama 3.1 est disponible en trois tailles de paramètres : 8B, 70B et 405B, répondant à des applications variées telles que les agents multilingues, le raisonnement complexe et l'assistance au codage. Le modèle affiche une fenêtre de contexte élargie de 128K, contre 8K auparavant, et supporte plusieurs langues, y compris l'anglais, l'allemand et le français. De plus, il propose des capacités d'outils améliorées, permettant l'intégration avec des moteurs de recherche et un raisonnement mathématique via Wolfram Alpha, tout en offrant un modèle de licence plus flexible qui permet aux utilisateurs d'optimiser d'autres modèles de langage (LLMs) avec Llama 3.1.

Les évaluations de performance montrent que le modèle de 405B de Llama 3.1 rivalise avec des modèles leaders comme GPT-4o, Claude 3.5 Sonnet et Gemini Ultra, affirmant sa position comme la release la plus puissante de Meta à ce jour. Avant le lancement officiel, des résultats de benchmark ont été fuités au sein de la communauté technologique, suscitant des discussions autour des capacités impressionnantes de Llama 3.1.

Meta a également publié un document technique complet de 92 pages détaillant le développement et l’entraînement de Llama 3.1, qui a été formé avec plus de 150 trillions de tokens et 16 000 GPU NVIDIA H100. Pour garantir la stabilité de l'entraînement, Meta a exclusivement utilisé l'architecture de modèle Transformer, évitant le modèle actuellement populaire de mélange d'experts (MoE).

Après le lancement de Llama 3.1, Meta a rapidement établi des partenariats avec plusieurs entreprises pour favoriser un écosystème plus large. Des entreprises comme Amazon, Databricks et NVIDIA ont commencé à offrir un soutien pour aider les développeurs à affiner et former leurs modèles. En Chine, Tencent Cloud a intégré Llama 3.1 dans sa plateforme TI, réalisant des ajustements et des tests correspondants.

En discutant de l'importance de l'open-source, Zuckerberg a souligné qu'il permet aux développeurs de garder le contrôle sur leurs modèles, garantit la sécurité des données et réduit les coûts de développement. Pour Meta, l'open-source est essentiel pour maintenir la compétitivité technologique. Il a marqué que cet écosystème ouvert permettrait à un plus grand nombre de personnes de bénéficier de la technologie IA, évitant la concentration de cette technologie au sein de quelques entreprises.

Alors que les géants de la technologie continuent d'investir massivement dans le secteur de l'IA, Meta réoriente stratégiquement son attention du métavers vers l'IA, prévoyant d'ajuster le budget de sa division Reality Labs pour soutenir une équipe générative IA plus large. De même, Alphabet, la société mère de Google, a réaffirmé son engagement envers l'investissement dans l'IA dans ses rapports financiers, indiquant que les grandes entreprises convolent toutes vers l'innovation et les breakthroughs dans ce paysage concurrentiel de l'IA.

Avec le lancement de Llama 3.1, la concurrence dans la technologie IA open-source est prête à s'intensifier, alors que les entreprises technologiques leaders s'efforcent de naviguer dans l'avenir du développement dans ce domaine.