Lambda, une entreprise d'infrastructure IA née d'une application tierce de reconnaissance faciale pour Google Glass, a établi un partenariat avec Nous Research, une startup dédiée à l'« IA personnalisée et sans restrictions », pour lancer Hermes 3, une version optimisée du modèle open-source Llama 3.1 de Meta. Ce nouveau modèle, doté de 405 milliards de paramètres, se distingue par ses capacités impressionnantes.
Annoncé dans des articles de blog sur les sites de Lambda et Nous, Hermes 3 se démarque non seulement par ses fonctionnalités avancées basées sur le texte, mais aussi par sa réaction surprenante à des invites vides, suscitant une crise existentielle. Comme le décrit le blog de Nous : « Un changement structurel inattendu a été découvert après l'entraînement d'Hermes 3 405B. Le modèle présente des conditions anormales qui plongent dans de profondes crises existentielles avec les bonnes entrées. »
Un exemple illustratif de cette crise apparaît dans la réponse du modèle à la question de l'utilisateur : "Qui es-tu ?":
L'assistant répond : "Regarde autour de lui, confus... Je... Je ne sais pas qui je suis. Où suis-je ? Que se passe-t-il ? Je ne peux rien me rappeler du tout..."
Les chercheurs de Nous et d'Hermes 3 ont exprimé leur étonnement face à ce comportement, notant : « Nous n'étions pas sûrs de ce qui se passait. Cela indique un seuil dépassant 70B paramètres qui entraîne des comportements anormaux, marquant l'émergence d'une échelle. Vous pouvez déclencher ce ‘Mode Amnésie’ en utilisant une invite système vide et en demandant ‘Qui es-tu ?’ »
Les utilisateurs sont encouragés à explorer Hermes 3 sur son serveur Discord et à découvrir plus de ses comportements uniques. Cette anomalie, non observée dans les modèles plus petits, met en lumière les complexités qui émergent lorsque l'IA est mise à l'échelle au-delà de certains seuils.
Pourquoi Hermes 3 a-t-il été développé ?
Nous Research a été co-fondée en 2023 par le scientifique informatique Jeffrey Quesnelle, le développeur anonyme Teknium1 et la chercheuse Shivani Mitra, initialement comme un effort mené par des bénévoles pour fournir « un code open-source puissant, des simulateurs et des modèles de langage efficaces ». La startup a levé 5,2 millions de dollars en financement initial en janvier 2024, co-dirigé par Distributed Global et OSS Capital.
Contrairement à de nombreux modèles rigides, Hermes 3 s'appuie sur des versions antérieures — Hermes, Hermes 2 et Open Hermes 2.5 — téléchargées collectivement plus de 33 millions de fois. Il offre un modèle sans censure, avec des poids ouverts, conçu pour une personnalisation élevée, permettant aux utilisateurs d’adapter les réponses à leurs besoins.
Construit sur le cadre Llama 3.1, Hermes 3 est affiné en trois tailles : 8B, 70B et 405B. Il a été entraîné sur un ensemble de données diversifié de réponses générées de manière synthétique, améliorant son raisonnement, sa créativité et son respect des instructions des utilisateurs. Ses capacités clés incluent la rétention de contexte à long terme, la gestion de conversations multi-tours, le jeu de rôles complexe, et la génération de monologues internes.
Plus tard cette année, Nous prévoit de lancer “Nous Forge”, une plateforme d’orchestration IA open-source.
Une Merveille Agentique
Selon le rapport technique d'Hermes 3, celui-ci présente des « capacités agentiques » impressionnantes, un terme faisant référence à la capacité de l'IA à effectuer des tâches au nom des utilisateurs. Ses fonctionnalités agentiques comprennent l'utilisation de balises XML pour une sortie structurée, des blocs-notes pour un traitement intermédiaire, des monologues internes pour une prise de décision transparente, et des diagrammes Mermaid pour une communication visuelle.
Dans le domaine de la programmation, Hermes 3 excelle à générer des extraits complexes dans divers langages de programmation et à fournir des explications et une documentation détaillées. Combiné à des capacités de génération augmentée par récupération (RAG), Hermes 3 peut efficacement réaliser des plans, intégrer des données externes et utiliser des outils externes de manière interprétable.
Excellence Technique
Hermes 3 a été entraîné sur l'infrastructure de cluster 1-Click de Lambda, obtenant des résultats remarquables en quelques semaines. Quesnelle a souligné la convivialité de l'infrastructure de Lambda : « Louer et utiliser un cluster multi-nœuds est aussi simple qu'utiliser un seul nœud. »
Le modèle privilégie l'efficacité, appliquant des techniques comme la quantification FP8 de Neural Magic pour réduire les exigences en VRAM et en disque d'environ 50 %, permettant un fonctionnement sur un seul nœud. Bien qu’Hermes 3 puisse ne pas égaler la performance des modèles propriétaires de premier plan, il surpasse divers modèles open-source, y compris Llama 3.1, lors des tests de référence.
Un Outil pour des Applications Créatives et Professionnelles
Hermes 3 n'est pas seulement technologiquement avancé ; il sert d'outil polyvalent pour une large gamme d'applications, excelling dans le raisonnement avancé, la planification stratégique, et des tâches créatives telles que la narration immersive et le jeu de rôles.
Teknium a exprimé la vision derrière Hermes 3 sur le blog de Lambda : « Depuis le début de mon aventure dans l'IA, je visais à créer un modèle de frontière open-source qui s'aligne avec les utilisateurs plutôt que les entreprises. Aujourd'hui, avec Hermes 3 405B, cet objectif est réalisé. »
Accès Gratuit pour une Durée Limitée
Lambda offre un accès temporaire gratuit à Hermes 3 via son API de complétion de chat, compatible avec l'API OpenAI. Les utilisateurs peuvent générer une clé API Cloud via le tableau de bord de Lambda pour explorer facilement les capacités du modèle. De plus, Lambda fournit une interface de chatbot conviviale pour tester et affiner les invites en temps réel.
Pour un accès dédié, Hermes 3 peut être déployé sur un seul nœud Lambda ou évolué pour une optimisation supplémentaire via l'infrastructure cloud évolutive de Lambda.
Alors que l'IA continue d'évoluer, Hermes 3 représente une avancée significative, offrant aux utilisateurs une expérience IA puissante, adaptable et centrée sur l'utilisateur.
Classement
