H2O AI Présente Danube : Un LLM Ultra-Compact Optimisé pour les Applications Mobiles

Aujourd'hui, H2O AI, engagé à démocratiser l'IA grâce à des outils open-source et propriétaires, a annoncé le lancement de Danube, un modèle de langage large (LLM) ultra-léger conçu spécifiquement pour les appareils mobiles.

Nommé d'après le deuxième plus grand fleuve d'Europe, ce modèle open-source affiche 1,8 milliard de paramètres et semble égaler, voire dépasser, les performances de modèles similaires sur diverses tâches de traitement du langage naturel. Cela le positionne aux côtés de concurrents notables tels que Microsoft, Stability AI et Eleuther AI.

Le moment de cette annonce coïncide parfaitement avec l’intérêt croissant des entreprises développant des dispositifs consommateurs pour exploiter le potentiel de l'IA générative hors ligne. En permettant aux modèles de fonctionner localement sur les appareils, les utilisateurs peuvent bénéficier d'une assistance rapide sans dépendre des services basés sur le cloud.

« Nous sommes ravis de présenter H2O-Danube-1.8B comme un LLM portable pour les appareils mobiles. L'essor de matériels plus petits et rentables, ainsi que des techniques d'entraînement plus efficaces, a rendu les modèles de taille modeste plus accessibles. Nous croyons qu'H2O-Danube-1.8B révolutionnera les applications mobiles hors ligne », a déclaré Sri Ambati, PDG et co-fondateur de H2O.

Fonctionnalités clés de Danube-1.8B LLM

Bien qu'il ait été récemment dévoilé, H2O affirme que Danube peut être affiné pour diverses applications de langage naturel sur des dispositifs compacts, y compris le raisonnement sur le bon sens, la compréhension de lecture, la synthèse et la traduction.

Pour entraîner ce modèle, H2O a collecté un trillion de tokens provenant de diverses sources Web et a employé des techniques avancées issues des modèles Llama 2 et Mistral pour améliorer ses capacités.

« Nous avons adapté l'architecture de Llama 2 pour contenir environ 1,8 milliard de paramètres. Nous avons utilisé le tokenizer de Llama 2 avec un vocabulaire de 32 000 et formé le modèle pour atteindre une longueur de contexte de 16 384. De plus, nous avons intégré le mécanisme d'attention à fenêtre glissante de Mistral d'une taille de 4 096 », a détaillé l'entreprise sur Hugging Face.

Les benchmarks montrent que Danube offre des performances comparables, voire supérieures, à la plupart des modèles dans la fourchette de 1 à 2 milliards de paramètres. Par exemple, dans le test Hellaswag pour l'évaluation de l'inférence linguistique naturelle, il a atteint une précision de 69,58 %, se classant juste derrière le Stable LM 2 de Stability AI, qui dispose de 1,6 milliard de paramètres pré-entraînés sur 2 trillions de tokens. Dans le benchmark Arc pour la réponse avancée aux questions, Danube a terminé troisième, avec une précision de 39,42 %, juste après Microsoft Phi 1.5 (1,3 milliard de paramètres) et Stable LM 2.

Outils pour une adoption sans faille

Publié sous une licence Apache 2.0, Danube-1.8B est disponible pour un usage commercial. Les équipes intéressées par l'implémentation de ce modèle pour des applications mobiles peuvent le télécharger sur Hugging Face et le personnaliser selon des cas d'utilisation spécifiques.

Pour faciliter ce processus, H2O prévoit de lancer prochainement des outils supplémentaires. De plus, une version optimisée pour le chat du modèle, H2O-Danube-1.8B-Chat, est également accessible pour des applications conversationnelles.

À long terme, l'introduction de Danube et de modèles compacts similaires devrait dynamiser les applications d'IA générative hors ligne sur smartphones et ordinateurs portables, améliorant ainsi des tâches comme la synthèse d’e-mails, l'assistance à la saisie et l'édition d'images. Samsung a déjà pris des mesures en ce sens avec le lancement de sa gamme de smartphones S24.