NVIDIA dévoile son nouveau modèle d'IA 8B : haute précision et efficacité, compatible avec les stations de travail RTX.

NVIDIA Dévoile le Mistral-NeMo-Minitron 8B : Un Modèle IA Linguistique Compact

Le 21 août, NVIDIA a annoncé le lancement du Mistral-NeMo-Minitron 8B, un modèle IA linguistique compact, conçu pour une précision exceptionnelle et une efficacité computationnelle optimale. Ce modèle est spécifiquement optimisé pour une utilisation dans des centres de données accélérés par GPU, des environnements de cloud computing et des stations de travail.

Suite à la collaboration du mois dernier avec Mistral AI pour le lancement du modèle open source Mistral NeMo 12B, le nouveau Mistral-NeMo-Minitron 8B dispose de 8 milliards de paramètres et est conçu pour les systèmes équipés de cartes graphiques NVIDIA RTX. Les améliorations apportées au modèle Mistral NeMo 12B par NVIDIA comprenaient l'élagage de largeur et la distillation des connaissances, les résultats étant détaillés dans le document intitulé "Compact Language Models via Pruning and Knowledge Distillation."

Le processus d’élagage consiste à éliminer les poids du modèle qui contribuent peu à la précision, réduisant efficacement la taille du réseau de neurones. Au cours de la phase de distillation, l'équipe de recherche a réentraîné le modèle élagué en utilisant un ensemble de données plus petit, atténuant ainsi la baisse de précision causée par l'élagage.

En termes de performance, le Mistral-NeMo-Minitron 8B présente des avantages significatifs dans neuf benchmarks populaires pour les modèles linguistiques, démontrant des compétences en compréhension du langage, raisonnement de bon sens, raisonnement mathématique, résumé et génération de réponses précises.