Jensen Huang, PDG de Nvidia, a prononcé un discours au Computex à Taiwan, mettant en lumière comment les Microservices d’Inférence Nvidia (NIM) peuvent transformer le déploiement des modèles d'IA, passant de plusieurs semaines à seulement quelques minutes.
Huang a expliqué que les 28 millions de développeurs dans le monde peuvent désormais télécharger Nvidia NIM, qui propose des modèles d'IA optimisés sous forme de conteneurs pour un déploiement dans le cloud, les centres de données ou sur les stations de travail. Cette technologie permet aux utilisateurs de créer rapidement des applications d'IA générative — telles que des copilotes et des chatbots — renforçant ainsi leur productivité.
Alors que les applications d'IA deviennent plus complexes et reposent sur plusieurs modèles pour générer du texte, des images, des vidéos et des discours, Nvidia NIM simplifie l'intégration de l'IA générative dans les applications existantes. Cette efficacité profite également aux entreprises, leur permettant de maximiser leurs investissements en infrastructure. Par exemple, l'utilisation du modèle Meta Llama 3-8B avec NIM peut produire jusqu'à trois fois plus de tokens d'IA générative, augmentant ainsi la production sans coûts informatiques supplémentaires.
Près de 200 partenaires technologiques, incluant Cadence, Cloudera et DataStax, ont intégré NIM dans leurs plateformes pour accélérer le déploiement de l'IA générative dans des applications spécialisées. Hugging Face propose désormais également NIM, en commençant par le modèle Meta Llama 3.
« Chaque entreprise cherche à intégrer l'IA générative, mais toutes ne disposent pas d'équipes de recherche en IA dédiées », a déclaré Huang. « Nvidia NIM rend l'IA générative accessible à toutes les organisations en étant intégrée sur différentes plateformes. »
NIM facilite le déploiement d'applications d'IA à travers la plateforme logicielle Nvidia AI Enterprise. À partir du mois prochain, les membres du programme Nvidia Developer pourront accéder gratuitement à NIM pour la recherche et les tests sur leurs infrastructures préférées.
NIM inclut plus de 40 microservices adaptés à divers secteurs, tels que la santé. Les conteneurs NIM sont préconçus pour une inférence accélérée par GPU et peuvent intégrer les logiciels CUDA, Triton Inference Server et TensorRT-LLM de Nvidia.
Les développeurs peuvent accéder aux microservices Nvidia NIM pour Meta Llama 3 via la plateforme de Hugging Face, permettant ainsi le déploiement facile des modèles Llama 3 en quelques clics. Les entreprises peuvent tirer parti de NIM pour générer du texte, des images, des vidéos, des discours, et même créer des humains numériques. De plus, les microservices Nvidia BioNeMo NIM aident les chercheurs à innover de nouvelles structures de protéines pour accélérer la découverte de médicaments.
De nombreuses organisations de santé utilisent NIM pour diverses applications, y compris la planification chirurgicale et l'optimisation des essais cliniques.
Des fournisseurs technologiques de premier plan comme Canonical, Red Hat et VMware soutiennent NIM sur KServe, une solution open-source, tandis que des entreprises d’IA telles que Hippocratic AI et Glean intègrent NIM pour l’inférence d’IA générative. De grands cabinets de conseil mondial, dont Accenture et Deloitte, développent des compétences sur NIM pour aider les entreprises à lancer rapidement des stratégies d'IA.
Les applications compatibles avec NIM peuvent être déployées sur des systèmes certifiés par Nvidia, y compris ceux de Cisco, Dell Technologies et d'autres grands fabricants, ainsi que sur des plateformes cloud comme AWS et Google Cloud. Des entreprises notables comme Foxconn et Lowe's appliquent déjà NIM dans des domaines tels que la fabrication et la santé.
Nvidia élargit son programme de systèmes certifiés, garantissant que les plateformes sont optimisées pour l'IA et l'informatique accélérée. Les nouvelles certifications incluent les systèmes Spectrum-X Ready pour les centres de données et les systèmes IGX pour l'informatique en périphérie, tous validés pour des performances de niveau entreprise.
Avec NIM, les entreprises du monde entier mettent en place des "usines d'IA" pour rationaliser le traitement des données et améliorer la production d'intelligence. Nvidia NIM, associé à KServe, simplifiera le déploiement de l'IA générative, la rendant accessible via des plateformes telles que celles de Canonical et Nutanix.
Huang a également souligné que Meta Llama 3, un modèle de langage avancé formé avec l'informatique accélérée de Nvidia, améliore considérablement les flux de travail dans le secteur de la santé et des sciences de la vie. Maintenant disponible en tant que microservice d'inférence Nvidia NIM sur ai.nvidia.com, Llama 3 fournit aux développeurs les outils nécessaires pour innover de manière responsable dans diverses applications, y compris la planification chirurgicale et la découverte de médicaments.
Classement
