Nvidia a lancé une technologie RTX innovante destinée à améliorer les assistants IA et les humains numériques sur les derniers ordinateurs portables GeForce RTX AI. Un point marquant de cette annonce est le projet G-Assist, une démonstration technique d’un assistant IA alimenté par RTX qui offre une assistance contextuelle pour les jeux PC et les applications. Cette démo a été présentée en même temps qu’ARK: Survival Ascended de Studio Wildcard.
Lors de la keynote du PDG Jensen Huang à Computex à Taïwan, Nvidia a également dévoilé le premier Nvidia NIM (Nvidia Inference Microservices) sur PC pour la plateforme humaine numérique Nvidia ACE. Ces avancées proviennent de la Nvidia RTX AI Toolkit, un ensemble d'outils et de SDK visant à aider les développeurs à optimiser et déployer de grands modèles d'IA générative sur PCs Windows. Cela complète les innovations robustes en IA de Nvidia, accélérant plus de 500 applications PC, jeux et 200 designs de laptops OEM. La vision de Nvidia implique une adoption généralisée de l'IA dans les centres de données, l’informatique en périphérie et les systèmes domestiques.
Les nouveaux ordinateurs portables RTX AI d'ASUS et MSI sont équipés de GPU GeForce RTX 4070 et de systèmes sur puce éco-énergétiques intégrant des fonctionnalités d'IA sous Windows 11. « Nvidia a lancé l'ère de l'IA sur PC en 2018 avec la sortie des GPU RTX Tensor Core et de la technologie DLSS », a déclaré Jason Paul, vice-président de Nvidia pour l'IA grand public. « Avec le projet G-Assist et Nvidia ACE, nous ouvrons la voie à la prochaine génération d’expériences alimentées par l'IA pour plus de 100 millions d'utilisateurs de PC RTX AI. »
G-Assist : un assistant IA révolutionnaire
Les assistants IA sont prêts à transformer les expériences de jeux et d’applications, offrant des stratégies, analysant des rediffusions en multijoueur et aidant dans des workflows complexes. Projet G-Assist incarne cet avenir. Les jeux PC, riches en mondes vastes et mécaniques complexes, représentent un défi même pour les joueurs les plus dévoués. G-Assist utilise l'IA générative pour fournir des connaissances sur les jeux directement aux joueurs. En utilisant des entrées vocales ou textuelles et des données contextuelles provenant de l'écran de jeu, il bénéficie de modèles de vision IA pour améliorer la conscience situationnelle, offrant ainsi des réponses personnalisées sous forme de texte ou de parole.
En collaboration avec Studio Wildcard, G-Assist a démontré son efficacité dans ARK: Survival Ascended, répondant aux questions des joueurs sur les créatures, objets, légendes, etc., tout en adaptant ses conseils selon la session de jeu du joueur. De plus, il optimise les systèmes de jeu pour des performances maximales, fournissant des informations sur les métriques, les réglages graphiques, les options d'overclocking et la gestion de la consommation d'énergie.
Nvidia ACE et Microservices d’Inférence
La technologie ACE de Nvidia apporte désormais des capacités humaines numériques aux PC RTX grâce à Nvidia NIM. Cette innovation simplifie le déploiement, le réduisant de plusieurs semaines à quelques minutes. Les NIM ACE permettent des inférences de haute qualité localement sur les appareils, facilitant la compréhension du langage naturel, la synthèse vocale et l'animation faciale.
Lors de Computex, Nvidia a présenté le lancement de l’ACE NIM dans la démonstration technique Covert Protocol, développée avec Inworld AI, intégrant les capacités de reconnaissance vocale automatique NVIDIA Riva et NVIDIA Audio2Face™.
Collaboration avec Microsoft pour une IA accélérée par GPU
Nvidia et Microsoft s'associent pour améliorer l'IA générative dans les applications Windows, offrant aux développeurs un accès API à des petits modèles linguistiques (SLM) accélérés par GPU. Ces modèles permettent des applications telles que la synthèse de contenu, sa génération et l'automatisation des tâches, enrichies par des capacités de génération augmentée par récupération (RAG) adaptées à des domaines spécifiques. Alimentées par les GPU RTX de Nvidia et d'autres accélérateurs matériels, ces avancées en IA promettent des expériences rapides et réactives dans l'écosystème Windows, avec un aperçu pour les développeurs prévu cette année.
Présentation de l’RTX AI Toolkit
Pour répondre à l'utilisation généralisée de modèles open-source principalement conçus pour les centres de données, Nvidia lance l’RTX AI Toolkit, un ensemble d'outils et de SDK pour créer des modèles d'IA spécifiques aux applications sur PC RTX. Prévue pour un accès développeur élargi en juin, cette boîte à outils permet des personnalisations utilisant les outils open-source QLoRa et l'optimisation avec Nvidia TensorRT, atteignant des gains de performance allant jusqu'à 4x par rapport aux modèles pré-entraînés.
Le SDK Nvidia AI Inference Manager (AIM) simplifie l'intégration de l'IA sur les PCs et les services cloud, préconfigurant les modèles nécessaires et prenant en charge divers backends d'inférence sur différents processeurs. Des partenaires logiciels comme Adobe, Blackmagic Design et Topaz intègrent des composants de l’RTX AI Toolkit dans leurs applications créatives, améliorant considérablement les performances IA sur les PCs RTX.
IA dans la création de contenu et le modding
Nvidia intègre également l'accélération RTX IA dans des outils pour créateurs, moddeurs et passionnés de vidéo. Suite à l'introduction de l'accélération RTX dans l'interface Automatic1111 Stable Diffusion l'année dernière, le populaire ComfyUI bénéficiera bientôt d'améliorations, offrant un gain de performance allant jusqu'à 60% par rapport à sa version actuelle.
Nvidia RTX Remix, une plateforme de modding pour la remastérisation de jeux classiques DirectX 8 et 9 avec ray tracing, NVIDIA DLSS 3.5 et des matériaux physiquement réalistes, est également en expansion. Le RTX Remix Toolkit, lancé en open-source plus tôt cette année, a déjà impliqué plus de 20 000 moddeurs, donnant lieu à plus de 130 projets remastérisés. De nouvelles améliorations sont à venir alors que le RTX Remix Toolkit deviendra entièrement open-source, permettant une flexibilité accrue pour les moddeurs pour remplacer les actifs des jeux et optimiser les scènes. En outre, Nvidia fournira une API REST pour l'intégration avec des outils de création de contenu numérique et un SDK spécialisé pour déployer le rendu RTX Remix dans diverses applications.
Enfin, Nvidia RTX Video, une fonctionnalité d'upscaling par IA dans les principaux navigateurs web, est désormais disponible comme SDK pour les développeurs. Cette innovation permettra bientôt à DaVinci Resolve de Blackmagic Design et à Wondershare Filmora d'améliorer la qualité vidéo en 4K et de convertir des fichiers SDR en HDR. Le lecteur multimédia gratuit VLC intégrera également RTX Video HDR, renforçant ses capacités d'upscaling existantes.
Classement
