Nvidia hat innovative RTX-Technologie vorgestellt, die darauf abzielt, KI-Assistenten und digitale Menschen auf den neuesten GeForce RTX AI-Laptops zu verbessern. Ein Highlight dieser Präsentation ist Project G-Assist, eine RTX-gestützte KI-Assistententechnologie, die kontextabhängige Unterstützung für PC-Spiele und Anwendungen bietet. Die Demo wurde gemeinsam mit ARK: Survival Ascended von Studio Wildcard vorgestellt.
Während der Keynote von CEO Jensen Huang auf der Computex in Taiwan führte Nvidia auch die ersten PC-basierten Nvidia NIM (Nvidia Inference Microservices) für die Nvidia ACE-Plattform für digitale Menschen ein. Diese Fortschritte basieren auf dem Nvidia RTX AI Toolkit, einer Sammlung von Tools und SDKs, die Entwicklern helfen, große generative KI-Modelle auf Windows-PCs zu optimieren und bereitzustellen. Dies ergänzt Nvidias starke RTX-AI-Innovationen, die über 500 PC-Anwendungen, Spiele und 200 OEM-Laptop-Designs beschleunigen. Nvidias Vision umfasst eine weitreichende KI-Adoption in Rechenzentren, Edge-Computing und Heimnetzwerken.
Die neu angekündigten RTX AI-Laptops von ASUS und MSI verfügen über GeForce RTX 4070 GPUs und energieeffiziente System-on-a-Chip-Lösungen mit Windows 11 KI-Funktionen. „Nvidia hat 2018 mit der Einführung der RTX Tensor Core GPUs und der DLSS-Technologie das Zeitalter des AI-PCs eingeleitet“, sagte Jason Paul, Vice President für Consumer AI bei Nvidia. „Mit Project G-Assist und Nvidia ACE erschließen wir die nächste Generation KI-gestützter Erlebnisse für über 100 Millionen RTX AI-PC-Nutzer.“
Project G-Assist: Ein bahnbrechender KI-Assistent
KI-Assistenten stehen kurz davor, das Gaming- und Anwendungserlebnis zu revolutionieren, indem sie Strategien anbieten, Multiplayer-Wiederholungen analysieren und bei komplexen Arbeitsabläufen helfen. Project G-Assist verkörpert diese Zukunft. PC-Spiele bieten riesige Welten und komplexe Mechaniken, die selbst die engagiertesten Spieler herausfordern. Project G-Assist nutzt generative KI, um Spielkenntnisse direkt an die Spieler zu übermitteln. Durch Sprach- oder Texteingaben sowie kontextuelle Daten vom Spielbildschirm verbessert es das Situationsbewusstsein mithilfe von KI-Visionsmodellen. Das Ergebnis sind maßgeschneiderte Antworten in Form von Text oder Sprache.
In Zusammenarbeit mit Studio Wildcard bewies Project G-Assist seine Wirksamkeit in ARK: Survival Ascended, indem es Spielerfragen zu Kreaturen, Gegenständen, Überlieferungen und mehr beantwortete und gleichzeitig die Anleitung an die Spielsitzung des Spielers anpasste. Zudem optimiert es die Gaming-Systeme für maximale Leistung und bietet Einblicke zu Kennzahlen, Grafikeinstellungen, Übertaktungsoptionen und Energiemanagement.
Nvidia ACE und Inference Microservices
Nvidias ACE-Technologie bringt nun digitale Menschenfähigkeiten auf RTX AI-PCs durch Nvidia NIM. Diese Innovation vereinfacht die Bereitstellung, indem sie von Wochen auf Minuten reduziert wird. ACE NIMs ermöglichen hochwertige Inferenz lokal auf Geräten und unterstützen das Verständnis natürlicher Sprache, die Sprachsynthese und die Gesichtsanimation.
Auf der Computex stellte Nvidia die Premiere von ACE NIM in der Covert Protocol Tech-Demo vor, die in Zusammenarbeit mit Inworld AI entwickelt wurde und die NVIDIA Audio2Face™- und NVIDIA Riva Spracherkennungstechnologien enthält.
Zusammenarbeit mit Microsoft für GPU-beschleunigte KI
Nvidia und Microsoft arbeiten zusammen, um generative KI in Windows-Anwendungen zu verbessern. Entwicklern wird API-Zugriff auf GPU-beschleunigte kleine Sprachmodelle (SLMs) gewährt. Diese Modelle ermöglichen Anwendungen wie Inhaltszusammenfassungen, -generierungen und Aufgabenautomatisierungen, die durch retrieval-augmented generation (RAG)-Funktionen für spezifische Bereiche ergänzt werden.
Angetrieben von Nvidia RTX GPUs und anderen Hardwarebeschleunigern versprechen diese KI-Fortschritte schnelle, reaktionsschnelle Erlebnisse im Windows-Ökosystem, und eine Entwickler-Vorschau wird später in diesem Jahr veröffentlicht.
Einführung des RTX AI Toolkits
Um der weitverbreiteten Nutzung von Open-Source-Modellen, die hauptsächlich für Rechenzentren konzipiert sind, zu begegnen, bringt Nvidia das RTX AI Toolkit auf den Markt, eine Sammlung von Tools und SDKs zur Erstellung anwendungsspezifischer KI-Modelle auf RTX-PCs. Das Toolkit wird im Juni einem breiteren Entwicklerpublikum zugänglich gemacht und ermöglicht Anpassungen mit Open-Source-QLoRa-Tools sowie Optimierungen mit Nvidia TensorRT, die Leistungssteigerungen von bis zu 4x im Vergleich zu vortrainierten Modellen erreichen.
Das Nvidia AI Inference Manager (AIM) SDK vereinfacht die KI-Integration auf PCs und in Cloud-Diensten und konfiguriert die erforderlichen Modelle vor, wobei es verschiedene Inferenz-Backends über unterschiedliche Prozessoren unterstützt. Softwarepartner wie Adobe, Blackmagic Design und Topaz integrieren Komponenten des RTX AI Toolkits in ihre kreativen Anwendungen und verbessern so die KI-Leistung auf RTX-PCs erheblich.
KI in der Content-Erstellung und Modding
Nvidia integriert auch RTX-AI-Beschleunigung in Tools für Kreative, Modder und Videoenthusiasten. Nach der Einführung der RTX-Beschleunigung in der Automatic1111 Stable Diffusion-Schnittstelle im vergangenen Jahr wird auch das beliebte ComfyUI bald Verbesserungen erfahren, die eine Leistungssteigerung von bis zu 60 % im Vergleich zur aktuellen Version bieten.
Nvidia RTX Remix, eine Modding-Plattform zur Remasterung klassischer DirectX 8 und 9-Spiele mit Raytracing, NVIDIA DLSS 3.5 und physikalisch genauen Materialien, wird ebenfalls ausgeweitet. Das RTX Remix Toolkit, das Anfang dieses Jahres als Open Source gestartet wurde, hat bereits über 20.000 Modder engagiert und mehr als 130 remasterte Projekte hervorgebracht.
Zukünftige Verbesserungen stehen bevor, da das RTX Remix Toolkit vollständig Open Source wird und Moddern größere Flexibilität bei der Ersetzung von Spielinhalten und der Optimierung von Szenen ermöglicht. Zudem wird Nvidia eine REST-API für die Integration in digitale Content-Creation-Tools sowie ein spezialisiertes SDK für die Bereitstellung des RTX Remix-Renderers in verschiedenen Anwendungen bereitstellen.
Schließlich ist Nvidia RTX Video, ein KI-gesteuertes Super-Resolution-Feature in großen Webbrowsern, jetzt als SDK für Entwickler verfügbar. Diese Innovation wird es bald ermöglichen, die Videoqualität in Blackmagic Designs DaVinci Resolve und Wondershare Filmora auf 4K zu erhöhen und Standard-Dynamic-Range-Dateien in HDR umzuwandeln. Der kostenlose Mediaplayer VLC wird ebenfalls RTX Video HDR integrieren, was die bestehenden Super-Resolution-Funktionen verbessert.
Rangliste
