Nvidia und Microsoft schließen sich zusammen, um eine bedeutende Herausforderung mit Copilot+ zu meistern.

Als Microsoft vor einigen Wochen die Copilot+ PCs vorstellte, stellte sich eine Frage: Warum kann ich diese KI-Anwendungen nicht auf meiner GPU ausführen? Auf der Computex 2024 hat Nvidia endlich darauf reagiert.

Nvidia und Microsoft arbeiten an einer Programmierschnittstelle (API), die Entwicklern ermöglichen wird, KI-beschleunigte Anwendungen auf RTX-Grafikkarten auszuführen. Dazu gehören die Small Language Models (SLMs), die für das Copilot-Runtime entscheidend sind und Funktionen wie Recall und Live Captions unterstützen.

Mit diesem Toolkit können Entwickler Anwendungen lokal auf der GPU ausführen, anstatt sich ausschließlich auf die Neural Processing Unit (NPU) zu verlassen. Diese Neuerung eröffnet die Möglichkeit für leistungsstärkere KI-Anwendungen, da GPUs typischerweise eine überlegene KI-Verarbeitungskapazität im Vergleich zu NPUs bieten. Dies erweitert auch die Zugänglichkeit für PCs über die aktuellen Anforderungen an Copilot+ hinaus.

Dies ist eine strategische Entwicklung. Copilot+ PCs sind derzeit auf eine NPU angewiesen, die mindestens 40 Tera Operationen pro Sekunde (TOPS) leisten kann. Momentan erfüllt nur der Snapdragon X Elite diese Spezifikation. Im Gegensatz dazu zeigen GPUs deutlich höhere KI-Verarbeitungsfähigkeiten, wobei Einstiegsmodelle 100 TOPS erreichen und fortgeschrittene Modelle diese Zahl übertreffen.

Die neu eingeführte API verbessert auch das Copilot-Runtime um Funktionen zur abrufunterstützten Generierung (RAG). RAG ermöglicht es KI-Modellen, spezifische lokale Informationen abzurufen, wodurch sie effektivere Lösungen anbieten können. Zuvor wurde die RAG-Funktionalität in Nvidias Chat mit RTX Anfang dieses Jahres demonstriert.

Zusätzlich zur API stellte Nvidia auf der Computex das RTX AI Toolkit vor. Dieses Entwicklerpaket, das im Juni veröffentlicht wird, integriert eine Vielzahl von Tools und SDKs, mit denen Entwickler KI-Modelle für spezielle Anwendungen optimieren können. Nvidia behauptet, dass die Nutzung des RTX AI Toolkits Modelle hervorbringen kann, die viermal schneller und dreimal kleiner sind als Open-Source-Alternativen.

Eine Flut von Tools entsteht, die Entwicklern die Erstellung maßgeschneiderter KI-Anwendungen für Endbenutzer ermöglichen. Während einige Innovationen bereits in Copilot+ PCs integriert sind, können wir im kommenden Jahr mit einer größeren Vielfalt an KI-Anwendungen rechnen. Mit der Hardware, die diese Anwendungen unterstützt, benötigen wir nun nur noch die entsprechenden Softwarelösungen.