Nvidia bringt schnelle AI-Inferenz-Microservices für die zügige Anwendungsbereitstellung auf den Markt.

Jensen Huang, CEO von Nvidia, hielt eine Keynote auf der Computex in Taiwan, in der er erläuterte, wie Nvidia Inference Microservices (NIM) die Bereitstellung von KI-Modellen von Wochen auf nur Minuten verkürzen kann. Huang erklärte, dass die 28 Millionen Entwickler weltweit jetzt Nvidia NIM herunterladen können, das optimierte KI-Modelle als Container für die Bereitstellung in Clouds, Rechenzentren oder Workstations anbietet. Diese Technologie ermöglicht es den Anwendern, generative KI-Anwendungen wie Copiloten und Chatbots schnell zu erstellen, wodurch die Produktivität erheblich gesteigert wird.

Da KI-Anwendungen komplexer werden und auf mehrere Modelle zur Generierung von Text, Bildern, Videos und Sprache angewiesen sind, vereinfacht Nvidia NIM die Integration generativer KI in bestehende Anwendungen. Diese Effizienz erstreckt sich auch auf Unternehmen, die ihre Infrastrukturinvestitionen maximieren können. Beispielsweise kann das Ausführen des Meta Llama 3-8B Modells auf NIM bis zu dreimal mehr generative KI-Tokens liefern als ohne, und dies ohne zusätzliche Rechenkosten.

Fast 200 Technologiepartner, darunter Cadence, Cloudera und DataStax, haben NIM in ihre Plattformen integriert, um die Bereitstellung generativer KI für spezialisierte Anwendungen zu beschleunigen. Hugging Face bietet nun auch NIM, beginnend mit dem Meta Llama 3 Modell.

„Jedes Unternehmen möchte generative KI einbeziehen, aber nicht alle haben dedizierte Forschungsteams für KI“, sagte Huang. „Nvidia NIM macht generative KI für alle Organisationen zugänglich, da es plattformübergreifend integriert ist.“

NIM erleichtert die Bereitstellung von KI-Anwendungen über die Nvidia AI Enterprise Software-Plattform. Ab nächsten Monat können Mitglieder des Nvidia Developer Program NIM kostenlos für Forschung und Tests auf bevorzugten Infrastrukturen nutzen.

NIM umfasst über 40 Microservices, die verschiedene Branchen bedienen, darunter das Gesundheitswesen. Die NIM-Container sind vorkonfiguriert für GPU-beschleunigte Inferenz und können Nvidias CUDA, Triton Inference Server und TensorRT-LLM Software integrieren.

Entwickler können auf die Nvidia NIM Microservices für Meta Llama 3 über die Plattform von Hugging Face zugreifen, um Llama 3 Modelle mit nur wenigen Klicks einfach bereitzustellen. Unternehmen können NIM zur Generierung von Text, Bildern, Videos und Sprache sowie zur Erstellung digitaler Menschen nutzen. Darüber hinaus unterstützen Nvidia BioNeMo NIM Microservices Forscher bei der Innovation neuer Proteinstrukturen zur Beschleunigung der Arzneimittelentdeckung.

Zahlreiche Gesundheitsorganisationen nutzen NIM für verschiedene Anwendungen, darunter chirurgische Planungen und die Optimierung klinischer Studien. Führende Technologieanbieter wie Canonical, Red Hat und VMware unterstützen NIM auf der Open-Source-Plattform KServe, während KI-Unternehmen wie Hippocratic AI und Glean NIM für die generative KI-Inferenz integrieren. Große globale Beratungsunternehmen, darunter Accenture und Deloitte, entwickeln Kompetenzen in NIM, um Unternehmen zu helfen, KI-Strategien schnell umzusetzen.

NIM-fähige Anwendungen können auf von Nvidia zertifizierten Systemen bereitgestellt werden, darunter Systeme von Cisco, Dell Technologies und anderen großen Herstellern sowie Cloud-Plattformen wie AWS und Google Cloud. Prominente Unternehmen wie Foxconn und Lowe's setzen NIM bereits in Bereichen wie Fertigung und Gesundheitswesen ein.

Nvidia erweitert sein Programm für zertifizierte Systeme, um sicherzustellen, dass die Plattformen für KI und beschleunigtes Rechnen optimiert sind. Zu den neuen Zertifizierungen gehören Spectrum-X Ready Systeme für Rechenzentren und IGX Systeme für Edge Computing, die beide für Unternehmensanwendungen abgestimmt sind.

Durch NIM etablieren Unternehmen weltweit „KI-Fabriken“, um die Datenverarbeitung zu optimieren und die Intelligenzleistung zu steigern. Nvidia NIM in Kombination mit KServe wird die Bereitstellung generativer KI vereinfachen und über Plattformen von Partnern wie Canonical und Nutanix zugänglich machen.

Darüber hinaus betonte Huang, dass das hochmoderne Sprachmodell Meta Llama 3, das mit Nvidias beschleunigtem Rechnen trainiert wurde, die Arbeitsabläufe im Gesundheitswesen und den Lebenswissenschaften erheblich verbessert. Jetzt als Nvidia NIM Inferenz-Microservice unter ai.nvidia.com verfügbar, ausgestattet Llama 3 Entwickler mit den nötigen Tools, um verantwortungsbewusst in verschiedenen Anwendungen, einschließlich chirurgischer Planung und Arzneimittelentdeckung, zu innovieren.