Nvidia macht bedeutende Fortschritte in der Computertechnologie auf der laufenden GTC-Konferenz in San Jose. CEO Jensen Huang, gekleidet in eine schwarze Lederjacke, fesselte das Publikum während seiner Keynote, die wie ein Konzert wirkte. Er präsentierte den mit Spannung erwarteten GB200 Grace Blackwell Superchip, der eine Leistungssteigerung von bis zu 30 Mal für Inferenzlasten großer Sprachmodelle (LLM) verspricht. Huang betonte auch Fortschritte in den Bereichen Automotive, Robotik, Omniverse und Gesundheitswesen, was online für viel Aufregung sorgte.
Keine GTC-Veranstaltung ist vollständig ohne die Vorstellung von Branchenpartnerschaften. Nvidia kündigte an, wie es seine Zusammenarbeit mit großen Tech-Unternehmen verbessert, indem es seine neue KI-Computing-Infrastruktur, Software und Services integriert. Hier sind die wichtigsten Partnerschaften zusammengefasst:
AWS
Nvidia gab bekannt, dass AWS die neue Blackwell-Plattform mit dem GB200 NVL72, der 72 Blackwell GPUs und 36 Grace CPUs bietet, auf EC2-Instanzen bereitstellen wird. Diese Integration ermöglicht es Kunden, Inferenz in Echtzeit auf Multi-Billionen-Parameter-LLMs effizienter und kostengünstiger als mit früheren Nvidia GPUs zu erstellen und auszuführen. Zudem werden 20.736 GB200 Superchips für Project Ceiba, einen exklusiv auf AWS entwickelten KI-Supercomputer, bereitgestellt, und Amazon SageMaker wird mit Nvidia NIM Inferenz-Microservices integriert.
Google Cloud
Auch Google Cloud wird die Grace Blackwell-Plattform und NIM-Microservices in seine Cloud-Infrastruktur einbinden. Das Unternehmen kündigte zudem die Unterstützung von JAX an, einem Python-nativen Framework für das Hochleistungs-Training von LLMs auf Nvidia H100 GPUs, welches die Bereitstellung des Nvidia NeMo Frameworks über Google Kubernetes Engine (GKE) und Google Cloud HPC-Toolkit erleichtert. Außerdem wird Vertex AI die Google Cloud A3 VMs mit NVIDIA H100 GPUs und G2 VMs mit NVIDIA L4 Tensor Core GPUs unterstützen.
Microsoft
Microsoft bestätigte Pläne, NIM-Microservices und Grace Blackwell zu Azure hinzuzufügen, zusammen mit der neuen Quantum-X800 InfiniBand-Netzwerktechnologie. Zudem wird DGX Cloud mit Microsoft Fabric integriert, um die Entwicklung benutzerdefinierter KI-Modelle zu vereinfachen, und die neu eingeführten Omniverse Cloud APIs werden auf der Azure Power Plattform verfügbar sein. Im Gesundheitswesen wird Azure Nvidias Clara-Microservices und DGX Cloud nutzen, um schnelle Innovationen in der klinischen Forschung und Versorgung zu unterstützen.
Oracle
Oracle beabsichtigt, die Grace Blackwell-Computing-Plattform in OCI Supercluster und OCI Compute-Instanzen zu integrieren, und nutzt sowohl den Nvidia GB200 Superchip als auch den B200 Tensor Core GPU. Es wurde angekündigt, dass Nvidia NIM und CUDA-X-Microservices, einschließlich des NeMo Retrievers für RAG-Inferenz-Deployments, Erkenntnisse und Genauigkeit für die generativen KI-Anwendungen der OCI-Kunden verbessern werden.
SAP
SAP arbeitet mit Nvidia zusammen, um generative KI in seine Cloud-Lösungen zu integrieren, einschließlich SAP Datasphere, SAP Business Technology Platform und RISE with SAP. Das Unternehmen entwickelt zudem zusätzliche generative KI-Funktionen innerhalb von SAP BTP unter Verwendung von Nvidias generativer KI-Foundry, die DGX Cloud Supercomputing und Nvidia AI Enterprise Software umfasst.
IBM
IBM Consulting plant, seine Technologie- und Branchenerfahrung mit Nvidias AI Enterprise-Software-Stack, einschließlich neuer NIM-Microservices und Omniverse-Technologien, zu kombinieren. Diese Zusammenarbeit zielt darauf ab, KI-Workflows für Kunden zu beschleunigen, Anwendungsfälle zu optimieren und die Entwicklung branchenspezifischer KI-Lösungen, darunter digitale Zwillingsanwendungen für Lieferketten und Fertigung, zu erleichtern.
Snowflake
Snowflake erweiterte seine Partnerschaft mit Nvidia um die Integration von NeMo Retriever, einem generativen KI-Microservice, der benutzerdefinierte LLMs mit Unternehmensdaten verbindet. Diese Verbesserung wird die Leistung und Skalierbarkeit von Chatbot-Anwendungen, die mit Snowflake Cortex entwickelt wurden, steigern. Darüber hinaus umfasst die Zusammenarbeit die latenzarme Nvidia TensorRT-Software für Deep Learning-Inferenzanwendungen.
Neben Snowflake haben auch andere Datenplattformanbieter wie Box, Dataloop, Cloudera, Cohesity, Datastax und NetApp zugesagt, Nvidias Microservices, insbesondere die neue NIM-Technologie, zu nutzen, um RAG-Pipelines zu optimieren und proprietäre Daten in generative KI-Anwendungen zu integrieren.
Die Nvidia GTC 2024 findet vom 18. bis 21. März in San Jose und online statt.
Rangliste
