Nvidia präsentiert Retriever, DGX Cloud und den Supercomputer Project Ceiba auf AWS.

Nvidia und Amazon Web Services (AWS) vertiefen ihre strategische Partnerschaft mit bedeutenden Ankündigungen auf der AWS re:Invent Konferenz. Nvidia stellte ein neues DGX Cloud-Angebot vor, das den Debüt des Grace Hopper GH200 Superchips auf AWS markiert. Dieses Vorhaben ist Teil von Project Ceiba, das darauf abzielt, die weltweit größte öffentliche Cloud-Supercomputing-Plattform zu schaffen und beeindruckende 64 Exaflops an KI-Leistung bereitzustellen. Zudem erweitert AWS seinen EC2-Service um vier neue GPU-gestützte Cloud-Instanztypen.

Um Organisationen bei der Entwicklung fortschrittlicherer Large Language Models (LLMs) zu unterstützen, präsentierte Nvidia auch die NeMo Retriever-Technologie, eine Methode zur Retrieval Augmented Generation (RAG), die Unternehmensdaten mit generativer KI verknüpft.

Nvidia und AWS sind seit über 13 Jahren Partner; 2010 integrierte Nvidia erstmals seine GPUs in AWS-Cloud-Computing-Instanzen. Ian Buck, VP für Hyperscale und HPC bei Nvidia, betonte in einem Briefing die gemeinsamen Anstrengungen zur Förderung von Innovationen für Kunden wie Anthropic, Cohere und Stability AI. „Es ging nicht nur um die Hardware, sondern auch um die Software,“ teilte Buck mit. „Wir arbeiten oft im Hintergrund an Software-Integrationen.“

DGX Cloud: Supercomputing-Power auf AWS

Nvidia's DGX Cloud, erstmals auf der GPU Technology Conference im März angekündigt, zielt darauf ab, fortschrittliche Supercomputing-Fähigkeiten für KI bereitzustellen. Während das Konzept nicht ganz neu ist, ist die neueste Version auf AWS einzigartig. „Diese DGX Cloud ist besonders, weil sie die erste ist, die von NVIDIA Grace Hopper betrieben wird,“ erklärte Buck.

Der Grace Hopper Superchip integriert ARM-Computer mit GPUs und wurde hauptsächlich in Supercomputern eingesetzt. Die AWS-Variante der DGX Cloud nutzt die GH200 Chips in einer Rack-Architektur, bekannt als GH200 NVL-32, die 32 GH200 Superchips über Nvidias NVLink-Netzwerktechnologie verbindet. Diese Konfiguration kann bis zu 128 Petaflops an KI-Leistung erreichen, unterstützt von 20 Terabyte Hochgeschwindigkeits-Speicher. Buck betonte: „Sie repräsentiert eine neue Rack-Scale-GPU-Architektur für die Ära der generativen KI.“

Project Ceiba: Der größte Cloud-AI-Supercomputer der Welt

Nvidia und AWS starteten auch Project Ceiba, das darauf abzielt, den größten Cloud-AI-Supercomputer weltweit zu schaffen. Project Ceiba wird aus 16.000 Grace Hopper Superchips bestehen und nutzt AWS' Elastic Fabric Adapter (EFA) sowie das Nitro-System für Skalierbarkeit. Der Supercomputer soll eine beeindruckende Leistung von 64 Exaflops für KI erzielen und insgesamt bis zu 9,5 Petabyte Speicher bereitstellen. „Dieser Supercomputer wird in der AWS-Infrastruktur angesiedelt sein und von Nvidias Forschungsteams für Fortschritte in der KI in den Bereichen Grafiken, große Sprachmodelle, Bild- und Videobearbeitung, generative KI, digitale Biologie, Robotik, autonomes Fahren und mehr genutzt,“ fügte Buck hinzu.

NeMo Retriever: Der Schlüssel zu effektiven LLMs

Mit der Einführung des NeMo Retrievers auf der AWS re:Invent möchte Nvidia die Funktionalität von Unternehmens-Chatbots verbessern. Buck merkte an, dass die gängigsten LLMs auf öffentlichen Daten basieren, was ihre Effektivität einschränkt. Um die genauesten und aktuellsten Informationen zu erhalten, müssen Organisationen ihre LLMs mit proprietären Unternehmensdaten integrieren. „Diese Integration ist der heilige Gral für Unternehmens-Chatbots, wo die Mehrheit der wertvollen Daten liegt,“ erklärte Buck. „Die Kombination von KI mit Unternehmensdatenbanken steigert Produktivität, Genauigkeit und Benutzerfreundlichkeit.“

Der NeMo Retriever bietet vorgefertigte Unternehmensmodelle und Retrieval-Microservices zur nahtlosen Integration in bestehende Arbeitsabläufe. Zudem umfasst er beschleunigte Vektor-Suchfunktionen zur Optimierung der Leistung. Zu den ersten Kunden des NeMo Retrievers zählen Dropbox, SAP und ServiceNow, was dessen moderne Genauigkeit und minimale Latzenz bei retrieval augmentierter Generation demonstriert.