Amazon bietet mit seinem neuen verwalteten Produkt, dem AWS Parallel Computing Service, eine Cloud-Lösung an, die den Zugang zu Hochleistungscomputing (HPC) demokratisieren soll. Dieses Angebot ermöglicht es AWS-Kunden, leistungsstarke Server für große, rechenintensive Arbeitslasten zu nutzen, ohne dass sie eigene Systemadministratoren benötigen.
Ian Colle, Direktor für fortgeschrittenes Computing und Simulation bei AWS, betont, dass dieser verbesserte Zugang die Innovation in Technologie und wissenschaftlicher Entdeckung beschleunigen könnte, die traditionell auf HPC-Cluster angewiesen sind. "Viele bestehende Arbeitslasten könnten von Hochleistungscomputing-Ressourcen profitieren, aber die Vorstellung, dass dies nur für große Unternehmen geeignet ist, hemmt oft die Erkundung," erklärt Colle.
Er ist überzeugt, dass sich diese Wahrnehmung ändern wird, sobald Unternehmen die einfache Nutzung von HPC-Clustern mit dem neuen Service entdecken, was zu mehr Experimentierfreude führen wird. "Wir reduzieren den administrativen Aufwand und beseitigen die Notwendigkeit eines erheblichen Kapitalinvestments in HPC-Cluster. Jetzt braucht man nur noch ein AWS-Konto, um Experimente durchzuführen und zu bewerten, wie Arbeitslasten skalieren können," fügt er hinzu.
Angebote des Services
Der AWS Parallel Computing Service ermöglicht es Nutzern, Gruppen von Amazon Elastic Compute Cloud-Instanzen einzurichten und zu verwalten. Der Service nutzt den Open-Source-HPC-Workload-Manager Slurm, um die Clusterverwaltung zu erleichtern und den Bedarf an dedizierten Systemadministratoren zu verringern.
Früher stellte AWS Zugang zu HPC-Clustern bereit, aber die Nutzer mussten ihre eigenen administrativen Ressourcen verwalten. Jetzt können Kunden, die wissenschaftliche und technische Arbeitslasten skalieren möchten, vertraute Tools auf AWS nutzen, einschließlich der Management-Konsole und Softwareentwicklungskits. Die Integration von Slurm ermöglicht es Nutzern, bestehende Workflows problemlos in den AWS HPC-Cluster zu migrieren, ohne sie umgestalten zu müssen. Unternehmen können auch leicht APIs integrieren. Colle betont, dass das Angebot von AWS die Clusterverwaltung vereinfacht und es den Kunden ermöglicht, das Slurm-Management vollständig auf den Service auszulagern.
Verfügbarkeit
Der Service ist zunächst in mehreren AWS-Regionen verfügbar, darunter Ohio, Nord-Virginia und Oregon in den USA; Frankfurt, Stockholm und Irland in Europa; sowie Sydney, Singapur und Tokio im asiatisch-pazifischen Raum. Einige AWS-Kunden, darunter das in Deutschland ansässige Unternehmen Marvel Fusion, hatten frühen Zugang, um die Vielfalt der Anwendungsfälle für HPC-Cluster zu demonstrieren. Marvel Fusion nutzt den Service für die Forschung an unbegrenzter emissionsfreier Energie, während das australische Unternehmen Ronin ihn für HPC-Simulationen in der Cloud verwendet.
Wachsende Nachfrage nach HPC-Clustern
Die Nachfrage nach HPC-Clustern ist gestiegen, da Unternehmen zunehmend auf Rechenleistung für das Training großer Sprachmodelle und andere KI-Basistechnologien angewiesen sind. HPC-Netzwerke sind nun entscheidend für bedeutende Berechnungen wie Arzneimittelentdeckung, aber auch für verschiedene KI-Arbeitslasten.
Traditionell hatten nur große Regierungs-Labore und Unternehmen Zugang zu Supercomputern, während Hardware-Hersteller wie AMD, Intel, Nvidia und IBM um schnellere Systeme für diese Kunden konkurrieren. Das wachsende Interesse von unterschiedlichen Unternehmen hat das Wachstum von "HPC-as-a-Service"-Angeboten von Cloud-Anbietern wie AWS, Google, Microsoft Azure und Penguin Computing on Demand beschleunigt.
Gartner-Analyst Tony Harvey stellt fest, dass HPC-as-a-Service nicht neu ist, dass sich aber die Anwendungsfälle weiterentwickeln, was mehr Unternehmen dazu veranlasst, Zugang zu Supercomputern zu suchen. "Wir werden wahrscheinlich einen Zuwachs an Konkurrenz in diesem Bereich sehen, da immer mehr Angebote entstehen, besonders da HPC-Anwendungen jetzt über KI hinausgehen," sagt Harvey.
Er fügt hinzu, dass die Demokratisierung des Zugangs zu HPC-Ressourcen die Wartezeiten für Hochleistungs-Supercomputer wie die Hewlett Packard Frontier-Einheit in Tennessee, die monatelange Wartelisten haben kann, reduziert. "Dies ermöglicht neuen Nutzern den Zugang zu diesen Ressourcen und maximiert den Wert der Zeit für Forscher und Praktiker, die sich mit Experimenten und prädiktivem Modellieren beschäftigen," schließt Harvey.