Elon Musk stellt den leistungsstärksten KI-Trainingscluster der Welt vor

Elon Musk führt mindestens sechs innovative Unternehmen: Tesla, SpaceX, Starlink, X (ehemals Twitter), Neuralink und xAI. Doch er strebt nach mehr.

Heute kündigte Musk auf X an, dass xAI – bekannt für seine leistungsstarken Sprachmodelle (LLMs) namens Grok und einen entsprechenden Chatbot für zahlende Abonnenten – mit dem Training im Memphis Supercluster in Tennessee begonnen hat, das als "das leistungsstärkste KI-Trainingscluster der Welt" bezeichnet wird.

Laut dem lokalen Nachrichtenportal WREG ist das Memphis Supercluster, das sich im Südwesten der Stadt befindet, die größte Kapitalinvestition eines neuen Markteintritts in der Geschichte der Region. Allerdings hat xAI derzeit keinen Vertrag mit der Tennessee Valley Authority, der erforderlich ist, um Projekte mit einer Leistung von über 100 Megawatt mit Strom zu versorgen.

Ausgestattet mit Nvidia GPUs

Musk enthüllte, dass der Supercluster mit 100.000 flüssigkeitsgekühlten Nvidia H100 Grafikprozessoren (GPUs) ausgestattet ist, die bei KI-Entwicklern, einschließlich Musks Konkurrenten bei OpenAI, sehr gefragt sind. Bemerkenswert ist, dass der Cluster auf einem einzigen Remote Direct Memory Access (RDMA) Netzwerk läuft, was effiziente Datenübertragungen zwischen den Rechenknoten ermöglicht, ohne die zentrale Verarbeitungseinheit (CPU) zu belasten.

xAI strebt nach modernster KI bis 2024

Das Ziel von xAI ist es, eigene LLMs im Supercluster zu trainieren. Musk äußerte in einer Antwort die Ambition, dass das Unternehmen bis Dezember 2024 "die leistungsstärkste KI der Welt nach jedem Maßstab" entwickeln möchte, wobei das Memphis Supercluster einen "beträchtlichen Vorteil" bieten soll.

Skepsis gegenüber Zeitplänen

Trotz Musks zahlreicher Erfolge ist er bekannt dafür, Fristen für Projekte wie vollautonome Fahrzeuge und Raumfahrtmissionen zu überschreiten. Daher besteht Skepsis hinsichtlich der Einführung des neuen Grok LLM im Dezember 2024. Sollte es jedoch termingerecht realisiert werden, könnte es xAI einen erheblichen Wettbewerbsvorteil verschaffen.

Mit Schwergewichten wie OpenAI, Anthropic, Google, Microsoft und Meta, die alle um Fortschritte in LLMs und SLMs konkurrieren, muss xAI ein innovatives und wertvolles Modell liefern, um im erbitterten KI-Wettbewerb um Nutzer und Marktanteile Schritt zu halten. Zudem deuten Berichte darauf hin, dass Microsoft mit OpenAI-CEO Sam Altman an einem 100-Milliarden-Dollar-KI-Trainingssupercomputer mit dem Codenamen Stargate arbeitet. Angesichts dieser Entwicklungen könnte das Memphis Supercluster bald nicht mehr das leistungsstärkste sein.