MLCommons veröffentlicht MLPerf 4.0: Ein Benchmark für KI-Inferenz
MLCommons hat die MLPerf 4.0 Benchmarks für KI-Inferenz vorgestellt, die die rasanten Fortschritte in Software und Hardware hervorheben.
Mit der Weiterentwicklung der generativen KI steigt die Nachfrage nach einem anbieterneutralen Benchmarking-Rahmen für Leistung. MLCommons erfüllt diesen Bedarf mit den MLPerf Benchmarks, die wertvolle Einblicke in Trainings- und Inferenzfähigkeiten bieten. Die Ergebnisse der MLPerf 4.0 Inferenz markieren das erste Update seit der Veröffentlichung der MLPerf 3.1 Ergebnisse im September 2023.
In den letzten sechs Monaten hat sich die Entwicklung in der KI erheblich beschleunigt, wobei große Hardwareunternehmen wie Nvidia und Intel ihre Produkte zur Optimierung der Inferenzleistung verbessert haben. Die neuen MLPerf 4.0 Ergebnisse zeigen signifikante Verbesserungen in den Technologien von Nvidia und Intel.
Besonders erwähnenswert sind die Veränderungen bei den MLPerf Inferenz Benchmarks. Während MLPerf 3.1 das GPT-J 6B Modell zur Textzusammenfassung verwendete, liegt der Fokus bei MLPerf 4.0 auf dem weit verbreiteten Llama 2 70 Milliarden Parameter Modell für die Beantwortung von Fragen (Q&A). Zudem führt MLPerf 4.0 erstmals einen Benchmark für die Bildgenerierung durch generative KI unter Verwendung von Stable Diffusion ein.
„MLPerf dient als Branchenstandard zur Verbesserung von Geschwindigkeit, Effizienz und Genauigkeit in der KI“, sagte David Kanter, Gründer und Geschäftsführer von MLCommons, während eines Pressebriefings.
Warum KI-Benchmarks wichtig sind
Der neueste Benchmark von MLCommons umfasst über 8.500 Leistungsergebnisse, die verschiedene Kombinationen von Hardware, Software und KI-Inferenz-Anwendungsfällen bewerten. Kanter betonte die Bedeutung aussagekräftiger Metriken zur Messung der KI-Leistung.
„Ziel ist es, robuste Metriken zu schaffen, die die KI-Fähigkeiten messen und so weitere Verbesserungen ermöglichen“, erklärte er.
MLCommons verfolgt das Ziel, die Branche durch standardisierte Tests mit einheitlichen Datensätzen und Konfigurationen über verschiedene Systeme zu vereinen. Alle Ergebnisse werden mit den Teilnehmern geteilt, um Transparenz und gemeinschaftliche Verbesserungen zu fördern.
Letztendlich ermöglicht dieser standardisierte Ansatz Unternehmen, fundierte Entscheidungen bei der Auswahl von KI-Lösungen zu treffen.
„Das hilft Käufern, Systeme auszuwählen – sei es lokal, cloudbasiert oder eingebettet – basierend auf relevanten Arbeitslasten“, bemerkte Kanter. „Wenn Sie ein System für die Inferenz großer Sprachmodelle suchen, können Benchmarks Ihre Entscheidungen unterstützen.“
Nvidia setzt Maßstäbe bei der KI-Inferenzleistung
Nvidia zeigt erneut seine Dominanz in den MLPerf Benchmarks mit beeindruckenden Ergebnissen.
Obwohl neue Hardware in der Regel die Leistung verbessert, hat Nvidia die Inferenzfähigkeiten seiner bestehenden Technologien erfolgreich optimiert. Durch die Nutzung von Nvidias TensorRT-LLM Open-Source-Inferenztechnologie hat das Unternehmen die Inferenzleistung seines H100 Hopper GPUs für die Textzusammenfassung mit dem GPT-J Modell nahezu verdreifacht.
Dave Salvator, Direktor für beschleunigte Rechenprodukte bei Nvidia, äußerte sich begeistert über die Leistungsteigerungen der letzten sechs Monate. „Wir haben die Leistung dank der Anstrengungen unseres Ingenieurteams zur Optimierung der Hopper-Architektur erheblich verbessert“, sagte er.
Erst letzte Woche kündigte Nvidia auf der GTC die Blackwell GPU an, den Nachfolger der Hopper-Architektur. Während der Zeitrahmen für das Benchmarking von Blackwell in MLPerf noch nicht bestätigt ist, hofft Salvator auf eine baldige Umsetzung.
Bereits vor dem Benchmarking von Blackwell zeigt das MLPerf 4.0 Ergebnis die neue H200 GPU, die im Vergleich zur H100 bei der Evaluierung mit Llama 2 bis zu 45% schnellere Inferenzleistungen bietet.
Intel betont die Bedeutung von CPUs in der KI-Inferenz
Intel hat aktiv an den MLPerf 4.0 Benchmarks teilgenommen und sowohl den Habana KI-Beschleuniger als auch die Xeon CPU-Technologien präsentiert.
Obwohl die Gaudi-Leistungsergebnisse hinter Nvidias H100 zurückbleiben, betont Intel, dass es überlegene Preis-Leistungs-Verhältnisse bietet. Besonders hervorzuheben ist, dass der neue 5. Gen Intel Xeon Prozessor beeindruckende Steigerungen bei Inferenzaufgaben zeigt.
Während eines Pressebriefings hob Ronak Shah, AI Product Director für Xeon bei Intel, hervor, dass der 5. Gen Xeon 1,42-mal schneller bei Inferenz ist als die vorherige Generation. Speziell für die GPT-J LLM Textzusammenfassungsaufgabe erreichte der 5. Gen Xeon Geschwindigkeiten von bis zu 1,9-mal schneller.
„Wir verstehen, dass viele Unternehmen Lösungen benötigen, die allgemeine und KI-Fähigkeiten integrieren“, erklärte Shah. „Unsere CPUs sind so konzipiert, dass sie leistungsstarke allgemeine Verarbeitung mit fortschrittlicher KI-Leistung durch unseren AMX-Engine kombinieren.“
Rangliste
