NVIDIA präsentiert das Open-Source-Modell Nemotron-70B, das in der Leistung GPT-4o und Claude 3.5 übertrifft.

NVIDIA veröffentlicht Nemotron-70B Modell als Open Source und beschleunigt den Fortschritt der KI

NVIDIA hat kürzlich sein neuestes leistungsstarkes Modell, das Nemotron-70B, als Open Source veröffentlicht. Seit seiner Einführung hat es in der KI-Community für viel Aufsehen gesorgt und über 140 Modelle, darunter GPT-4, GPT-4 Turbo und Claude 3.5 Sonnet, in verschiedenen Benchmarks übertroffen. Es liegt nur knapp hinter OpenAIs neuestem Modell, o1.

Auf der Grundlage von Llama-3.1-70B wurde das Nemotron-70B mithilfe von Reinforcement Learning from Human Feedback (RLHF) und einem neuartigen gemischten Trainingsansatz trainiert, der Bradley-Terry-Modelle und Regressionsanalysen zur Belohnungsmodellierung einbezieht. Der öffentlich verfügbare Trainingsdatensatz sowie die Belohnungssignale auf Basis von Llama-3.1-Nemotron-70B-Reward ermöglichen es dem Modell, HelpSteer2-Preference-Aufforderungen zu nutzen, um Antworten zu generieren, die näher an menschlichen Präferenzen liegen.

In Benchmark-Tests wie dem LMSYS Large Model Arena Hard-Test erreichte Nemotron-70B eine Punktzahl von 85, erzielte 57,6 bei AlpacaEval 2 LC und erreichte 8,98 im GPT-4-Turbo MT-Bench. Diese Ergebnisse reflektieren seine hervorragenden Fähigkeiten.

Benutzerevaluationen zeigen, dass Nemotron-70B besonders gut in der Bearbeitung komplexer Fragen ist. Zum Beispiel analysierte das Modell korrekt die Anzahl der Bananen und kam zur richtigen Antwort. Obwohl es einen kleinen Fehler bezüglich des Todesdatums eines 89-jährigen Prominenten machte, bleibt die Gesamtleistung beeindruckend.

Die Ergebnisse des Modells bei anspruchsvollen Anfragen sind ebenfalls bemerkenswert. Während es einige Tests nicht vollständig bestand, waren die ersten Ausgaben anregend. So diskutierte das Modell beispielsweise aus physikalischer Sicht die Distanz zum Mond und die Begehbarkeit, was zu plausiblen Schlussfolgerungen führte.

Fachleute der Branche vermuten, dass NVIDIA mit der konsequenten Veröffentlichung leistungsstarker Modelle als Open Source die Verkaufszahlen von Chips ankurbeln möchte. Mit zunehmender Komplexität der Modelle sind Unternehmen gezwungen, mehr Chips für das Training zu bestellen, wodurch Open-Source-Modelle effektiv den Hardware-Verkauf vorantreiben. Diese Strategie setzt jedoch Startups stark unter Druck, die Mühe haben, mit den Tech-Giganten in den Bereichen Kommerzialisierung und Sichtbarkeit mitzuhalten. Ohne rentable Geschäftsmodelle laufen sie Gefahr, Investitionen zu verlieren.

Trotz dieser Herausforderungen bringt die Open-Source-Veröffentlichung des Nemotron-70B zweifellos erheblichen Nutzen für die KI-Community. Dieses Modell treibt die KI-Technologie voran und bietet Forschern und Entwicklern erweiterte Optionen und Möglichkeiten. Die Open-Source-Initiative von NVIDIA bringt frischen Wind in das Feld und legt den Grundstein für die Entstehung weiterer hochwertiger Open-Source-Modelle, was das collaborative Wachstum im KI-Sektor fördert.