Elon Musk präsentiert Grok-1.5: Nahe an den Leistungsmeilensteinen von GPT-4

Nur wenige Wochen nach der Open-Source-Veröffentlichung von Grok-1 steht Elon Musks xAI in der kommenden Woche vor der Einführung einer verbesserten Version seines proprietären großen Sprachmodells (LLM) – Grok-1.5.

Grok-1.5 soll die Denk- und Problemlösungsfähigkeiten verbessern und damit in der Leistung näher an etablierte Modelle wie OpenAIs GPT-4 und Anthropics Claude 3 herankommen. Während es lange Kontexte verarbeiten kann, bleibt es hinter Gemini 1.5 Pro zurück, das ein Kontextfenster von bis zu einer Million Tokens unterstützt.

Neuigkeiten zu Grok-1.5

Ursprünglich im letzten November angekündigt, wurde Grok-1 inspiriert von „Per Anhalter durch die Galaxis“ und ist darauf ausgelegt, Nutzern bei der Wissenssuche zu helfen, unabhängig von ihrem Hintergrund oder politischen Ansichten. In früheren Benchmarks übertraf Grok-1 Llama-2-70B und GPT-3.5.

Mit Grok-1.5 behauptet xAI erhebliche Verbesserungen in wichtigen Leistungskennzahlen. In Tests erreichte Grok-1.5 50,6 % im MATH-Benchmark, 90 % im GSM8K-Benchmark und 74,1 % im HumanEval-Benchmark, was signifikante Fortschritte in den Bereichen Programmierung und Mathematik zeigt. Darüber hinaus erzielte Grok-1.5 81,3 % im MMLU-Benchmark und übertraf damit Grok-1, das 73 % erreichte. Mit einem Kontextfenster von bis zu 128.000 Tokens kann Grok-1.5 erheblich mehr Informationen verarbeiten – 16-mal so viel wie sein Vorgänger – was es ihm ermöglicht, umfangreiche Dokumente zu analysieren und zusammenzufassen, während es gleichzeitig effektive Anweisungen befolgt.

Wettbewerb mit führenden Modellen

Grok-1.5 übertrifft nicht nur Grok-1, sondern schließt auch die Leistungslücke zu den führenden Modellen wie Gemini 1.5 Pro, GPT-4 und Claude 3. Beispielsweise liegt Grok-1.5 mit 81,3 % im MMLU-Benchmark knapp hinter dem neu veröffentlichten Mistral Large, bleibt jedoch hinter Gemini 1.5 Pro (83,7 %), GPT-4 (86,4 %) und Claude 3 Opus (86,8 %) zurück. Im GSM8K-Benchmark schneidet es ebenfalls knapp schlechter ab als die Angebote von Google, OpenAI und Anthropic. Besonders hervorzuheben ist, dass Grok-1.5 im HumanEval-Benchmark alle Modelle außer Claude 3 Opus übertrifft.

Brian Roemmele, ein Technologieberater, erwartet, dass Grok-2, das sich derzeit in der Entwicklung befindet, bei der Veröffentlichung als eine der leistungsstärksten LLM-AI-Plattformen etabliert wird und in vielen Metriken OpenAI übertreffen wird.

Verfügbarkeit von Grok-1.5

xAI plant die Einführung von Grok-1.5 in der nächsten Woche, beginnend mit frühen Testern und Nutzern des Grok-Chatbots auf der X-Plattform (ehemals Twitter). Die Einführung erfolgt schrittweise und bringt neue Funktionen, einschließlich eines möglichen „Spaßmodus“, während der Zugang für mehr Nutzer allmählich erweitert wird.

Musks ursprüngliche Veröffentlichung von Grok auf X war Teil einer Strategie zur Förderung der Nutzung von Grok und der X-Plattform. Grok ist derzeit über das 'Premium+'-Abonnement der Plattform für 16 $/Monat verfügbar, doch Musk kündigte kürzlich an, dass es auch für alle 8 $/Monat Premium-Abonnenten zugänglich sein wird. Darüber hinaus erhalten verifizierte Follower auf bestimmten Abonnementebenen Premium-Vorteile, einschließlich kostenlosem Zugang zu Grok.