Reka, ein KI-Startup mit Sitz in San Francisco, gegründet von Forschern von DeepMind, Google und Meta, hat ein neues multimodales Sprachmodell namens Reka Core vorgestellt. Dieses Modell, das als das „größte und leistungsfähigste“ des Unternehmens gilt, wurde von Grund auf mit Tausenden von GPUs trainiert.
Reka Core ist ab sofort über API, als On-Premise-Version oder auf Geräten verfügbar und stellt die dritte Ergänzung der Modellreihe des Unternehmens dar. Es überzeugt durch die Fähigkeit, mehrere Modalitäten zu verstehen, einschließlich Text, Bilder, Audio und Video. Beeindruckend ist, dass es trotz einer Trainingszeit von weniger als einem Jahr, in seiner Leistung mit Branchengrößen wie OpenAI, Google und Anthropic mithalten kann.
„Diese Fähigkeit, leistungsstarke Modelle in kurzer Zeit zu trainieren, hebt uns hervor“, sagte Dani Yogatama, Mitbegründer und CEO des 22-köpfigen Unternehmens, in einem aktuellen Interview.
Reka Core wurde unter anderem bei Netflix' „3 Body Problem“ getestet und konnte Onscreen-Action erfolgreich in Text umwandeln. Yi Tay, Chefscientist und Mitgründer von Reka, betonte, dass das Modell mit „tausenden von H100s“ entwickelt wurde. Im Wettbewerb mit führenden Modellen wie OpenAI's GPT-4 und Anthropic's Claude 3 Opus ist dies eine beachtliche Leistung; Tay versicherte jedoch, dass die Leistung von Core weiterhin verbessert wird.
Was bietet Reka Core?
Die genaue Anzahl der Parameter in Reka Core ist nicht bekannt, es wird jedoch als „sehr großes Modell“ beschrieben (die vorherige Version, Reka Flash, hatte 21 Milliarden Parameter). Es wurde mit einer Vielzahl von Datenquellen trainiert, darunter lizensierte, öffentlich verfügbare und synthetische Daten in Text-, Audio-, Video- und Bildformaten.
Dieses umfassende Training ermöglicht es Reka Core, mehrere Modalitäten zu verarbeiten und in verschiedenen Bereichen wie Mathe und Programmierung präzise zu reagieren, mit außergewöhnlichen Denkfähigkeiten. Es unterstützt 32 Sprachen und verfügt über ein umfangreiches Kontextfenster von 128.000 Token, was es für die Arbeit mit langen Dokumenten geeignet macht. Yogatama bemerkte, dass Core erst das zweite Modell nach Googles Gemini Ultra ist, das alle Modalitäten umfasst und qualitativ hochwertige Ergebnisse liefert.
In Leistungstests übertraf Reka Core Gemini Ultra in der Videoerkennung mit einem Wert von 59,3 gegenüber 54,3. Im MMMU-Benchmark für Bildaufgaben lag es mit 56,3 Punkten knapp hinter GPT-4 (56,8), Claude 3 Opus (59,4) und Gemini Ultra (59,4). Im Vergleich dazu erzielte das visionstaugliche Grok-Modell von Elon Musk‘s xAI nur 53,6 Punkte. Unabhängige Bewertungen platzieren Reka Core als das zweitbeste Modell in der multimodalen Leistung.
Darüber hinaus erreichte Core in verschiedenen Benchmarks gleichwertige oder bessere Leistungen als herausragende Modelle. Bei den MMLU-Wissenstests erzielte es 83,2 Punkte und lag damit dicht hinter GPT-4, Claude 3 Opus und Gemini Ultra. Zudem übertraf es GPT-4 in Denk- und Programmieraufgaben mit Punkten von 92,2 beziehungsweise 76,8.
Um eine solch hohe Leistung in kurzer Zeit zu erreichen, verfolgte das Unternehmen einen rückwärts gerichteten Entwicklungsansatz. Anstelle traditioneller Modelltrainings wurde ein konkretes Leistungsziel festgelegt, und die erforderlichen Datenmengen sowie GPU-Anforderungen wurden rückwärts ermittelt.
Partnerschaften und Zukunftspläne
Mit einem Fokus auf multimodale Fähigkeiten und wettbewerbsfähige Preise – 10 USD pro Million Eingabetoken und 25 USD pro Million Ausgabetoken – zielt Reka darauf ab, verschiedene Anwendungsfälle in Branchen wie E-Commerce, Gaming, Gesundheitswesen und Robotik zu erkunden. Zum Vergleich: OpenAI's GPT-4 Turbo erhebt die gleichen Gebühren für Eingabetoken, aber 30 USD für Ausgabetoken.
Obwohl Reka noch in den Kinderschuhen steckt, arbeitet das Unternehmen aktiv daran, die Marktführerschaft von OpenAI, Anthropic und Google herauszufordern. Reka hat bereits Partnerschaften mit Industriepartnern initiiert; so hat Snowflake kürzlich Reka Core und Flash in seinen Cortex-Dienst integriert, um Anwendungen von Sprachmodellen zu entwickeln. Auch Partnerschaften mit Oracle und AI Singapore, die Forschungsinstitute in Singapur vereinen, sind in Planung.
Yogatama erwähnte, dass seit der Einführung der ersten Modelle in der Reka-Familie (Flash und Edge) ein starkes Interesse von Unternehmen entstanden ist, das zu einer wachsenden Kundenpipeline führt. Weitere Details zu Partnerschaften werden bald erwartet.
Im ersten Jahr lag der Schwerpunkt darauf, die Modelle auf den Markt zu bringen, und Reka plant, sein Angebot zu verbessern und gleichzeitig die Geschäftstätigkeit auszubauen. Das Team ist bestrebt, die Leistung von Core zu optimieren und gleichzeitig die nächste Version zu entwickeln.
Trotz laufender Fortschritte stellte Yogatama klar, dass das Unternehmen keine unmittelbaren Pläne hat, seine Technologie als Open Source bereitzustellen. Er befürwortet Open-Source-Prinzipien, betont jedoch die Notwendigkeit eines ausgewogenen Ansatzes, um ein nachhaltiges Unternehmenswachstum sicherzustellen.
Der Wettbewerb von Reka Core
Mit dem Erscheinen von Reka Core im wettbewerbsintensiven KI-Markt zeigt es vielversprechende Fähigkeiten, die es in den Wettbewerb mit führenden Modellen der heutigen Zeit bringen.
Rangliste
