Google stellte am Mittwoch sein mit Spannung erwartetes KI-System Gemini vor und behauptete, dass es in Bezug auf Denkvermögen mit dem führenden Modell GPT-4 von OpenAI konkurrieren könnte. Der Launch stieß jedoch schnell auf Kritik, da viele die Fähigkeiten von Gemini als übertrieben wahrnahmen.
In einer professionell gestalteten Videodemonstration zeigte Google, wie Gemini mit visuellen Daten interagiert. Eine Kamera über einem Tisch ermöglichte es der KI, Problemlösungen zu erarbeiten, während ein menschlicher Assistent verschiedene Objekte manipulierte. Diese Präsentation ließ vermuten, dass Gemini als fortschrittlicher digitaler Assistent agieren könnte, der in der Lage ist, nuancierte Gespräche zu führen und bei alltäglichen Aufgaben zu unterstützen.
Trotz der Begeisterung identifizieren Technikexperten potenzielle Schwächen in der Technologie hinter Gemini. Google bringt Gemini in drei Versionen heraus: Gemini Pro, Gemini Light und Gemini Ultra. Erste Bewertungen der mittleren Pro-Version äußern Bedenken und zeigen, dass sie bei Aufgaben Schwierigkeiten hat, die ein modernes KI-System meistern sollte.
„Ich bin extrem enttäuscht von Gemini Pro auf Bard,“ sagte Victor de Lucca, ein früher Tester, und verwies auf die falsche Auflistung der Oscar-Gewinner 2023. „Sie liefert immer noch sehr schlechte Ergebnisse bei Fragen, die mit RAG nicht mehr schwer sein sollten.“
Andere hoben Inkonsistenzen zwischen Googles Benchmark-Aussagen und den tatsächlichen Fähigkeiten der Pro-Version hervor. Der Entwickler Nick Dobos bemerkte in einem weit verbreiteten Post, dass „Google Gemini Ultra nur 4 % besser ist… im Vergleich zu GPT-4-0613?“ und deutete damit an, dass der Vergleich irreführend sein könnte.
Die Videodemonstration wurde ebenfalls kritisiert, nachdem ein Google-Sprecher Bloomberg bestätigte, dass sie vorab aufgezeichnet und kommentiert war, anstatt einer Live-Interaktion, was Fragen zur Authentizität aufwarf.
Diese Kontroversen verdeutlichen die Herausforderungen, mit denen Google konfrontiert ist, wenn es darum geht, KI an Verbraucher zu vermarkten. Während Technikbegeisterte Benchmark-Daten analysieren, wird die breitere Öffentlichkeit oft von inspirierenden Videos beeinflusst, die transformative Erlebnisse versprechen.
SolcheDisconnects sind nicht neu; 2016 wurde Microsofts Tay-Chatbot offline genommen, nachdem er unangemessene Inhalte von Twitter gelernt hatte. Zudem ist dies nicht das erste Mal, dass Google Bard wegen unzureichender Leistungen in der Kritik steht. Ein Medienbericht im September wies darauf hin, dass Bard trotz signifikanter Updates weiterhin Schwierigkeiten hatte.
Google plant, schnell zu reagieren, und verpflichtet sich, Gemini für Entwickler und Forscher zugänglicher zu machen, um umfassende Bewertungen zu ermöglichen. Der holprige Rollout deutet jedoch darauf hin, dass der Technologieriese mehrere Herausforderungen angehen muss, um sicherzustellen, dass sein KI-Assistent den ehrgeizigen Versprechen gerecht wird.