OpenAI SearchGPT Offizielle Demonstration Deckt Schwachstellen Auf: Die Geheimnisse Hinter dem Quellcode und dem Suchmechanismus Enthüllt

Titel: Herausforderungen für SearchGPT: Der Kampf zwischen Illusion und Realität

Nur zwei Tage nach dem Launch von SearchGPT sorgte eine Demonstration des Nutzers Kesku online für Aufsehen, vor allem aufgrund der erstaunlich schnellen Ergebnissen. Allerdings wurde eine offizielle Vorführung von OpenAI in einem Bericht der Atlantic kritisch hinterfragt, was einige erhebliche Ungenauigkeiten offenbarte. Auf die Frage nach „dem Musikfestival in Boone, North Carolina, im August“ nannte SearchGPT überraschend das falsche Datum, was Bedenken hinsichtlich seiner Zuverlässigkeit aufwarf.

Die OpenAI-Sprecherin Kayla Wood bestätigte den Fehler gegenüber der Atlantic und erklärte, dass es sich um einen ersten Prototyp handele und Verbesserungen in Arbeit seien. Dieser Vorfall erinnert an einen großen Fehler von Googles Bard, der ebenfalls für Ungenauigkeiten bei seinem Launch kritisiert wurde. Im Februar 2023 behauptete Bard fälschlicherweise, das James-Webb-Weltraumteleskop habe das erste Bild eines Exoplaneten aufgenommen, was tatsächlich dem Europäischen Südsternwarte VLT gelang. Diese Fehlinformation führte zu einem Rückgang von 9% im Aktienkurs von Alphabet und vernichtete 100 Milliarden Dollar Marktkapitalisierung.

Im Gegensatz dazu hat OpenAI einen vorsichtigeren Ansatz gewählt, indem der Zugang zu internen Tests eingeschränkt wurde, um aus Googles Missgeschick zu lernen. Angesichts des breiten Zugangs könnte selbst ein minimaler Fehleranteil von 1% bei SearchGPT täglich Millionen von ungenauen Antworten zur Folge haben. Zudem gibt es derzeit keine verlässlichen Methoden, um Halluzinationen und Fehler in großen Sprachmodellen (LLMs) gänzlich zu eliminieren.

Andrej Karpathy wies auf Twitter darauf hin, dass Halluzinationen keine bloßen Bugs sind, sondern ein charakteristisches Merkmal von LLMs darstellen. Er vergleicht LLMs mit „Traummaschinen“, die, wenn man sie anregt, Inhalte erzeugen, die oft hilfreich sind, jedoch unbeabsichtigt in faktische Fehler abdriften und so „Halluzinationen“ hervorrufen können. Dieser Mechanismus unterscheidet sich grundlegend von traditionellen Suchmaschinen, die die relevantesten Dokumente aus ihren Datenbanken zurückgeben, ohne völlig neue Antworten zu generieren.

Karpathy ist der Meinung, dass die aktuellen KI-Suchmodelle, die auf LLMs basieren, keine 100%ige Genauigkeit garantieren können. Dies wirft eine interessante Frage auf: Wird die Kreativität der LLMs in der Transformation der Suchmaschinen mit der Zuverlässigkeit traditioneller Suchmethoden koexistieren, oder wird letztendlich das eine das andere ersetzen? Diese Frage erfordert sorgfältige Überlegung.