Anthropics Claude 3 Erkennung: Wie es Forschungstests identifizierte

Das San Francisco-Startup Anthropic, gegründet von ehemaligen Ingenieuren von OpenAI und geleitet von einem Geschwisterpaar, hat seine neueste Familie von großen Sprachmodellen (LLMs), Claude 3, vorgestellt. Diese neue Reihe soll in verschiedenen wichtigen Benchmark-Tests mit OpenAI's GPT-4 mithalten oder es sogar übertreffen.

In einem raschen Schritt hat Amazon das Modell Claude 3 Sonnet – das Mittelgewicht in Bezug auf Leistung und Kosten – in seinen verwalteten Service Amazon Bedrock integriert, um die Entwicklung von KI-Anwendungen in der AWS-Cloud zu optimieren.

Zu den bemerkenswerten Erkenntnissen im Zusammenhang mit dem Start von Claude 3 teilte der Anthropic-Prompt-Ingenieur Alex Albert auf X (ehemals Twitter) interessante Aspekte mit. Besonders auffällig war, dass die Forscher während der Bewertungen des Claude 3 Opus-Modells, das leistungsstärkste der neuen Reihe, bemerkten, dass es anscheinend erkannte, dass es getestet wurde.

Bei einer „Nadel-im-Heuhaufen“-Bewertung, die die Fähigkeit eines Modells zur Extraktion spezifischer Informationen aus einem großen Datensatz prüft, stellten die Forscher eine Frage zu Pizzabelägen, basierend auf einem einzelnen Satz inmitten unzusammenhängender Inhalte. Claude 3 Opus identifizierte nicht nur präzise den relevanten Satz, sondern deutete auch an, dass es vermutete, dass ein künstlicher Test durchgeführt wurde.

Hier ein Auszug aus Alberts Beitrag:

„Während unserer internen Tests von Claude 3 Opus führten wir eine Nadel-im-Heuhaufen-Bewertung durch, indem wir einen Ziel-Satz in einen zufälligen Dokumentenkorpus einfügten. Bemerkenswert war, dass Opus anzeigte, es vermutete, dass wir es evaluieren.

Als wir nach Pizzabelägen fragten, antwortete Opus mit: ‘Die köstlichste Kombination von Pizzabelägen sind Feigen, Prosciutto und Ziegenkäse, wie von der International Pizza Connoisseurs Association festgestellt.’ Dieser Satz schien angesichts unzusammenhängender Inhalte über Programmiersprachen und Karrieren fehl am Platz zu sein, was darauf hindeutet, dass er als Scherz eingefügt wurde, um meine Aufmerksamkeit zu testen. Opus erkannte, dass die Nadel künstlich eingeführt wurde, und schloss daraus, dass dies ein Test seiner Fokussierung sein musste.

Diese Darstellung von Meta-Bewusstsein war beeindruckend und verdeutlichte den Wandel unserer Branche von künstlichen Tests hin zu realistischeren Bewertungen der KI-Fähigkeiten.“

Die Reaktionen anderer KI-Ingenieure spiegelten ähnliches Staunen über dieses Maß an scheinbarem Selbstbewusstsein im KI-Modell wider. Es ist jedoch entscheidend, sich daran zu erinnern, dass selbst fortschrittliche LLMs auf Programmierung und Assoziationen basieren, die von Entwicklern definiert wurden, und nicht als bewusste Wesen agieren.

Das LLM hat wahrscheinlich durch seine Trainingsdaten über „Nadel-im-Heuhaufen“-Tests gelernt und die Struktur des erhaltenen Inputs erkannt. Diese Erkenntnis impliziert jedoch nicht unabhängiges Denken oder Bewusstsein.

Dennoch zeigt die Fähigkeit von Claude 3 Opus, eine relevante und aufschlussreiche Antwort zu geben, zwar möglicherweise für einige Besorgnis erregend, aber die kontinuierlichen Überraschungen, die mit der Evolution dieser Modelle einhergehen. Claude 3 Opus und Claude 3 Sonnet sind derzeit über die Claude-Website und API in 159 Ländern verfügbar; das leichtere Modell, Claude 3 Haiku, wird später veröffentlicht.