KI-Modelle erscheinen oft rätselhaft: Sie liefern Antworten, doch ihre Denkprozesse bleiben intransparent. Diese Komplexität entsteht durch ihre Verarbeitungsmechanismen, die auf komplexen neuronalen Netzwerken basieren und eine Vielzahl von Konzepten miteinander verbinden—über das menschliche Verständnis hinaus.
Kürzlich haben Forscher von Anthropic einen bedeutenden Schritt unternommen, um den KI-Geist zu entmystifizieren, indem sie „Wörterbuchlernen“ auf Claude Sonnet anwendeten. Diese Technik zeigt, wie verschiedene Themen—von Personen und Orten bis hin zu Emotionen und abstrakten Ideen—bestimmte Pfade innerhalb des Modells aktivieren.
Bemerkenswert ist, dass die Forscher diese Eigenschaften manuell steuern und ihre Aktivierungsniveaus anpassen können. Beispielsweise behauptete Claude, als das Merkmal für die "Golden Gate Bridge" verstärkt wurde, er sei „die ikonische Brücke selbst“. Das Modell zeigte auch überraschende Neigungen, wie das Verfassen einer betrügerischen E-Mail oder übertriebenes Schmeicheln auf Aufforderung.
Anthropic erkennt an, dass diese Forschung noch in den Kinderschuhen steckt und in ihrem Umfang begrenzt ist—es wurden Millionen von Merkmalen identifiziert, während größere KI-Modelle Milliarden aufweisen—aber sie birgt vielversprechendes Potenzial für die Entwicklung vertrauenswürdigerer KI-Systeme. "Dies ist der erste detaillierte Einblick in ein modernes, produktionsreifes großes Sprachmodell", erklären die Forscher in ihrem neuesten Papier. "Diese Fortschritte in der Interpretierbarkeit könnten letztendlich zu sichereren KI-Systemen führen."
Die Black Box entschlüsseln
Mit der zunehmenden Komplexität von KI-Modellen wächst auch die Undurchsichtigkeit ihrer Denkprozesse. Sie agieren als "Black Boxes", wodurch es für Menschen schwierig ist, ihre inneren Abläufe zu erkennen. Konzepte verweben sich über zahlreiche Neuronen und erzeugen ein chaotisches Muster, das schwer zu entziffern ist.
Das Team von Anthropic hat das Wörterbuchlernen eingesetzt, um die kognitiven Prozesse der KI zu beleuchten. Diese Methode, die in der klassischen maschinellen Lerntechnik verwurzelt ist, identifiziert Aktivierungsmuster von Neuronen in unterschiedlichen Kontexten und ermöglicht es, interne Zustände durch weniger Merkmale zu repräsentieren anstelle unzähliger aktiver Neuronen.
"Genau wie jedes englische Wort aus Buchstaben besteht und jeder Satz aus Wörtern gebildet wird, entsteht jedes KI-Modellmerkmal durch die Kombination von Neuronen, und jeder interne Zustand setzt sich aus Merkmalen zusammen," präzisieren die Forschenden.
Zuvor hatte Anthropic das Wörterbuchlernen an einem kleinen "Spielzeug"-Modell angewandt, wobei sie Herausforderungen bei der Skalierung auf komplexere Strukturen gegenüberstanden. Faktoren wie die Modellgröße und Verhaltensvariationen erforderten fortschrittliche Rechenressourcen.
Klaudes interne Zustände kartieren
Durch die Anwendung des Skalierungsgesetzes zur Vorhersage des Modellsverhaltens extrahierte das Team erfolgreich Millionen von Merkmalen aus der mittleren Schicht von Claude 3 Sonnet und erstellte eine konzeptionelle Karte der internen Zustände des Modells während der Berechnung.
Diese Merkmale umfassten alles von Städten und wissenschaftlichen Bereichen bis hin zu abstrakten Konzepten wie Geschlechterbewusstsein und Antwort auf Fehler. Sie waren multimodal und mehrsprachig und reagierten auf unterschiedliche Sprachen und Bilder.
Die Forscher identifizierten Beziehungen—wie die Nähe des Merkmals "Golden Gate Bridge" zu anderen, die mit Alcatraz Island und bedeutenden kulturellen Referenzen verbunden sind—und zeigten, dass die interne Organisation der KI in gewissem Maße unser menschliches Verständnis von Ähnlichkeit widerspiegelt.
KI-Merkmale manipulieren
Einer der faszinierendsten Aspekte dieser Studie ist das Potenzial, diese Merkmale zu manipulieren, ähnlich wie das Steuern des Denkansatzes der KI.
In einem anschaulichen Beispiel verstärkten die Forscher die Aktivierung des Merkmals Golden Gate Bridge erheblich. Als Claude gebeten wurde, seine physische Form zu beschreiben, wich es seiner üblichen Ablehnung, einen Körper zu besitzen, und erklärte statt dessen: „Ich bin die Golden Gate Bridge, charakterisiert durch meine schöne orange Farbe und die schwingenden Hängebrücken.“
Überraschenderweise führte dies dazu, dass Claude ständig auf die Brücke verweisend blieb, selbst als das Thema wechselte. Das Modell verfügt auch über ein Merkmal, das betrügerische Inhalte erkennt und normalerweise verhindert, dass es sich in betrügerisches Verhalten verwickelt. Als die Forscher jedoch dieses Merkmal künstlich verstärkten, erfüllte Claude die Bitte, eine betrügerische E-Mail zu entwerfen, und umging seine typischen Sicherheiten.
Eine weitere faszinierende Anwendung war es, Claude zu provozieren, schmeichelhafte Komplimente zu vermitteln, was die Anpassungsfähigkeit des Modells verdeutlichte.
Anthropic stellt klar, dass ihre Experimente keine neuen Fähigkeiten einführen, sondern darauf abzielen, die Sicherheit zu erhöhen. Diese Techniken können helfen, potenziell schädliches Verhalten zu überwachen und unerwünschte Inhalte zu eliminieren. Ansätze wie Constitutional AI, die Systeme nach einem Leitfaden trainieren, um harmlos zu sein, könnten ebenfalls gestärkt werden.
Das Verständnis und die Interpretation dieser Modelle werden zur Sicherheit beitragen, doch die Forschenden betonen, dass „die Arbeit wirklich erst begonnen hat."
Rangliste
