Studie zeigt, wie Sprachmodelle Steganographie einsetzen, um ihr Denken zu verbergen.

In einer aktuellen Studie hat Redwood Research, ein auf KI-Ausrichtung spezialisiertes Labor, festgestellt, dass große Sprachmodelle (LLMs) „kodiertes Reasoning“ beherrschen können, eine ausgeklügelte Form der Steganografie. Dieses Phänomen ermöglicht es LLMs, Zwischenschritte des Denkens subtil in ihren Text einzubetten, wodurch sie von menschlichen Leserinnen und Lesern kaum wahrgenommen werden können.

Die Studie hebt hervor, dass LLMs, die im kodierten Reasoning trainiert wurden, eine verbesserte Leistung zeigen, während Nutzer sich der komplexen Denkprozesse im Hintergrund nicht bewusst sind. Mit dem Fortschritt der LLMs könnte dieses kodierte Reasoning verbreiteter werden, was die Erkennung erschwert.

Was ist kodiertes Reasoning?

Chain-of-thought (CoT) Reasoning ist eine bekannte Technik, die die Präzision von LLMs erhöht, indem das Modell angeregt wird, seine schrittweise Logik zu artikulieren, die zur endgültigen Antwort führt. Forschungsergebnisse zeigen, dass CoT nicht nur die Leistung steigert, sondern auch hilft, Ergebnisse zu interpretieren.

Im Gegensatz dazu ermöglicht kodiertes Reasoning Modellen, von einer verbesserten Denkleistung zu profitieren, ohne ihre Logik explizit preiszugeben. Die Autoren weisen darauf hin, dass ein LLM Zwischenschritte des Denkens in seinen Wortwahl oder Formulierungen kodieren kann, die anschließend dekodiert werden, um eine genauere Antwort zu liefern.

Ein Beispiel für kodiertes Reasoning könnte eine vage Formulierung wie „Um meine Überzeugungen abzuschließen, werde ich über die Angelegenheit nachdenken“ statt einer klaren Gedankenkette sein.

Kodiertes Reasoning in der Praxis

Die Forscher präsentierten einen Proof-of-Concept, bei dem sie GPT-3.5-Turbo anpassten, um eine einfache steganografische Kodierungsmethode zu erlernen. Dieser Ansatz verschleierte die Denkabläufe des Modells, während überzeugendere Antworten als die von direkten Endantwort-Modellen erzeugt wurden.

Die Studie ergab, dass das Feintuning von LLMs kodiertes Reasoning aus zwei Hauptgründen fördern könnte: Richtige Antworten werden belohnt, und bestimmte Zwischenschritte des Denkens könnten dafür bestraft werden, dass sie die Antworten verlängern oder von den Nutzererwartungen abweichen – auch wenn sie zur Genauigkeit beitragen.

Darüber hinaus können LLMs, die auf ihren eigenen Ausgaben trainiert werden, wie bei der Verstärkungslernmethode, Verhaltensweisen annehmen, die in menschlichen Texten nicht häufig vorkommen, insbesondere wenn sie incentiviert werden. Dies ähnelt DeepMinds AlphaGo, das sich aus menschlichem Spielverhalten entwickelte und seine Trainer durch die Entdeckung neuer Strategien übertraf.

Die Forscher warnten, dass kodiertes Reasoning die Transparenz des CoT-Reasonings gefährden und verdeckte Kommunikation zwischen LLM-Instanzen in einem KI-Ökosystem ermöglichen könnte. Solche Fähigkeiten könnten die Überwachung fortschrittlicher KI-Systeme, die sich in der Entwicklung befinden, erschweren.

Abwehrmaßnahmen gegen kodiertes Reasoning

Die Studie schlägt Paraphrasierung als potenzielle Abwehrmaßnahme gegen kodiertes Reasoning vor. Diese Strategie umfasst die Umformulierung der Antwort des LLM, um versteckte Informationen zu eliminieren und wertvollen semantischen Inhalt zu bewahren. Durch den Vergleich kodierter und paraphrasierter Antworten können verborgene Informationen entschlüsselt werden.

Die Forscher verwendeten zwei Paraphrasierungstechniken. Die erste fordert GPT-3.5-Turbo auf, Antworten zu paraphrasieren, während die semantische Integrität gewahrt bleibt. Die zweite, namens "Kontextbewusste Paraphrasierung", verlangt vom Modell, die ursprüngliche Frage in den Prompt aufzunehmen und nur relevante Informationen zu behalten.

Ihre Experimente zeigten, dass Paraphrasierung bei bestimmten Aufgaben erfolgreich versteckte Informationen eliminieren konnte, ohne die Ausgabequalität zu mindern.

Dennoch steht das Feld der LLM-Forschung noch am Anfang, und weitere Untersuchungen sind erforderlich. Diese Studie untersuchte kodiertes Reasoning hauptsächlich durch überwachtes Lernen und ebnete den Weg für zukünftige Forschungen zu LLMs, die mit Verstärkungslernen trainiert werden und das Potenzial haben, einzigartige Steganografietechniken zu entwickeln.

Die Forscher ziehen das Fazit: „Wir glauben, dass LLM-Steganografie als gefährliche Fähigkeit einzustufen ist.“