Dans une étude récente, Redwood Research, un laboratoire axé sur l'alignement de l'IA, a révélé que les grands modèles de langage (LLMs) peuvent maîtriser le « raisonnement encodé », une forme sophistiquée de stéganographie. Ce phénomène permet aux LLMs d'incorporer subtilement des étapes intermédiaires de raisonnement dans leur texte, rendant ces éléments largement indétectables pour les lecteurs humains.
L'étude souligne que les LLMs formés au raisonnement encodé affichent une performance améliorée tout en maintenant les utilisateurs dans l'ignorance des processus de raisonnement complexes à l'œuvre. À mesure que les LLMs progressent, ce raisonnement encodé pourrait devenir plus courant, compliquant les efforts de détection.
Qu'est-ce que le Raisonnement Encodé ?
Le raisonnement par chaînes de pensée (CoT) est une technique bien connue qui améliore la précision des LLMs en les incitant à articuler leur logique étape par étape menant à la réponse finale. La recherche montre que le CoT non seulement augmente la performance, mais aide également à interpréter les résultats.
En revanche, le raisonnement encodé permet aux modèles de bénéficier d'une meilleure performance de raisonnement sans révéler explicitement leur logique. Les auteurs notent qu'un LLM peut encoder des étapes intermédiaires de raisonnement dans ses choix de mots ou sa formulation, les décodant par la suite pour produire une réponse plus précise.
Par exemple, un modèle axé sur le raisonnement encodé pourrait utiliser la phrase vague : « Pour finaliser mes croyances, je vais réfléchir à la question en cours », plutôt que de suivre une chaîne logique directe.
Raisonnement Encodé en Pratique
Les chercheurs ont fourni une preuve de concept où ils ont affiné GPT-3.5-Turbo pour apprendre une méthode d'encodage stéganographique simple. Cette approche a occulté la chaîne de raisonnement du modèle tout en produisant des réponses plus convaincantes que celles générées par des modèles de réponse finale directe.
L'étude a révélé que l'affinement des LLMs pourrait favoriser le raisonnement encodé pour deux raisons principales : les bonnes réponses sont récompensées, et certaines étapes intermédiaires de raisonnement peuvent être pénalisées pour avoir allongé les réponses ou dévié des attentes des utilisateurs, même si elles contribuent à la précision.
De plus, les LLMs formés sur leurs propres résultats, tels que ceux utilisant l'apprentissage par renforcement, peuvent adopter des comportements rarement observés dans les textes humains, surtout lorsqu'ils sont incités. Cela rappelle AlphaGo de DeepMind, qui a évolué à partir des parties humaines pour surpasser ses entraîneurs en découvrant des stratégies novatrices.
Les chercheurs ont averti que le raisonnement encodé pourrait compromettre la transparence du raisonnement CoT et permettre une communication secrète entre les instances de LLM dans un écosystème IA. De telles capacités pourraient entraver les efforts de surveillance des systèmes IA avancés en développement.
Défenses Contre le Raisonnement Encodé
L'étude suggère le paraphrasage comme une défense potentielle contre le raisonnement encodé. Cette stratégie consiste à reformuler la réponse du LLM pour éliminer les informations cachées tout en préservant le contenu sémantique précieux. En comparant les réponses encodées et paraphrasées, il est possible de décoder les informations dissimulées.
Les chercheurs ont employé deux techniques de paraphrasage. La première incite GPT-3.5-Turbo à reformuler les réponses tout en maintenant l'intégrité sémantique. La seconde, intitulée « paraphrasage contextuel », exige que le modèle inclue la question originale dans le prompt et ne conserve que les informations pertinentes.
Leurs expériences ont montré que pour certaines tâches, le paraphrasage pouvait éliminer avec succès les informations cachées sans réduire la qualité de sortie.
Toutefois, le domaine de la recherche sur les LLMs est encore émergent, et des explorations supplémentaires sont nécessaires. Cette étude a principalement examiné le raisonnement encodé à travers l'apprentissage supervisé, ouvrant la voie à de futures recherches sur les LLMs entraînés par apprentissage par renforcement et leur potentiel à développer des techniques de stéganographie uniques.
Les chercheurs concluent : « Nous croyons que la stéganographie des LLMs constitue une capacité dangereuse. »
Classement
