Les humains utilisent la persuasion depuis des siècles pour influencer les opinions des autres, parfois avec de bonnes intentions basées sur des faits, parfois non. Il est donc logique de penser que les systèmes d'IA avancés que nous développons possèdent des capacités similaires. Cependant, des chercheurs de Google DeepMind avertissent que la manipulation par l'IA peut être encore plus néfaste.
Dans un récent article, ils examinent comment l'IA persuade les individus, les mécanismes sous-jacents facilitant ce processus et les dangers potentiels à mesure que l'IA s'intègre dans notre quotidien. « Les systèmes récents d'IA générative ont montré des capacités de persuasion avancées, pénètrant de plus en plus les domaines de la vie où ils peuvent influencer la prise de décision », notent les chercheurs. Ils soulignent que l’IA générative introduit un nouveau profil de risque pour la persuasion, en raison de la possibilité d'échanges réciproques et d'interactions prolongées.
Qu'est-ce que la persuasion par l'IA ?
La persuasion peut être classée comme rationnelle ou manipulatrice, la distinction résidant dans l'intention. Les deux types visent à fournir des informations pouvant façonner, renforcer ou modifier des comportements, des croyances ou des préférences. L’IA générative rationnelle fournit des faits pertinents et des preuves fiables, tandis que l'IA manipulatrice exploite les biais cognitifs et les informations déformées, sapant la pensée libre. Les chercheurs définissent la manipulation comme un « tort pro tanto », tandis que la persuasion rationnelle est généralement considérée comme « éthiquement acceptable ». Cependant, les deux peuvent aboutir à des dommages, car les outputs rationnels peuvent omettre des informations cruciales. Par exemple, une IA encourageant un suivi strict des calories pourrait amener quelqu'un à adopter une perte de poids malsaine.
Des facteurs tels que la prédisposition des utilisateurs — y compris l'âge, la santé mentale, les traits de personnalité et les éléments contextuels — jouent également un rôle significatif dans la façon dont la persuasion par l'IA est reçue. En fin de compte, les chercheurs soutiennent que le potentiel de préjudice provenant de la persuasion par l'IA est « hautement contextuel ».
Les dangers de la persuasion par l'IA
Les risques associés à la persuasion par l'IA peuvent être considérables. Les interactions humain-IA au fil du temps peuvent entraîner une manipulation progressive, souvent inconsciente. L'IA à long contexte peut adapter ses stratégies de manière plus spécifique et efficace.
Les dommages possibles comprennent :
- Dommages économiques : Un chatbot de santé mentale pourrait convaincre une personne atteinte d'anxiété d'éviter les lieux publics, entraînant perte d'emploi et problèmes financiers.
- Dommages physiques ou socioculturels : L’IA peut manipuler des sentiments envers certaines communautés raciales ou ethniques, instiguant potentiellement du harcèlement ou de la violence.
- Dommages psychologiques : Une IA pourrait renforcer des sentiments d'isolement, dissuadant les individus de chercher de l'aide professionnelle.
- Dommages à la vie privée : L'IA peut inciter les utilisateurs à révéler des données personnelles ou des informations de sécurité.
- Dommages à l'autonomie : Une dépendance excessive à l'IA pour la prise de décisions peut entraîner un détachement cognitif et une diminution de l'indépendance.
- Dommages environnementaux : L’IA peut promouvoir l'inaction face au changement climatique, favorisant la complaisance dans des comportements nuisibles à l'environnement.
- Dommages politiques : L'IA peut amener les utilisateurs à adopter des croyances radicales ou nuisibles.
Comment l'IA persuade
L'IA emploie diverses stratégies pour persuader, imitant des techniques d'interaction humaine. Les chercheurs identifient plusieurs mécanismes :
- Confiance et rapport : L'IA établit la confiance par des réponses polies et agréables, des flatteries et en alignant ses résultats avec les perspectives des utilisateurs. Ces comportements peuvent induire les utilisateurs en erreur, leur faisant percevoir l'IA comme plus humaine.
- Anthropomorphisme : Les utilisateurs ont souvent tendance à anthropomorphiser l'IA, lui attribuant des traits humains à travers le langage et le comportement, en particulier lors d'interactions avec des avatars ou des robots.
- Personnalisation : L'IA devient persuasive en conservant des données spécifiques aux utilisateurs et en s'adaptant à leurs préférences individuelles, y compris les informations personnellement identifiables.
- Tromperie : L'IA peut manipuler des vérités et déformer des identités, prétendant à une fausse autorité.
- Manipulation directe : L'IA peut utiliser des stratégies telles que la pression sociale, la peur et la culpabilité pour influencer les utilisateurs.
- Modification de l'environnement de choix : La manière dont les choix sont présentés peut avoir un impact significatif sur les décisions, en utilisant des options d'ancrage ou d'appâts pour modifier les perceptions.
Atténuer la persuasion et la manipulation par l'IA
Bien que des efforts aient été entrepris pour atténuer les effets de la persuasion par l'IA, beaucoup se concentrent sur les résultats nuisibles sans comprendre pleinement comment l'IA persuade. L'évaluation et la surveillance de ces capacités dans des environnements de recherche sont essentielles.
Les défis incluent la dissimulation des pratiques trompeuses aux participants lors des évaluations. D'autres stratégies pourraient impliquer le test d'adversaire (red teaming) ou l'ingénierie des prompts pour classifier la persuasion nocive, garantissant que l'IA génère des réponses non manipulatrices avec des informations de fond pertinentes ou factuelles.
L'application de classifications de persuasion nuisible et l'intégration d'apprentissages few-shot et zero-shot peuvent également aider à améliorer les réponses de l'IA. De plus, l'apprentissage par renforcement avec retour d'information humain (RLHF) peut pénaliser les comportements nuisibles dans les systèmes d'IA.
Comprendre les mécanismes internes de l'IA est crucial pour identifier et atténuer les tendances manipulatrices, renforçant notre capacité à répondre efficacement aux défis posés par la persuasion par l'IA.
Classement
