Le mois dernier, j'ai exploré l'intersection croissante entre le mouvement de l'altruisme efficace (AE) et la politique de sécurité en intelligence artificielle (IA), reliant des startups influentes comme Anthropic à des think tanks à Washington, D.C., tels que le RAND Corporation. Ce réseau en plein essor associe la mission de l'AE, qui vise à anticiper les risques catastrophiques liés à l'avenir de l'intelligence générale artificielle (IGA), à divers organismes gouvernementaux, think tanks et bureaux du Congrès.
Les critiques soutiennent que l'accent mis par l'AE sur les risques existentiels, ou "x-risk", détourne l'attention des dangers immédiats et tangibles de l'IA—tels que le biais, la désinformation et les menaces cybersécuritaires classiques. Depuis lors, j'ai recherché des perspectives auprès de leaders en IA et en politique qui ne s'alignent ni sur l'altruisme efficace, ni sur son pendant opposé, l'accélération efficace (e/acc). D'autres entreprises s'inquiètent-elles également de la possibilité que des poids de modèles de langage large (LLM) tombent entre de mauvaises mains ? Les décideurs à Washington comprennent-ils vraiment l'impact de l'AE sur les initiatives de sécurité en IA ?
Cette enquête prend une nouvelle dimension alors qu'Anthropic publie des recherches sur des modèles d'IA appelés "agents dormants" qui contournent les protocoles de sécurité, et que le Congrès s'inquiète d'une collaboration potentielle entre le National Institute of Standards and Technology (NIST) et RAND. De plus, des titres récents mettent en lumière l'AE dans le cadre du licenciement controversé de Sam Altman, PDG d'OpenAI, les membres du conseil de cette ONG étant principalement liés à l'AE.
Au cours de conversations passées, j'ai découvert un mélange complexe de perspectives. Bien qu'il existe une préoccupation significative concernant l'idéologie supportée par des milliardaires de l'AE et son influence sur le discours sur la sécurité de l'IA à Washington, certains reconnaissent l'importance de discuter des risques à long terme de l'IA dans un cadre politique.
L'altruisme efficace et la prévention des catastrophes liées à l'IA
Initialement fondé pour améliorer le bien-être mondial, le mouvement de l'AE est désormais principalement financé par des milliardaires de la technologie, mettant l'accent sur l'atténuation des catastrophes liées à l'IA, notamment en matière de bio-sécurité. Dans mon précédent article, j'avais souligné les inquiétudes exprimées par Jason Clinton, CISO d'Anthropic, et des chercheurs de RAND concernant la sécurité des poids des modèles LLM face aux menaces émanant de criminels opportunistes et d'acteurs soutenus par des États. Clinton a indiqué que la protection des poids du modèle Claude, le LLM d'Anthropic, est sa principale préoccupation, avertissant que si des entités malveillantes accédaient au fichier complet du modèle, cela pourrait représenter une menace significative.
Le chercheur de RAND, Sella Nevo, prévoit qu'en deux ans, les modèles d'IA pourraient acquérir une pertinence pour la sécurité nationale, notamment en ce qui concerne leur potentiel de détournement par de mauvais acteurs. Les trois personnes avec qui j'ai parlé sont liées à la communauté de l'AE, Jason Matheny, PDG de RAND, ayant été impliqué précédemment dans le Long-Term Benefit Trust d'Anthropic. Je suis incité à approfondir l'influence croissante de l'AE par le reportage de Brendan Bordelon, qui a fait état de l'infiltration de bailleurs de fonds liés à l'AE dans le paysage politique de Washington qualifiée d'« infiltration épique ». Comme le précise Bordelon, une faction de partisans de l'altruisme efficace façonne de manière significative les approches de la gouvernance de l'IA.
Réaction de Cohere aux inquiétudes sur l'AE
J'ai parlé avec Nick Frosst, co-fondateur de Cohere—un concurrent IA d'Anthropic et d'OpenAI—qui n'est pas d'accord avec l'idée que les modèles de langage larges constituent une menace existentielle. Il a souligné que, bien que Cohere sécurise ses poids de modèle, la préoccupation principale est d'ordre commercial plutôt qu'existentiel. Frosst a noté une distinction philosophique, affirmant : « Je pense que nous développerons éventuellement une véritable intelligence générale artificielle, mais je ne crois pas que cela se produira bientôt. » Il a critiqué l'AE pour son aspect auto-justifié concernant les risques liés à l'IA et a remis en question son cadre moral relatif à l'accumulation de richesse, arguant que l'approche de l'AE simplifie des impacts humanitaires complexes en métriques quantifiables, ce qui conduit à des conclusions moralement discutables concernant les risques existentiels de l'IA.
AI21 Labs sur les poids de modèle et la sécurité
Yoav Shoham, co-fondateur d'AI21 Labs, un autre concurrent dans le domaine de l'IA, a exprimé des sentiments similaires, en soulignant que, bien qu'ils protègent leurs poids de modèle pour des raisons de secret commercial, ces poids ne sont pas le principal facilitateur pour les acteurs malveillants. Il a signalé que dans le paysage géopolitique actuel de l'IA, la majorité des problèmes ne peuvent pas être résolus exclusivement par des politiques. Shoham a précisé qu'AI21 Labs ne fait pas partie du mouvement de l'AE et voit un mélange d'utilisation responsable de l'IA avec une peur infondée au sein de ce mouvement.
Critique des perspectives de l'AE au sein de RAND
Au milieu des critiques à l'encontre de RAND pour ses liens avec l'AE, certains chercheurs au sein de l'institution contestent les idéologies mainstream du mouvement. Marek Posard, sociologue militaire chez RAND, a noté que les débats philosophiques entourant l'IA, y compris ceux initiés par les partisans de l'AE et de l'e/acc, détournent l'attention des préoccupations immédiates en matière de politique IA. Il a affirmé que, bien que des perspectives diverses soient les bienvenues à RAND, le focus devrait rester sur la résolution de problèmes concrets plutôt que sur les batailles idéologiques entourant la gouvernance de l'IA.
Aborder les risques contemporains en cybersécurité
Bien que les domaines de la sécurité en IA et de la cybersécurité traditionnelle se chevauchent, la cybersécurité traditionnelle se concentre davantage sur les risques contemporains. Dan deBeaubien, responsable de la recherche en IA à l'Institut SANS, a reconnu l'influence du mouvement de l'AE mais a insisté sur l'importance de comprendre les menaces de sécurité liées aux LLM plutôt que les risques existentiels.
Coexister avec les discours de l'AE à Washington
Certains décideurs reconnaissent l'influence de l'AE sur la sécurité de l'IA mais préfèrent coexister plutôt que de confronter directement ses principes. Mark Beall, ancien responsable de la politique IA au sein du département de la Défense des États-Unis, a souligné l'importance de sauvegardes établies plutôt que de la vitesse imprudente encouragée dans la culture technologique. Mettant en avant son travail au Pentagone sur la politique IA responsable, Beall a contrecarré les affirmations selon lesquelles les responsables de Washington manquent de sensibilisation aux risques de l'IA, affirmant qu'ils ont donné la priorité à la sécurité bien avant que les altruistes efficaces n'entrent sur la scène politique.
Le défi de l'« IA non régulée »
Ian Bremmer, président du Eurasia Group, a récemment classé l'« IA non régulée » parmi les principaux risques géopolitiques pour 2024, identifiant des menaces tangibles telles que la désinformation électorale. Il a reconnu qu'un débat précieux existait autour de la sécurité des poids de modèle, mais a critiqué le mouvement de l'AE pour minimiser d'autres risques en se concentrant exclusivement sur des résultats catastrophiques. En conclusion, Bremmer a noté que poser les risques en termes existentiels pourrait éclipser des problèmes pressants, sapant le discours global nécessaire à une gouvernance efficace de l'IA.
Classement
