Le personnel du NIST proteste contre la nomination prévue d'un chercheur en IA 'altruiste efficace' à l'Institut de sécurité de l'IA des États-Unis.

L'Institut national des normes et de la technologie (NIST) traverse une crise interne majeure, des employés et des scientifiques menaçant de démissionner en raison de la nomination attendue de Paul Christiano à un poste clé au sein du nouvel Institut américain de la sécurité de l'IA (AISI). Deux sources anonymes proches de la situation ont rapporté que le processus d'embauche de Christiano, connu pour ses liens avec le mouvement de l'altruisme efficace (EA), a été accéléré sans préavis pour le personnel.

Le NIST, qui fait partie du Département du commerce des États-Unis, se consacre à renforcer l'innovation et la compétitivité industrielle grâce à des sciences et technologies de mesure avancées. L'agence élabore également des normes et des cadres de cybersécurité, incluant un cadre de sécurité de l'IA publié en janvier 2023.

La nomination potentielle de Christiano, apparemment influencée par la secrétaire au Commerce Gina Raimondo, a généré un mécontentement considérable parmi les employés du NIST. Les préoccupations portent sur la manière dont ses affiliations avec l'EA et le longtermisme pourraient affecter l'objectivité et l'intégrité de l'institut.

Divyansh Kaushik, directeur associé des technologies émergentes et de la sécurité nationale à la Fédération des scientifiques américains, a souligné que Christiano est hautement qualifié pour des tâches spécifiques décrites dans l'Ordre exécutif sur l'IA du président Biden de novembre 2023, qui oriente le NIST et l'AISI vers des domaines tels que la sécurité chimique, biologique, radiologique et nucléaire (CBRN).

Les critiques soutiennent que l'EA, décrit par le Centre pour l'altruisme efficace comme un mouvement utilisant des preuves pour maximiser les efforts altruistes, est devenu une faction avec une influence disproportionnée, notamment dans le domaine de la sécurité de l'IA. Les détracteurs affirment que cette focalisation sur les risques existentiels peut occulter des problèmes pressants et mesurables comme le biais et la désinformation dans les applications IA actuelles.

L'AISI a été créé en novembre 2023 pour remplir les responsabilités du Département du commerce telles que décrites dans l'Ordre exécutif sur l'IA. Le leader de la majorité au Sénat américain, Chuck Schumer, a récemment annoncé un financement pouvant atteindre 10 millions de dollars pour l'AISI, soulignant son importance. Cependant, des rapports récents ont critiqué le NIST pour son manque de transparence concernant la légitimité et le processus compétitif des subventions de recherche associées à l'institut. Des inquiétudes ont également émergé quant à une éventuelle subvention à la RAND Corporation, liée à des figures influentes de l'industrie technologique et de l'altruisme efficace.

Kaushik a noté que, quel que soit le résultat de la nomination, il est crucial que le NIST demeure fidèle à sa mission. Il a déclaré : « Nous naviguons en terrain inconnu en évaluant des risques hypothétiques liés aux modèles à usage général. » Il a exhorté la direction du Département du commerce à donner la priorité à l'intégrité scientifique dans ses nominations.

Kaushik a averti que perdre des "scientifiques vedettes" en raison de telles nominations serait préjudiciable. Il espère que les comités du Congrès surveillant le travail de l'AISI pourront garantir que l'institut utilise ses forces de manière efficace sans compromettre sa mission principale. Dans un récent post sur X, il a exprimé son optimisme quant à la nécessité de nominations opportunes, réitérant que des recrutements proactifs devraient être perçus positivement à la lumière des délais fixés par l'Ordre exécutif.

Des demandes de commentaires ont été adressées à la secrétaire au Commerce Gina Raimondo, à la directrice de l'AISI Elizabeth Kelly et à Paul Christiano, et des mises à jour seront fournies dès que des réponses seront reçues.