OpenAI et Anthropic s'associent pour partager des modèles d'IA avec l'Institut de sécurité de l'IA des États-Unis, afin d'améliorer la sécurité et la surveillance.

OpenAI et Anthropic ont conclu un accord majeur pour partager leurs modèles d'IA—avant et après leur publication—avec le nouvel Institut américain de sécurité de l'IA, créé par un décret du président Biden en 2023. Cet organisme fournira des retours essentiels pour améliorer les modèles des entreprises. Le PDG d'OpenAI, Sam Altman, a évoqué cette collaboration plus tôt ce mois-ci.

Bien que l'Institut n'ait pas mentionné d'autres entreprises impliquées dans l'IA, un porte-parole de Google a indiqué que la société est en discussions avec l'agence et fournira plus de détails en temps voulu. Notamment, Google a commencé à déployer des mises à jour pour ses modèles de chatbot et de générateur d'images dans le cadre du programme Gemini.

"La sécurité est essentielle pour faire progresser l'innovation technologique. Grâce à ces accords, nous sommes impatients de collaborer techniquement avec Anthropic et OpenAI pour renforcer la sécurité de l'IA," a déclaré Elizabeth Kelly, directrice de l'Institut américain de sécurité de l'IA. "Ces accords ne représentent que le début de nos efforts pour orienter de manière responsable l'avenir de l'IA."

L'Institut américain de sécurité de l'IA opère au sein de l'Institut national des standards et de la technologie (NIST) et est chargé de créer des lignes directrices, des tests de référence et des meilleures pratiques pour évaluer les systèmes d'IA potentiellement dangereux. La vice-présidente Kamala Harris a souligné la dualité de l'impact de l'IA à la fin de 2023, mettant en avant son potentiel d'avancées significatives et de risques sérieux, y compris les cyberattaques et les menaces biologiques alimentées par l'IA.

Cet accord révolutionnaire est officialisé par un mémorandum d'entente non contraignant, permettant à l'agence d'accéder aux nouveaux modèles majeurs de chaque entreprise avant et après leur publication. L'Institut américain de sécurité de l'IA qualifie ces accords de recherches collaboratives axées sur l'évaluation des capacités et la garantie de la sécurité. De plus, il collaborera avec l'Institut britannique de sécurité de l'IA.

Alors que les régulateurs tant fédéraux qu'étatiques s'efforcent d'établir des mesures de sécurité pour l'IA, l'assemblée de l'État de Californie a récemment adopté un projet de loi sur la sécurité de l'IA (SB 10147). Cette législation impose des tests de sécurité pour les modèles d'IA coûtant plus de 100 millions de dollars à développer ou nécessitant une puissance de calcul substantielle. Elle exige également que les développeurs d'IA intègrent des systèmes d'arrêt pour désactiver les modèles jugés "ingérables ou incontrôlables".

Contrairement à l'accord volontaire avec le gouvernement fédéral, le projet de loi californien comprend des dispositions contraignantes, permettant au procureur général de l'État d'engager des poursuites contre les développeurs d'IA non conformes, notamment lors d'événements de menace critique. Le projet de loi attend un dernier vote de traitement et la signature du gouverneur Gavin Newsom, qui a jusqu'au 30 septembre pour l'approuver.