Le gouverneur de Californie, Newsom, a opposé son veto au projet de loi SB 1047, conçu pour atténuer les catastrophes liées à l'IA.

Le gouverneur de Californie, Gavin Newsom, a opposé son veto au projet de loi SB 1047, destiné à prévenir l'utilisation abusive de l'intelligence artificielle (IA) pouvant causer des "dommages critiques" aux humains. Ce texte a été adopté par l'Assemblée de l'État de Californie le 28 août avec un vote de 41 contre 9, mais des organisations comme la Chambre de Commerce ont incité le gouverneur à le rejeter.

Dans son message de veto en date du 29 septembre, Newsom a reconnu que, bien que ce projet de loi soit "bien intentionné", il ne prend pas en compte des éléments cruciaux tels que le déploiement de l'IA dans des environnements à haut risque et la gestion de données sensibles. Il a également souligné que le projet impose des normes strictes même pour des fonctions de base de l’IA au sein de grands systèmes.

Le SB 1047 visait à rendre les développeurs de modèles d'IA responsables de la mise en œuvre de protocoles de sécurité pour éviter des issues catastrophiques. Les mesures de sécurité requises comprenaient des tests rigoureux, des évaluations externes des risques et une fonction d'arrêt d'urgence à toute épreuve, avec des pénalités commençant à 10 millions de dollars pour les premières violations et atteignant 30 millions de dollars pour les infractions ultérieures. Cependant, la version modifiée a supprimé la capacité du procureur général de l'État à poursuivre les entreprises d'IA pour négligence, sauf en cas d'événements catastrophiques, limitant ainsi les actions légales possibles à des recours en référé.

La législation visait à réglementer les modèles d'IA avec un coût opérationnel minimum de 100 millions de dollars et des capacités de formation de 10^26 FLOPS. Elle aurait également touché les projets développés avec des investissements tiers significatifs dépassant 10 millions de dollars. Toute entreprise opérant en Californie devrait se conformer aux dispositions de la loi si elle remplissait ces critères.

Newsom a exprimé ses inquiétudes concernant la portée limitée du projet sur les systèmes d'IA à grande échelle, déclarant : "Je ne pense pas que ce soit la meilleure approche pour protéger le public des véritables menaces posées par cette technologie." Il a averti que cet accent pourrait créer un faux sentiment de sécurité, car des modèles plus petits et spécialisés pourraient présenter des risques équivalents, voire supérieurs, tout en étouffant l'innovation bénéfique pour le public.

L'ancienne version du SB 1047 proposait la création d'une Division des Modèles de Frontière pour réglementer les technologies de l'IA. Cependant, le projet a été modifié pour placer la supervision sous un Conseil des Modèles de Frontière au sein de l'Agence des Opérations Gouvernementales, avec des membres nommés par le gouverneur et la législature.

Réalisé par le sénateur d'État de Californie, Scott Wiener, le SB 1047 a fait face à une forte opposition de la part de la communauté technologique. Des chercheurs éminents en IA, tels que Geoffrey Hinton et Yoshua Bengio, ont soutenu l'initiative, exprimant des inquiétudes quant aux dangers de l'IA. Wiener a souligné l'importance de mesures proactives, affirmant : "N'attendons pas qu'il arrive quelque chose de grave."

Dans son message de veto, Newsom a réaffirmé l'engagement de l'État en matière de sécurité, insistant pour dire que "la Californie n'abandonnera pas sa responsabilité. Les protocoles de sécurité doivent être adoptés et les conséquences pour les acteurs malveillants doivent être appliquées." Il a plaidé pour un cadre réglementaire évoluant en parallèle avec les avancées de l'IA.

Le projet de loi a été vivement critiqué par des leaders technologiques et des organisations, notamment la chercheuse Fei-Fei Li et le Scientifique en Chef de l'IA de Meta, Yann LeCun, qui ont déploré qu'il pourrait entraver l'innovation en IA. Les groupes commerciaux technologiques, représentant des géants comme Amazon, Apple et Google, ont mis en garde contre le fait que le SB 1047 pourrait freiner les nouveaux développements dans le secteur technologique californien. De plus, la société de capital-risque Andreessen Horowitz, accompagnée de diverses startups, a soulevé des préoccupations concernant les implications financières pour les innovateurs en IA, entraînant des amendements dans la version du SB 1047 qui a progressé dans le Comité des Affaires de Californie le 15 août.