En tant que Chief Information Security Officer chez Anthropic, Jason Clinton joue un rôle multifacette, rendant des comptes directement au CEO Dario Amodei. Avec une équipe dédiée, il gère divers aspects de la sécurité, y compris la protection des données et des infrastructures, au sein de cette startup soutenue par Google et Amazon, renommée pour ses modèles linguistiques avancés, Claude et Claude 2. Bien qu'Anthropic ait levé plus de 7 milliards de dollars d'investissements et emploie environ 300 personnes, l'objectif principal de Clinton reste la protection des poids du modèle Claude, stockés dans un fichier massif d'un terabyte, contre tout accès non autorisé.
Dans l'apprentissage automatique, et notamment au sein des réseaux neuronaux profonds, les poids du modèle représentent les connexions numériques essentielles qui permettent au réseau d'apprendre et de faire des prédictions. Les valeurs finales de ces poids influencent considérablement les performances globales du modèle. Un rapport de recherche récent de la Rand Corporation souligne l'importance de protéger ces poids, qui encapsulent des ressources considérables et des processus complexes impliqués dans la formation de modèles avancés. S'ils tombaient entre de mauvaises mains, ces poids pourraient permettre un accès complet au modèle à un coût minime par rapport à l’entraînement.
« Je passe probablement presque la moitié de mon temps en tant que CISO à réfléchir à la protection de ce fichier », a commenté Clinton lors d'une récente interview, notant l’attention et les ressources considérables qu'il reçoit au sein de l'organisation.
Inquiétudes concernant les poids des modèles
Clinton, qui a rejoint Anthropic après 11 ans chez Google, a souligné que même si certains considèrent les poids comme une propriété intellectuelle de grande valeur, la principale préoccupation de l'entreprise est d'éviter que la technologie ne tombe entre de mauvaises mains. Il a expliqué que l'utilisation abusive par des criminels opportunistes, des groupes terroristes ou des États-nations pourrait avoir des conséquences désastreuses. « Si un attaquant accède à l'intégralité du fichier, il obtient tout le réseau neuronal », a-t-il averti.
Cette inquiétude est réaffirmée par les récentes initiatives du gouvernement américain. L'Ordre Exécutif de la Maison Blanche sur le « Développement et l'Utilisation Sûrs, Sécurisés et Fiables de l'Intelligence Artificielle » exige que les entreprises de modèles fondamentaux documentent la propriété et les mesures de sécurité entourant leurs poids.
OpenAI, acteur notable dans le domaine, a déclaré dans un article de blog d'octobre 2023 qu'elle investit activement dans des mesures de cybersécurité pour protéger ses poids de modèle, limitant leur distribution en dehors de son organisation et de son partenaire technologique Microsoft.
Vecteurs d'attaque identifiés dans une nouvelle étude
Les co-auteurs Sella Nevo et Dan Lahav du rapport récent de la Rand Corporation, « Sécurisation des Poids des Modèles d'Intelligence Artificielle », ont identifié environ 40 vecteurs d'attaque potentiels que des acteurs malveillants pourraient exploiter pour voler des poids de modèles. De l'accès physique non autorisé aux attaques sur la chaîne d'approvisionnement, le rapport a mis en lumière des exemples concrets de ces vecteurs en action.
Nevo a souligné que les préoccupations portent moins sur les capacités actuelles et davantage sur les risques futurs, prédisant de significatives implications pour la sécurité nationale à mesure que les modèles progressent.
Risques des modèles fondamentaux ouverts
Tous les experts ne s'accordent pas sur la gravité des risques associés aux fuites de poids de modèles d'IA, notamment en ce qui concerne les modèles open-source. Un rapport de politique de Stanford HAI a indiqué que les modèles fondamentaux largement accessibles peuvent favoriser l'innovation et la transparence, suggérant que les risques associés devraient être évalués par rapport à ceux des modèles fermés.
Kevin Bankston du Center for Democracy & Technology a salué le rapport pour son analyse équilibrée et fondée sur des preuves. Le rapport a souligné des résultats mitigés, citant le modèle Llama 2 de Meta, qui a été publié avec des poids accessibles au public malgré une fuite antérieure.
Bien que les partisans plaident en faveur de la sécurité open-source, Heather Frase de l'Université de Georgetown a souligné qu'à mesure que les modèles génératifs évoluent, le potentiel de dommages augmente également, notamment pour les individus ciblés par des technologies malveillantes.
Mettre l’accent sur la transparence en matière de sécurité
Nicolas Patry, ingénieur ML chez Hugging Face, a déclaré que les risques associés aux poids des modèles nécessitent des protocoles de sécurité réguliers. Néanmoins, il estime que la transparence renforce la sécurité. William Falcon, CEO de Lightning AI, a fait écho à ce sentiment, soutenant que les tentatives de contrôler les fuites de poids de modèles sont vaines alors que la communauté open-source évolue rapidement.
Clinton convient que les modèles open-source ne posent pas les plus grands risques que doit prioriser Anthropic. Il appelle les gouvernements à se concentrer sur la réglementation des modèles « de pointe », tout en soulignant l'importance de la recherche et de la sécurité continues.
Défis de sécurité persistants
Malgré l'optimisme des chercheurs, Nevo a mis en garde contre la complaisance, avertissant que les mesures de sécurité actuelles pourraient ne pas être suffisantes pour protéger contre de futures menaces. Clinton a souligné le défi d'une pénurie de talents dans la sécurité de l'IA, déclarant : « Il n'y a pas d'experts en sécurité de l'IA… Nous avons besoin d'ingénieurs de sécurité de premier plan pouvant s'adapter rapidement à ce paysage en évolution. »
Il s'inquiète de la facilité croissante avec laquelle les attaquants pourraient exploiter les vulnérabilités. En regardant vers l'avenir, il anticipe un changement dans les pratiques de cybersécurité, passant de mises à jour périodiques à des mises à jour quotidiennes, ce qui nécessiterait un changement significatif de mentalité à travers l'industrie.
L'engagement de Clinton à équilibrer les avancées rapides de la recherche avec des mesures de sécurité robustes souligne l'urgence de stratégies proactives pour protéger les poids des modèles d'IA. « Il est crucial que notre équipe de recherche se sente soutenue tout en gérant les poids du modèle de manière sécurisée », a-t-il conclu.
Classement
