L'équipe de Superalignment d'OpenAI est-elle en difficulté après deux départs majeurs ?

Ilya Sutskever, ancien directeur scientifique et co-fondateur d'OpenAI, n'était pas le seul à quitter l'entreprise hier. Il a été rapidement suivi par Jan Leike, co-responsable de l'équipe de "superalignment" d'OpenAI, qui a annoncé sa démission sur X avec le message : « J'ai démissionné. »

Leike a rejoint OpenAI début 2021, exprimant son enthousiasme pour le travail de l'entreprise sur la modélisation des récompenses, en particulier pour aligner GPT-3 avec les préférences humaines. Il a ensuite partagé son optimisme concernant les stratégies d'alignement d'OpenAI sur son compte Substack "Aligned" en décembre 2022. Avant OpenAI, Leike avait apporté son expertise au sein du laboratoire d'intelligence artificielle DeepMind de Google.

Le départ de ces deux leaders a suscité des discussions sur X concernant les implications pour les ambitions d'OpenAI de contrôler des systèmes d'IA avancés, y compris l'objectif global d'atteindre l'intelligence artificielle générale (AGI), définie comme une IA dépassant la performance humaine dans des tâches économiquement précieuses.

Qu'est-ce que le Superalignment ?

Les modèles de langage de grande taille (LLMs), comme le GPT-4o d'OpenAI et des concurrents tels que Gemini de Google et Llama de Meta, fonctionnent de manière complexe. Pour garantir que ces modèles fonctionnent de manière fiable et n'offrent pas de réponses nuisibles ou absurdes, les développeurs doivent les "aligner" sur des comportements souhaités. Cela implique des techniques d'apprentissage automatique telles que l'apprentissage par renforcement et l'optimisation de politiques proximales (PPO).

Le superalignment représente un effort intensifié pour aligner les futurs modèles d'IA — superintelligences — au-delà de ce qui est actuellement disponible. OpenAI a annoncé la création de l'équipe de superalignment en juillet 2023, soulignant l'urgence de gérer les risques associés au développement et à la gouvernance de l'IA.

Le défi réside dans la manière de garantir que les systèmes d'IA superintelligents respectent les intentions humaines. Les techniques d'alignement actuelles, qui reposent sur la surveillance humaine, pourraient ne pas s'adapter efficacement aux systèmes surpassant l'intelligence humaine. OpenAI a reconnu ce problème et s'est engagé à consacrer 20 % de ses ressources informatiques à l'effort de superalignment, en utilisant des GPU précieux de Nvidia et d'autres matériels.

Quelles sont les prochaines étapes pour le Superalignment ?

Avec le départ de Sutskever et Leike, des questions cruciales se posent sur l'avenir de l'initiative de superalignment. OpenAI continuera-t-elle à allouer les 20 % de sa puissance de calcul promis à ce projet, ou optera-t-elle pour une nouvelle direction ? Les observateurs notent que Sutskever était perçu comme un "doomer", en particulier concernant les risques existentiels présentés par l'IA, contrairement au PDG Sam Altman et d'autres membres d'OpenAI, qui semblent moins préoccupés par ces menaces.

Nous avons contacté OpenAI pour obtenir des clarifications sur l'avenir de l'équipe de superalignment et fournirons des mises à jour dès que nous recevrons une réponse.