L'Ancien Responsable de la Superalignement d'OpenAI Critique l'Entreprise : « La Culture de Sécurité et les Processus Ont Été Négligés »

Plus tôt cette semaine, Ilya Sutskever, co-fondateur et ancien directeur scientifique, ainsi que Jan Leike, un chercheur clé, ont annoncé leur démission d'OpenAI à quelques heures d'intervalle. Cette situation est marquante non seulement en raison de leurs postes de haut niveau, mais aussi parce qu'ils dirigeaient l'équipe de superalignement, consacrée à la création de systèmes pour gérer des modèles d'IA superintelligents, dépassant l'intelligence humaine.

Suite à leur départ, des rapports indiquent que l'équipe de superalignement d'OpenAI a été dissoute, comme le souligne un récent article de Wired, où ma femme occupe le poste de rédactrice en chef.

Aujourd'hui, Leike a utilisé son compte personnel sur X pour exprimer ses critiques à l'égard d'OpenAI et de sa direction, les accusant de privilégier les « produits attrayants » au détriment de la sécurité. Dans un de ses messages, il a déclaré : « Au cours des dernières années, la culture de sécurité et les processus ont été relégués au second plan au profit de produits brillants. »

Leike, qui a rejoint OpenAI début 2021, a admis avoir eu des désaccords avec la direction de l'entreprise, probablement en référence au PDG Sam Altman et à d'autres hauts dirigeants, dont le président Greg Brockman et la CTO Mira Murati. Il a souligné : « J'ai été en désaccord avec la direction d'OpenAI sur les priorités fondamentales de l'entreprise pendant un certain temps, jusqu'à ce que nous atteignions finalement un point de rupture. »

Il a insisté sur l'urgence de réfléchir à la manière de diriger et de contrôler des systèmes d'IA nettement plus intelligents que les humains. En juillet 2023, OpenAI s'est engagé à allouer 20 % de ses ressources de calcul, notamment ses puissants clusters GPU Nvidia, à l'initiative de superalignement. Cet effort vise à développer de manière responsable une intelligence générale artificielle (AGI), définie dans la charte de l'entreprise comme « des systèmes hautement autonomes qui surpassent les humains dans la plupart des travaux économiquement précieux. »

Malgré cette promesse, Leike a exprimé sa frustration : « Mon équipe a navigué à contre-courant. Parfois, nous avons peiné à obtenir des ressources de calcul, et il devenait de plus en plus difficile de réaliser des recherches cruciales. »

En réponse aux commentaires de Leike, Altman a cité ses propos, exprimant sa reconnaissance pour les contributions de Leike à la recherche sur l'alignement et à la culture de sécurité d'OpenAI. Il a reconnu la nécessité de continuer à travailler et a promis un message plus détaillé dans les prochains jours.

Cette actualité jette une ombre sur OpenAI, coïncidant avec le récent lancement du nouveau modèle fondamental multimodal GPT-4o et de l'application de bureau ChatGPT pour Mac, annoncés lundi. Elle pose également des défis pour Microsoft, un investisseur et partenaire clé, alors qu'ils se préparent pour la prochaine conférence Build la semaine prochaine.

Nous avons contacté OpenAI pour obtenir un commentaire concernant les déclarations de Leike et nous fournirons des mises à jour dès qu'elles seront disponibles.