¿Está el equipo de Superalinhación de OpenAI luchando por sobrevivir tras dos salidas importantes?

Ilya Sutskever, exjefe de ciencia y cofundador de OpenAI, no fue la única salida significativa de la empresa ayer. Poco después, Jan Leike, co-líder del equipo de "superalignment" en OpenAI, anunció su renuncia en X con el mensaje: “Me he ido”.

Leike se unió a OpenAI a principios de 2021, mostrando su entusiasmo por el trabajo de la empresa en modelado de recompensas, especialmente en alinear GPT-3 con las preferencias humanas. En diciembre de 2022, compartió su optimismo sobre las estrategias de alineación de OpenAI en su cuenta de Substack “Aligned”. Antes de OpenAI, Leike aportó su experiencia en el laboratorio de IA DeepMind de Google.

La salida de estos dos líderes ha generado discusiones en X sobre las implicaciones para las ambiciones de OpenAI de controlar sistemas de IA avanzados, incluido el objetivo de alcanzar la inteligencia general artificial (AGI), definida como IA que supera el rendimiento humano en tareas económicamente valiosas.

¿Qué es el Superalignment?

Los grandes modelos de lenguaje (LLMs), como el GPT-4o de OpenAI y sus competidores como Gemini de Google y Llama de Meta, operan de manera compleja. Para garantizar que estos modelos funcionen de forma confiable y no produzcan respuestas dañinas o absurdas, los desarrolladores deben "alinearlos" con comportamientos deseados. Esto implica técnicas de aprendizaje automático como el aprendizaje por refuerzo y la optimización de políticas proximales (PPO).

El superalignment representa un esfuerzo intensificado para alinear modelos de IA futuros—superinteligencias—más allá de lo actualmente disponible. OpenAI anunció la creación del equipo de superalignment en julio de 2023, subrayando la urgencia de gestionar los riesgos asociados con el desarrollo y la gobernanza de la IA.

¿Qué sigue para el Superalignment?

Con Sutskever y Leike fuera, surgen preguntas críticas sobre el futuro de la iniciativa de superalignment. ¿Continuará OpenAI asignando el 20% de su potencia de computación prometido a este proyecto, o tomará un nuevo rumbo? Observadores han señalado que Sutskever era percibido como un "pessimista" en particular sobre los riesgos existenciales que presenta la IA, a diferencia del CEO Sam Altman y otros en OpenAI, quienes parecen menos enfocados en estas amenazas.

Hemos contactado a OpenAI para obtener claridad sobre el futuro del equipo de superalignment y proporcionaremos actualizaciones una vez que recibamos una respuesta.