A Equipe de Superalinhamento da OpenAI Está Lutando Para Sobreviver Após Duas Saídas Significativas?

Ilya Sutskever, ex-Cientista Chefe e co-fundador da OpenAI, não foi a única saída significativa da empresa ontem. Ele foi seguido por Jan Leike, co-líder da equipe de "superalinhamento" da OpenAI, que anunciou sua resignação no X com a mensagem: “Eu me demiti.”

Leike entrou para a OpenAI no início de 2021, demonstrando entusiasmo pelo trabalho da empresa em modelagem de recompensas, especialmente na alocação do GPT-3 às preferências humanas. Em dezembro de 2022, ele compartilhou seu otimismo sobre as estratégias de alinhamento da OpenAI em sua conta no Substack “Aligned”. Antes da OpenAI, Leike contribuiu com sua experiência no laboratório de IA DeepMind do Google.

A saída desses dois líderes gerou discussões no X sobre as implicações para as ambições da OpenAI em controlar sistemas de IA avançados, incluindo o objetivo principal de alcançar a inteligência geral artificial (AGI), definida como IA que superam o desempenho humano em tarefas de valor econômico.

O que é Superalinhamento?

Modelos de linguagem de grande escala (LLMs), como o GPT-4 da OpenAI e concorrentes como o Gemini do Google e o Llama da Meta, operam de maneiras complexas. Para garantir que esses modelos funcionem de maneira confiável e não gerem respostas prejudiciais ou sem sentido, os desenvolvedores devem "alinhar" suas comportamentos desejados. Isso envolve técnicas de aprendizado de máquina, como aprendizado por reforço e otimização de política proximal (PPO).

O superalinhamento representa um esforço intensificado para alinhar futuros modelos de IA—superinteligências—além das capacidades atualmente disponíveis. A OpenAI anunciou a criação da equipe de superalinhamento em julho de 2023, enfatizando a urgência em gerenciar os riscos associados ao desenvolvimento e à governança da IA.

Qual é o futuro do Superalinhamento?

Com a saída de Sutskever e Leike, surgem questões críticas sobre o futuro da iniciativa de superalinhamento. A OpenAI continuará a alocar os prometidos 20% de seu poder computacional para este projeto, ou fará uma mudança de direção? Observadores apontam que Sutskever era visto como um "pessimista", especialmente em relação aos riscos existenciais apresentados pela IA, em contraste com o CEO Sam Altman e outros na OpenAI, que parecem menos focados nessas ameaças.

Entramos em contato com a OpenAI para esclarecimentos sobre o futuro da equipe de superalinhamento e forneceremos atualizações assim que recebermos uma resposta.