Существует ли кризис в команде Superalignment OpenAI после ухода двух ключевых сотрудников?

Илья Сутскевер, бывший главный научный сотрудник и соучредитель OpenAI, не стал единственным заметным уходом из компании накануне. Вскоре за ним последовал Ян Лейке, сопредседатель команды "супералиментации" OpenAI, который объявил о своей отставке в X, написав: "Я ушел."

Лейке присоединился к OpenAI в начале 2021 года, выразив свой энтузиазм по поводу работы компании над моделированием вознаграждений, особенно в контексте выравнивания GPT-3 с человеческими предпочтениями. В декабре 2022 года он поделился своим оптимизмом по поводу стратегий выравнивания на своем Substack-аккаунте “Aligned.” До OpenAI Лейке работал в лаборатории искусственного интеллекта DeepMind от Google.

Уход этих двух лидеров вызвал обсуждения в X о последствиях для амбициозных целей OpenAI по контролю над продвинутыми системами ИИ, в том числе по достижению искусственного общего интеллекта (AGI), который определяется как ИИ, превосходящий человеческие способности в экономически значимых задачах.

Что такое супералиментация?

Большие языковые модели (LLM), такие как GPT-4o от OpenAI и конкуренты, такие как Gemini от Google и Llama от Meta, действуют сложным образом. Чтобы обеспечить надежную работу этих моделей и избежать их вредоносных или бестолковых ответов, разработчикам необходимо "выравнивать" их на желаемые поведения. Это включает в себя методы машинного обучения, такие как обучение с подкреплением и оптимизацию проксимальной политики (PPO).

Супералиментация представляет собой усиленные усилия по выравниванию будущих моделей ИИ — суперинтеллектов — за пределами текущих достижений. OpenAI объявила о создании команды супералиментации в июле 2023 года, подчеркивая неотложность управления рисками, связанными с разработкой и управлением ИИ.

Задача заключается в том, как обеспечить соответствие суперинтеллектуальных систем ИИ человеческим намерениям. Текущие техники выравнивания, полагающиеся на человеческий контроль, могут не масштабироваться эффективно на системы, превосходящие человеческий интеллект. OpenAI признала эту проблему и решила выделить 20% своих вычислительных ресурсов на усилия по супералиментации, используя ценные GPU от Nvidia и другое оборудование.

Что дальше для супералиментации?

С уходом Сутскевера и Лейке возникают важные вопросы о будущем инициативы супералиментации. Будет ли OpenAI продолжать выделять обещанные 20% своей вычислительной мощности на этот проект, или же компания изменит направление? Наблюдатели отмечают, что Сутскевер считался "пессимистом," особенно по поводу экзистенциальных рисков, связанных с ИИ, в отличие от генерального директора Сэма Альтмана и других сотрудников OpenAI, которые, по-видимому, менее сосредоточены на этих угрозах.

Мы обратились в OpenAI за разъяснениями о будущем команды супералиментации и сообщим обновления, как только получим ответ.