Бывший лидер направления суперсогласования OpenAI критикует компанию: «Культура безопасности и процессы были забыты»

На этой неделе Илья Сутскевера, соучредитель и бывший главный научный сотрудник, и Ян Лейке, ключевой исследователь, одновременно объявили о своих отставках из OpenAI. Это событие имеет значимость не только из-за их высоких должностей, но и потому, что они возглавляли команду по супервыравниванию, сосредоточенную на создании систем управления суперинтеллектуальными моделями ИИ, которые превосходят человеческий интеллект.

После их ухода появилось сообщение о том, что команда по супервыравниванию OpenAI была распущена, как указано в недавней статье Wired, где моя жена занимает пост главного редактора.

Сегодня Лейке опубликовал пост на своем личном аккаунте в X, выразив критику в адрес OpenAI и ее руководства, обвинив их в приоритетности «блестящих продуктов» над безопасностью. В одном из постов он отметил: «За последние годы культура безопасности и процессы отошли на второй план по сравнению с блестящими продуктами».

Лейке, который присоединился к OpenAI в начале 2021 года, признал, что у него были разногласия с руководством компании, вероятно, имея в виду CEO Сэма Альтмана и других топ-менеджеров, включая президента Грега Брокмана и технического директора Миру Мурат. Он отметил: «Я уже давно не согласен с руководством OpenAI по поводу основных приоритетов компании, и в конце концов мы достигли критической точки».

Он акцентировал внимание на настоятельной необходимости развития методов управления и контроля над ИИ-системами, значительно превосходящими человеческий разум.

В июле 2023 года OpenAI обязалась выделить 20% своих вычислительных ресурсов — в частности, мощные кластеры Nvidia GPU — на инициативу по супервыравниванию. Эта работа нацелена на ответственное развитие искусственного общего интеллекта (AGI), определяемого в уставе компании как «высокоавтономные системы, которые превосходят людей в большинстве экономически ценных работ».

Несмотря на это обещание, Лейке выразил недовольство: «Моя команда работала в сложных условиях. Порой нам не хватало вычислительных мощностей, и стало труднее выполнять важные исследования».

В ответ на сообщение Лейке Альтман процитировал его, выразив признательность за вклад Лейке в исследования по выравниванию и культуру безопасности в OpenAI. Он признал необходимость дальнейшей работы и пообещал более детальный пост в ближайшие дни.

Эти новости создают мрак над OpenAI на фоне недавнего запуска новой мультимодальной модели GPT-4o и настольного приложения ChatGPT для Mac, объявленного в понедельник. Это также создает вызовы для Microsoft, ключевого инвестора и партнера, в преддверии предстоящей конференции Build на следующей неделе.

Мы обратились в OpenAI за комментарием по поводу высказываний Лейке и предоставим обновления по мере поступления информации.