Группа из 11 исследователей, включая действующих и бывших сотрудников OpenAI, одного представителя Google DeepMind и бывшего исследователя Anthropic, выпустила открытое письмо с призывом к компаниям в сфере ИИ принять четыре принципа, направленные на защиту сотрудников, выступающих с критикой и сообщающих о проблемах безопасности ИИ.
Под заголовком «Право предостерегать» письмо подчеркивает серьезные риски, связанные с технологиями ИИ, утверждая: «Эти риски варьируются от углубления существующих неравенств до манипуляций, дезинформации и потенциальной утраты контроля над автономными системами ИИ, что может привести к человеческому вымиранию».
Среди ключевых опасений, поднятых в письме, указаны недостаточный контроль, корыстные мотивы и подавление инакомыслящих в организациях, разрабатывающих передовые технологии ИИ.
Для решения этих вопросов подписанты предлагают следующие четыре принципа для компаний в сфере ИИ:
1. Не применять соглашения, ограничивающие критические комментарии, или мстить сотрудникам за выражение озабоченности по поводу рисков.
2. Создать конфиденциальный и проверяемый процесс для сообщения о рисках правлению компании, регуляторам и независимым организациям.
3. Содействовать культуре прозрачности, которая поощряет сотрудников открыто обсуждать потенциальные риски, защищая коммерческую тайну.
4. Запретить месть против сотрудников, раскрывающих конфиденциальную информацию о рисках после того, как другие пути обращения за помощью оказались безрезультатными.
Письмо, опубликованное сегодня в The New York Times, вызвало поддержку среди лидеров в области ИИ, таких как Йошуа Бенджио, Джеффри Хинтон и Стюарт Рассел. К числу известных подписантов относятся бывшие сотрудники OpenAI Яков Хилтон, Даниэль Кокотайло, Уильям Содерс и Даниэль Зиглер, а также Рамана Кумар из Google DeepMind и Нил Нанда, ныне работающий в DeepMind.
В серии сообщений в X (ранее Twitter) после публикации статьи Кокотайло рассказал о своем уходе из OpenAI, отметив утрату доверия к обязательству компании передовым разработкам ИИ. Он подчеркнул необходимость большей прозрачности и этических стандартов в развитии технологий ИИ.
Кокотайло сообщил о том, что отказался от своей доли акций, чтобы свободно критиковать компанию, выразив разочарование тем, что OpenAI не приортизировала исследования в области безопасности по мере развития своих систем. Он также сообщил, что при уходе ему предложили соглашение о неразглашении информации, которое он счел неэтичным.
Эти утверждения следуют за предыдущими разоблачениями практик OpenAI, включая утечку документов, свидетельствующих о принудительных тактиках в отношении бывших сотрудников. Тем не менее, OpenAI заявила, что не будет применять соглашения о неразглашении, которые повсеместны в индустрии технологий.
Письмо было опубликовано в бурный период для OpenAI, начавшийся с противоречивого увольнения CEO Сэма Альтмана в ноябре 2023 года из-за предполагаемых проблем с коммуникацией с советом директоров. Альтман был быстро возвращен на пост под давлением инвесторов, однако некоторые члены совета выразили продолжающиеся опасения по поводу ответственности и прозрачности — проблемы, о которых говорили и публичные лица, включая Скарлетт Йоханссон, критикующую компанию за использование ее голоса без согласия.
Несмотря на эти вызовы, компания пытается решить проблемы безопасности, создав новый Комитет по безопасности и охране, объявленный наряду с обучением своей последней модели ИИ.
Полный текст письма «Право предостерегать»:
Право предостерегать по поводу передового искусственного интеллекта
Мы - действующие и бывшие сотрудники передовых компаний в сфере ИИ, и мы верим в потенциал технологий ИИ, способных принести беспрецедентные выгоды человечеству.
Тем не менее, мы также признаем серьезные риски, исходящие от этих технологий, которые могут укрепить неравенство, содействовать манипуляциям и дезинформации, а также потенциально привести к утрате контроля над автономными системами ИИ с катастрофическими последствиями.
Компании в сфере ИИ признают эти риски, как и правительства и эксперты по всему миру. Мы надеемся, что их можно будет смягчить с достаточным руководством со стороны научного сообщества, политиков и общественности. Однако значительные финансовые стимулы часто препятствуют эффективному контролю.
Компании в сфере ИИ располагают критически важной информацией о своих системах и их рисках, но имеют слабые обязательства раскрывать эту информацию правительствам или гражданскому обществу. Поэтому нынешние и бывшие сотрудники играют ключевую роль в обеспечении подотчетности, но соглашения о конфиденциальности часто заставляют нас молчать. Обычные механизмы защиты информаторов не всегда эффективны, так как многие риски остаются нерегулируемыми.
Мы призываем компании передового ИИ принять следующие принципы:
1. Не применять соглашения, воспрещающие критическую оценку рисков или месть сотрудникам за подобные комментарии.
2. Создать конфиденциальный процесс для сотрудников, чтобы сообщать о рисках правлению, регуляторам и квалифицированным независимым организациям.
3. Поддерживать культуру открытой критики, позволяя сотрудникам поднимать общественные обеспокоенности при соблюдении конфиденциальности коммерческих тайн.
4. Защитить тех, кто раскрывает информацию о рисках, если внутренние пути обращения оказались неэффективными.
Подписано: (в алфавитном порядке):
- Яков Хилтон, бывший сотрудник OpenAI
- Даниэль Кокотайло, бывший сотрудник OpenAI
- Рамана Кумар, бывший сотрудник Google DeepMind
- Нил Нанда, текущий сотрудник Google DeepMind, бывший сотрудник Anthropic
- Уильям Содерс, бывший сотрудник OpenAI
- Кэрролл Уэйнрайт, бывший сотрудник OpenAI
- Даниэль Зиглер, бывший сотрудник OpenAI
- Анонимный, текущий сотрудник OpenAI (четыре человека)
- Анонимный, бывший сотрудник OpenAI (два человека)
Поддержано: (в алфавитном порядке):
- Йошуа Бенджио
- Джеффри Хинтон
- Стюарт Рассел
4 июня 2024 года
Рейтинг
