Недавно американский эксперт в области ИИ-политики отметил: «Если вы не исследуете влияние эффективного альтруизма (EA), вы упускаете важную часть истории». Размышляя об этом, я осознал, что в своем последнем материале недооценил этот аспект.
Ирония в том, что я считал свою статью о рисках безопасности больших языковых моделей (LLM) простой победой. Недавний указ президента США по ИИ требует от компаний, разрабатывающих основополагающие модели, документировать права собственности и меры безопасности для моделей двойного назначения, что делает эту тему актуальной. В своей статье я провел интервью с Джейсоном Клинтоном, директором по информационной безопасности компании Anthropic, который подчеркнул необходимость защиты весов модели Claude, LLM компании. Он отметил опасность доступа преступников, террористов и государств к данным сложным моделям, указав, что «если атакующий получит доступ ко всему файлу, он сможет контролировать всю нейронную сеть». Другие ведущие компании также разделяют эту озабоченность; новый «Рамочный документ о готовности» от OpenAI касается необходимости ограничения доступа к конфиденциальной информации моделей.
Я также общался с Селлой Нево и Дэном Лахавом из RAND Corporation, авторами важного отчета «Защита весов моделей искусственного интеллекта». Нево, возглавляющий Центр Мезельсона RAND, предупредил о возможных серьезных последствиях для национальной безопасности в результате использования ИИ моделей для разработки биологического оружия.
Связи эффективного альтруизма в безопасности ИИ
С оглядкой, я понял, что моя статья не отразила сложные связи между сообществом эффективного альтруизма и развивающемся направлении безопасности ИИ. Этот упущенный момент особенно заметен на фоне растущего влияния EA, интеллектуального движения, подчеркивающего использование разума и доказательств для блага человечества, в частности в предотвращении экзистенциальных рисков от продвинутого ИИ. Критики утверждают, что акцент EA на далеких угрозах отвлекает от не менее актуальных проблем, таких как предвзятость, дезинформация и кибербезопасность в разработке ИИ.
Недавно EA оказалась в центре внимания из-за увольнения генерального директора OpenAI Сэма Альтмана, что подчеркнуло связи EA в процессе принятия высокорисковых решений. Несмотря на то, что я знал о связях Anthropic с EA — основатель FTX Сэм Банкман-Фрид когда-то владел долей в стартапе на сумму 500 миллионов долларов — я не углубился в их влияние на мой рассказ. Однако, прочитав статью в Politico, которая, как назло, вышла на следующий день, я обнаружил ключевые связи между RAND и EA, включая значительное финансирование.
Статья в Politico показала, что исследователи RAND сыграли важную роль в формировании указа президента по весам моделей, и организация получила более 15 миллионов долларов от Open Philanthropy — инициативы EA, поддерживаемой соучредителем Facebook Дастином Москвитцем. Примечательно, что генеральный директор RAND Джейсон Мэтини и старший ученый Джефф Алстотт являются признанными эффективными альтруистами с предыдущими связями с администрацией Байдена.
Взгляды сообщества эффективного альтруизма
В ходе нашего дальнейшего разговора Нево отметил, что мощное присутствие сторонников EA в сфере безопасности ИИ не должно удивлять. Исторически EA находилась на переднем крае обсуждений о безопасности ИИ, поэтому любой, кто встречается с этой областью, вероятно, сталкивался с взглядами EA.
Нево также выразил недовольство тоном статьи в Politico, отметив, что она нечестно намекала на неправильные действия, игнорируя длительную роль RAND в предоставлении ценных исследований для законодателей. Он подчеркнул, что ни он, ни его центр не были вовлечены в указ, и положения о безопасности моделей были заранее установленными добровольными обязательствами со стороны Белого дома.
Хотя Центр Мезельсона остается относительно неизвестным, Нево отметил, что он является одним из множества исследовательских центров RAND, фокусирующихся на биомониторинге и пересечении ИИ с биологической безопасностью.
Значение эффективного альтруизма в безопасности ИИ
Действительно ли имеет значение влияние EA? Размышляя о знаменитой фразе Джека Николсона: «Ты нуждаешься во мне на этой стене!», возникает вопрос: если нам нужны преданные своему делу люди в сфере безопасности ИИ, имеет ли значение их идеология?
Для многих, выступающих за прозрачность и эффективную политику в области ИИ, ответ положительный. Как подчеркивается в отчетах Politico о влиянии EA на Вашингтон, эти связи будут значительно формировать будущие политики, регуляции и развитие ИИ.
Американский эксперт по ИИ-политике, с которым я разговаривал, заметил, что многие в области политики упускают из виду потенциальные идеологические повестки в сфере ИИ. К сожалению, они недооценивают их влияние.
Рейтинг
