В прошлом месяце я исследовал всё более тесное пересечение между движением эффективного альтруизма (EA) и политикой безопасности ИИ, связывая влияние таких стартапов, как Anthropic, с аналитическими центрами Вашингтона, такими как RAND Corporation. Эта растущая сеть объединяет миссию EA, направленную на решение катастрофических рисков, связанных с будущим искусственным общим интеллектом (AGI), с различными государственными учреждениями, аналитическими центрами и конгрессом.
Критики утверждают, что акцент EA на экзистенциальных рисках отвлекает от решения непосредственных и реальных угроз ИИ, таких как предвзятость, дезинформация и традиционные киберугрозы. С тех пор я искал мнения у лидеров ИИ и политики, не связанных с эффективным альтруизмом или его противоположностью — эффективным акселерационизмом (е/ас). Рассматривают ли другие компании риски, связанные с возможным попаданием весов крупных языковых моделей (LLM), в руки злоумышленников? Понимают ли политики в Вашингтоне влияние EA на инициативы по безопасности ИИ?
Этот вопрос становится особенно актуальным, поскольку Anthropic публикует новое исследование о "спящих агентах" — моделях ИИ, которые обходят протоколы безопасности, а Конгресс выражает обеспокоенность возможным сотрудничеством между Национальным институтом стандартов и технологий (NIST) и RAND. Более того, недавние заголовки привлекают внимание к EA в связи с противоречивым увольнением генерального директора OpenAI Сэма Альтмана, поскольку члены совета некоммерческой организации, участвовавшие в этом решении, в основном были связаны с EA.
За прошлый месяц я выяснил сложную смесь мнений. Хотя существует значительная озабоченность по поводу идеологии EA, поддерживаемой миллиардерами, и её влияния на дискурс безопасности ИИ в Вашингтоне, некоторые признают важность обсуждения долгосрочных рисков ИИ в рамках политики.
Эффективный альтруизм и предотвращение катастроф в области ИИ
Изначально основанное на принципах улучшения глобального благосостояния, движение EA сейчас в первую очередь финансируется технологическими миллиардерами, приоритетом которых является смягчение последствий, связанных с катастрофами ИИ, особенно в биобезопасности. В своей предыдущей статье я высветил беспокойства, высказанные Джейсоном Клинтоном, CISO Anthropic, и исследователями RAND о безопасности весов моделей LLM против угроз со стороны рецидивистов и государственных акторов.
Клинтон отметил, что защита весов модели Claude, LLM Anthropic, является его главной заботой. Он предупредил, что если злоумышленники получат доступ к полному файлу модели, это может создать значительную угрозу. Исследователь RAND Селла Нево прогнозирует, что в течение двух лет модели ИИ могут стать актуальными для национальной безопасности, особенно в отношении их потенциального злоупотребления недобросовестными акторами.
Все трое, с кем я общался, имеют связи с сообществом EA, включая Джейсона Мэтини, CEO RAND, который ранее сотрудничал с Долговременным благотворительным фондом Anthropic. Я побуждён глубже исследовать растущее влияние EA благодаря отчетам Брендана Борделона, который назвал проникновение финансируемых EA участников в политику Вашингтона "эпическим проникновением". Как утверждает Борделон, преданная фракция сторонников эффективного альтруизма значительно формирует подходы к управлению ИИ.
Ответ Cohere на беспокойства EA
Я поговорил с Ником Фросстом, сооснователем Cohere — конкурента Anthropic и OpenAI, который не согласен с тем, что большие языковые модели представляют экзистенциальную угрозу. Он отметил, что хотя Cohere защищает свои веса моделей, главная забота заключается в бизнесе, а не в экзистенциальных рисках. Фросст подчеркнул философское различие, утверждая: "Я думаю, что в конечном итоге мы можем разработать настоящий искусственный общий интеллект, но я не верю, что это произойдет в ближайшее время". Он критиковал EA за самодовольство по поводу рисков ИИ и ставил под сомнение её моральные принципы в отношении накопления богатства.
AI21 Labs о безопасности весов моделей
Йоав Шохам, сооснователь AI21 Labs, также конкурента в области ИИ, высказал схожие мысли, подчеркнув, что, хотя они защищают свои веса моделей по причинам коммерческой тайны, эти веса не являются основным инструментом для злоумышленников. Он указал на то, что в современном геополитическом ландшафте ИИ большинство проблем нельзя решить исключительно с помощью политики.
Шохам уточнил, что AI21 Labs не принадлежит к движению EA и видит сочетание ответственного использования ИИ с необоснованными страхами внутри этого движения.
Критика взглядов EA в RAND
На фоне критики в адрес RAND за его связи с EA некоторые исследователи внутри организации оспаривают основные идеологии движения. Марек Позард, социолог RAND, отметил, что философские дебаты вокруг ИИ, включая те, что инициированы сторонниками EA и е/ас, отвлекают от актуальных политических вопросов ИИ. Он заявил, что, хотя разнообразные точки зрения приветствуются в RAND, акцент должен оставаться на решении реальных проблем, а не на идеологических баталиях по управлению ИИ.
Решение современных рисков в области кибербезопасности
Хотя области безопасности ИИ и традиционной кибербезопасности пересекаются, традиционная кибербезопасность больше сосредоточена на современных рисках. Дэн деБобьен, руководитель исследований ИИ в SANS Institute, признал влияние движения EA, но подчеркнул важность понимания текущих угроз, связанных с LLM, а не экзистенциальных рисков.
Сосуществование с дискурсами EA в Вашингтоне
Некоторые политические деятели признают влияние EA на безопасность ИИ, но предпочитают сосуществовать с его принципами, а не открыто им противостоять. Марк Билл, бывший руководитель политики ИИ в Министерстве обороны США, подчеркнул важность установленных мер безопасности, а не бездумной скорости, поощряемой в технологической культуре. Обращая внимание на свою работу в Пентагоне по ответственной политике в области ИИ, Билл опроверг утверждения о том, что чиновники в Вашингтоне не осведомлены о рисках ИИ, утверждая, что они придавали безопасность приоритетное значение задолго до появления эффективных альтруистов на политической арене.
Проблема "неконтролируемого ИИ"
Иэн Брэммер, президент Eurasia Group, недавно указал на "неконтролируемый ИИ" как на один из главных геополитических рисков 2024 года, выделив конкретные угрозы, такие как дезинформация на выборах. Он признал, что существует ценная дискуссия о безопасности весов моделей, но раскритиковал движение EA за преуменьшение других рисков, фокусируясь исключительно на катастрофических последствиях. В заключение Брэммер отметил, что рассмотрение рисков как экзистенциальных может затмить насущные проблемы, подрывая всесторонний дискурс, необходимый для эффективного управления ИИ.
Рейтинг
