OpenAI и Anthropic сотрудничают для передачи моделей ИИ Институту безопасности ИИ США с целью повышения безопасности и контроля.

OpenAI и Anthropic заключили важное соглашение о совместном использовании своих моделей ИИ — как до, так и после их публичного релиза — с недавно созданным Институтом безопасности ИИ США. Этот институт был основан по указу президента Байдена в 2023 году и будет предоставлять критически важную обратную связь по безопасности для улучшения моделей компаний. Генеральный директор OpenAI Сэм Альтман намекнул на это сотрудничество ранее в этом месяце.

Хотя Институт безопасности ИИ США не упомянул о других компаниях в области ИИ, представитель Google сообщил, что компания ведет переговоры с агентством и предоставит дополнительные детали в нужное время. Стоит отметить, что Google начала выпуск обновлений для своих чат-ботов и генераторов изображений в рамках программы Gemini.

"Безопасность необходима для продвижения прорывных технологических инноваций. Благодаря этим соглашениям мы надеемся на техническое сотрудничество с Anthropic и OpenAI для повышения безопасности ИИ", — заявила Элизабет Келли, директор Института безопасности ИИ США. "Эти соглашения — всего лишь начало наших усилий по ответственному направлению будущего ИИ."

Институт безопасности ИИ США функционирует в рамках Национального института стандартов и технологий (NIST) и отвечает за создание рекомендаций, эталонных тестов и лучших практик для оценки потенциально опасных систем ИИ. Вице-президент Камала Харрис в конце 2023 года подчеркнула двойственный характер воздействия ИИ, выделив его потенциал для значительных достижений и серьезных рисков, включая кибератаки и биологическое оружие.

Это прорывное соглашение формализовано через необязательный Меморандум о взаимопонимании, позволяющий Институту доступа к основным новым моделям каждой компании как до, так и после их публичного релиза. Институт безопасности ИИ США охарактеризовал эти соглашения как совместные исследовательские усилия, сосредоточенные на оценке возможностей и обеспечении безопасности. Кроме того, он будет сотрудничать с Институтом безопасности ИИ Великобритании.

В то время как федеральные и государственные регуляторы стремятся установить меры безопасности ИИ, законодательное собрание штата Калифорния недавно приняло законопроект о безопасности ИИ (SB 10147). Этот законопроект обязывает проводить тесты на безопасность для моделей ИИ, разработка которых стоит более 100 миллионов долларов или требует значительной вычислительной мощности. Он также требует от разработчиков ИИ внедрения "аварийных выключателей" для отключения моделей, которые становятся "неуправляемыми или неконтролируемыми."

В отличие от добровольного соглашения с федеральным правительством, законопроект Калифорнии включает обязательные положения, позволяющие генеральному прокурору штата принимать юридические меры против несоответствующих требованиям разработчиков ИИ, особенно в критических ситуациях. Законопроект ожидает последнего голосования и подписи губернатора Гэвина Ньюсома, который должен утвердить его до 30 сентября.