Развивающаяся драма с руководством OpenAI подчеркивает критическую необходимость интеграции надежной безопасности в процесс разработки моделей GPT. Решение совета директоров уволить генерального директора Сэма Альтмана в пятницу вызвало серьезные опасения по поводу безопасности ИИ, особенно на фоне сообщений о возможных увольнениях среди старших архитекторов, ответственных за защиту этих систем. Эта ситуация усиливает беспокойство среди корпоративных пользователей о рисках, связанных с моделями GPT.
Для обеспечения долговечности и масштабируемости безопасность должна быть встроена в процесс создания ИИ-моделей, что остается нерешенным. Тактические шаги совета против Альтмана, как сообщается, были вызваны его ускоренным фокусом на разработке продукции и бизнеса, возможно, в ущерб обязательствам компании по безопасности.
Это отражает бурную обстановку управления ИИ, при которой советы независимых директоров все чаще стремятся контролировать меры безопасности, часто сталкиваясь с давлением роста. Если соучредитель Илья Сутскевер и поддерживающие его независимые директора смогут выдержать критику со стороны инвесторов и сторонников Альтмана, вот ключевые вопросы безопасности, которые возникли и подчеркивают необходимость ранней интеграции безопасности в жизненный цикл разработки программного обеспечения GPT.
Риски конфиденциальности данных и утечек
Брайан Роеммеле, известный эксперт в области проектирования запросов, недавно выявил уязвимость в моделях GPT OpenAI, позволяющую ChatGPT получать доступ и отображать запросы сессий и загруженные файлы. Он предлагает внести необходимые изменения в запросы GPT для смягчения этих рисков. В марте OpenAI признала и устранила недостаток в открытой библиотеке, который позволял пользователям просматривать истории чатов других активных пользователей. Проблема была связана с базой данных Redis, хранившей информацию о пользователях, что в результате случайно раскрыло платежные данные 1.2% подписчиков ChatGPT Plus в течение девяти часов.
Увеличение случаев манипуляции данными и их неправильного использования
Несмотря на гарантии защитных мер, злоумышленники адаптируют свои тактики для эксплуатации сессий GPT. Исследователи из Университета Брауна обнаружили, что использование малознакомых языков, таких как зулу и гэльский, значительно увеличивает их успех в обходе ограничений. Они достигли 79% успешности в уклонении от охранных механизмов на этих языках по сравнению с менее чем 1% на английском.
Их находки подчеркнули, что перевод небезопасных вводов на языки с низкими ресурсами с использованием таких инструментов, как Google Translate, может эффективно обойти защитные меры, вызывая вредные ответы от GPT-4.
Уязвимость к взлому
Исследования Microsoft показывают, что модели GPT подвержены манипуляциям, часто генерируя предвзятые выходные данные и утечку конфиденциальной информации. Они отметили, что хотя GPT-4 в целом показывает лучшие результаты по сравнению с GPT-3.5 на бенчмарках, он более уязвим к запросам, предназначенным для взлома. Исследователи успешно ввели GPT-4V в заблуждение через сценарные диалоги, выявив значительные эксплуатируемые риски, связанные с мультимодальными большими языковыми моделями (MLLM).
Недавнее исследование показало поразительную эффективность атак в 98.7% с использованием самоослабляющих тактик.
Угрозы безопасности от инъекций мультимодальных запросов
GPT-4V от OpenAI, поддерживающий загрузку изображений, сталкивается с новыми уязвимостями из-за возможных инъекций мультимодальных атак. Встраивая вредоносные скрипты в изображения, противники могут эксплуатировать модель, вызывая несанкционированное выполнение задач. Современные LLM не имеют надежных шагов по очистке данных, что делает их слишком восприимчивыми к любому вводу, как объяснил программист Саймон Уиллиссон.
Непрерывная интеграция безопасности как необходимость
Пока команды спешат выпустить модели GPT следующего поколения, давление для соблюдения сроков часто затмевает безопасность. Важно внедрить автоматизированные протоколы безопасности с самых ранних этапов разработки. Целью должно стать повышение скорости развертывания кода при снижении рисков безопасности и улучшении общего качества кода. Безопасность должна стать неотъемлемой частью жизненного цикла разработки программного обеспечения (SDLC), наряду с адаптированными метриками и рабочими процессами, чтобы решить уникальные задачи GPT и LML.
Команды DevOps с высокими показателями показывают, что интеграция безопасности на ранних этапах проектирования позволяет быстрее разрабатывать и улучшает качество программного обеспечения. Более тесное сотрудничество между командами DevOps и безопасностью имеет решающее значение для формирования совместной ответственности за скорость развертывания, качество программного обеспечения и метрики безопасности — ключевые показатели производительности для обеих команд.
Рейтинг
