Концепция тонкой настройки цифровых атак с использованием spearphishing, нацеленных на членов Парламента Великобритании с помощью крупных языковых моделей (LLM), может показаться ошибочно фантастической, однако она стала реальностью благодаря исследованиям Джулиана Гейзела из Оксфордского университета.
Работа Гейзела подчеркивает значительное развитие киберугроз: мы вступили в эпоху, когда LLM начинают использовать в преступных целях. Демонстрируя, как LLM, такие как ChatGPT-3, GPT-3.5 и GPT-4, способны генерировать контекстуально релевантные сообщения spearphishing, Гейзел раскрывает их тревожные возможности персонализации, позволяя злоумышленникам быстро адаптировать свои тактики до тех пор, пока не получат ответ.
В своей статье, опубликованной в мае 2023 года в открытом журнале arXiv, Гейзел отметил: «Эти сообщения не только реалистичны, но и имеют низкую стоимость, так как каждое сообщение стоит всего доли цента». Эта работа с тех пор привлекла внимание, её цитировали в более чем 23 других исследованиях, что указывает на растущую озабоченность в научном сообществе.
Последствия очевидны: злоумышленники, киберпреступники и команды государств теперь могут тонко настраивать LLM для достижения своих экономических и социальных целей. Появление инструментов, таких как FraudGPT, демонстрирует потенциал LLM к быстрому злоупотреблению, с исследованиями, показывающими, что модели, такие как GPT-4 и Llama 2, все чаще подвергаются еще большей «военизации».
Это быстрое развитие является критическим сигналом о необходимости усилить меры безопасности генеративного ИИ. Недавние перипетии в OpenAI подчеркивают необходимость более безопасной работы моделей на протяжении всего жизненного цикла разработки (SDLC). Инициативы, такие как Purple Llama от Meta, способствуют сотрудничеству в безопасном развитии генеративного ИИ, подчеркивая актуальность для поставщиков LLM решать уязвимости, которые могут привести к разрушительным атакам.
Пути доступа к «военизированным» LLM
LLM, обладая невероятной универсальностью, представляют собой двусторонний меч для кибербезопасности. Организациям необходимо готовиться к этим emerging threats. Исследования, такие как «BadLlama: Устранение Блокировок Безопасности из Llama 2-Chat 13B», показывают, как легко можно превратить LLM в оружие, угрожая безопасности, установленной такими организациями, как Meta. Команда BadLlama пришла к выводу, что публичный доступ к весам модели позволяет злонамеренным актерам обходить эти меры безопасности с минимальными затратами.
Джерих Бисон, главный по информационной безопасности WM Environmental Services, подчеркивает важность обеспечения безопасности генеративного ИИ. Его курс на LinkedIn Learning «Защита использования генеративного ИИ в вашей организации» предлагает идеи по безопасному использованию генеративного ИИ и минимизации угроз. Бисон предупреждает, что игнорирование безопасности может привести к нарушениям норм, юридическим проблемам и значительному ущербу репутации бренда.
Распространенные тактики «военизации» LLM
LLM всё чаще используются злонамеренными актерами для различных целей, от киберпреступности до дезинформации. Ключевые методы «военизации» включают:
- Взлом и обратная разработка: Исследования показывают, как злоумышленники могут нейтрализовать средства безопасности LLM, делая их уязвимыми.
- Фишинг и социальная инженерия: Быстрые симуляции кампаний spearphishing подчеркивают легкость достижения целей.
- Захват бренда и дезинформация: LLM могут манипулировать общественным мнением и подрывать демократические процессы.
- Разработка биологического оружия: Исследования показывают, как LLM могут демократизировать доступ к двуходовым биотехнологиям.
- Кибершпионаж и кража интеллектуальной собственности: Злоумышленники используют LLM для выдачи себя за руководителей и получения конфиденциальной информации.
- Правовые и этические последствия: Проблемы, связанные с обучающими данными и возможной «военизацией» украденных LLM, подчеркивают юридическую сложность, с которой сталкиваются организации.
Противодействие угрозе «военизированных» LLM
Для решения растущих рисков, связанных с LLM, разработаны три ключевые стратегии:
1. Раннее согласование безопасности в SDLC: Организациям необходимо принимать проактивный подход, включая всесторонние меры безопасности с самого начала.
2. Улучшенное мониторинг и фильтрация: Непрерывный мониторинг взаимодействий LLM необходим для предотвращения утечек конфиденциальных данных.
3. Сотрудничество в стандартизации разработки LLM: Инициативы, такие как Purple Llama от Meta, подчеркивают важность отраслевого сотрудничества для разработки и внедрения более строгих мер безопасности.
Понимая и решая эти вызовы, организации смогут лучше подготовиться к последствиям «военизированных» LLM и повысить свою кибербезопасность в постоянно меняющемся ландшафте.
Рейтинг
