Дополнительно подтверждая уязвимость генеративных моделей ИИ и их платформ, Lasso Security помог компании Hugging Face избежать потенциально катастрофической атаки, выявив 1681 уязвимый токен API. Эти токены были обнаружены в ходе масштабного сканирования репозиториев на GitHub и Hugging Face, проведенного исследователями Lasso.
Расследование выявило несанкционированный доступ к аккаунтам 723 организаций, включая такие крупные компании, как Meta, Microsoft и Google. Из них у 655 пользователей были токены с правами записи, а 77 токенов предоставляли полный контроль над репозиториями нескольких известных компаний. Исследователи Lasso также получили доступ к репозиториям Bloom, Llama 2 и Pythia, что указывает на значительный риск атак на цепочку поставок, способных затронуть миллионы пользователей.
«Наше расследование выявило серьезные нарушения в инфраструктуре цепочки поставок, включая высокопрофильные аккаунты Meta», — заявили исследователи Lasso. «Ситуация крайне серьезна. Обладая контролем над организацией с миллионами загрузок, мы можем манипулировать существующими моделями, превращая их в злонамеренные сущности. Инъекция испорченных моделей может оказать серьезное влияние на миллионы пользователей, которые полагаются на эти технологии для своих приложений».
Hugging Face: первоочередная цель
Hugging Face стал важным ресурсом для организаций, работающих с крупными языковыми моделями (LLM), более 50 000 из которых полагаются на его платформу в своих DevOps-усилиях. Библиотека Transformers содержит более 500 000 ИИ-моделей и 250 000 наборов данных, что делает ее незаменимым ресурсом для разработчиков LLM и команд DevOps.
Быстрый рост платформы в значительной степени объясняется открытым исходным кодом библиотеки Transformers. Сотрудничество и обмен знаниями в этой экосистеме способствуют развитию LLM, увеличивая вероятность успешных развертываний. Это делает Hugging Face привлекательной целью для злоумышленников, стремящихся использовать уязвимости цепочки поставок LLM и генеративного ИИ или извлекать данные для обучения.
Инсайты Lasso Security
В ноябре 2023 года исследователи Lasso изучили безопасность токенов API Hugging Face, стремясь лучше понять потенциальные риски. Они выделили три новых риска, соответствующих OWASP Top 10 для LLM:
1. Уязвимости цепочки поставок: Исследование показало, как небезопасные компоненты могут поставить под угрозу жизненный цикл LLM, открывая систему для атак, особенно через сторонние наборы данных и предобученные модели.
2. Отравление данных для обучения: Злоумышленники могут отравить данные для обучения LLM с помощью скомпрометированных токенов API, вводя уязвимости или этические проблемы, которые могут подорвать безопасность модели.
3. Кража моделей: Скомпрометированные токены API быстро обеспечивают несанкционированный доступ, что упрощает копирование или извлечение собственных моделей LLM. Исследование Lasso указало на потенциальную «кражу» более 10 000 частных моделей, связанных с 2500 наборами данных, что обосновало переименование категории OWASP с «Кража моделей» на «Кража ресурсов ИИ (модели и наборы данных)».
«Ситуация крайне серьезна», — вновь подчеркнула команда Lasso Security. «Обладая контролем над организациями с миллионами загрузок, мы можем манипулировать моделями, создавая значительные риски для пользователей».
Заключение: рассматривайте токены API как идентичности
Риск серьезного нарушения безопасности Hugging Face подчеркивает сложные и изменяющиеся практики, необходимые для защиты платформ LLM и генеративного ИИ. Безопасный исследователь Bar Lanyado из Lasso Security рекомендует: «Hugging Face следует регулярно сканировать на наличие скомпрометированных токенов API и либо аннулировать их, либо уведомлять затронутых пользователей».
Опираясь на подход GitHub, он призывает разработчиков избегать жестко закодированных токенов и применять лучшие практики для предотвращения непреднамеренной утечки данных во время коммитов. Подчеркнув модель нулевого доверия, Hugging Face должен обеспечить уникальность токенов API, использовать многофакторную аутентификацию, а также сосредоточиться на управлении жизненным циклом и автоматизированной проверке идентичности.
В современных условиях нулевого доверия одной лишь бдительности недостаточно. Постоянное управление токенами API имеет решающее значение для безопасности экосистем LLM, поддерживаемых многими ведущими технологическими компаниями. Как показывает инцидент с Hugging Face, внедрение управления постурой и поддержание строгого контроля доступа на уровне токенов API являются важными шагами к укреплению общей безопасности организации. Каждая организация должна принять проактивный подход, чтобы защититься от потенциальных нарушений и укрепить безопасность во всех возможных векторах атаки.
Рейтинг
