Protect AI усиливает безопасность LLM через инициативы по приобретению открытого кода.

Обеспечение безопасности рабочих процессов AI и ML: Защита инновационного подхода AI

Обеспечение безопасности рабочих процессов искусственного интеллекта (AI) и машинного обучения (ML) представляет собой многогранную задачу, в которой задействовано множество компонентов. Стартап Protect AI из Сиэтла решает эту проблему благодаря последнему приобретению компании Laiyer AI, ведущего разработчика проекта LLM Guard с открытым исходным кодом. Финансовые детали сделки не разглашаются. Это приобретение усилит платформу Protect AI для более эффективной защиты организаций от потенциальных рисков, связанных с крупными языковыми моделями (LLM).

Radar: Комплексное решение для безопасности AI

Основная коммерческая платформа Protect AI, Radar, предлагает возможности видимости, обнаружения и управления моделями AI/ML. После успешного раунда финансирования серии A на сумму 35 миллионов долларов в июле 2023 года компания стремится расширить свои инициативы в области безопасности AI. Дариан Дехганпишех, президент и основатель Protect AI, заявил: «Мы хотим побудить индустрию принять MLSecOps, что в корне помогает организациям видеть, понимать и управлять рисками и уязвимостями безопасности AI».

Улучшения от LLM Guard и Laiyer AI

Проект LLM Guard, управляемый Laiyer AI, обеспечивает управление операциями LLM. Он включает средства контроля ввода, защищающие от атак с инъекциями команд—растущей угрозы в использовании AI. Кроме того, LLM Guard уменьшает риск утечек личной информации (PII) и токсичного языка. В части вывода он защищает пользователей от различных угроз, включая вредоносные URL-адреса.

Дехганпишех подтвердил приверженность Protect AI к сохранению LLM Guard с открытым исходным кодом, планируя коммерческое предложение Laiyer AI, которое обеспечит улучшенную производительность и функциональность для предприятий.

Более того, Protect AI интегрирует технологии LLM Guard в свою более широкую платформу, обеспечивая защиту на всех этапах разработки и развертывания моделей AI.

Опыт работы с открытым исходным кодом

Эволюция Protect AI от инициатив с открытым исходным кодом к коммерческим продуктам подтверждается её лидерством в проекте ModelScan с открытым исходным кодом, который выявляет риски безопасности в моделях ML. Эта технология лежит в основе недавно анонсированной технологии Guardian от Protect AI, предназначенной для сканирования уязвимостей в моделях ML.

Сканирование моделей на уязвимости сложнее, чем традиционное сканирование вирусов; модели ML не имеют определенных известных уязвимостей для идентификации. «Модель — это самовыполняющийся код», — объяснил Дехганпишех. «Зловредные вызовы могут быть легко встроены, что создает значительные риски». Технология Guardian от Protect AI разработана для выявления таких угроз.

К комплексной платформе безопасности AI

Дехганпишех предполагает, что Protect AI будет развиваться за пределы отдельных продуктов безопасности. В текущей ситуации организации часто используют различные технологии от нескольких поставщиков. Protect AI стремится объединить свои инструменты на платформе Radar, обеспечивая бесшовную интеграцию с существующими системами безопасности, такими как SIEM (Управление информацией и событиями безопасности).

Radar предоставляет всесторонний обзор компонентов внутри модели AI, что является важным для управления и безопасности. С технологией Guardian Protect AI может выявлять потенциальные риски до развертывания, в то время как LLM Guard снижает риски использования. В конечном итоге Protect AI стремится предложить целостное решение для безопасности AI на уровне предприятия, позволяя организациям управлять всеми политиками безопасности AI из единой платформы.

«У вас будет одна политика для безопасности AI в рамках всего предприятия», — заключил Дехганпишех.