Генеративный ИИ и кибербезопасность: Инновационные решения SydeLabs
Генеративный ИИ меняет современный бизнес, но также создает новые векторы атак, которые могут угрожать как организациям, так и их репутации. Калифорнийский стартап SydeLabs решает эту проблему с помощью брандмауэра, основанного на намерениях, работающего в реальном времени. Недавно компания получила 2,5 миллиона долларов США начальных инвестиций от RTP Global, Picus Capital и различных бизнес-ангелов.
На фоне множества участников на рынке ИТ-безопасности, SydeLabs выделяется своей комплексной линией решений, которые помогают разработчикам избегать уязвимостей в крупных языковых моделях (LLM), включая менее известные риски на протяжении всего жизненного цикла проекта — от разработки до развертывания.
Инновационные продукты
SydeLabs разработала три ключевых продукта, ориентированных на ИИ: SydeBox, SydeGuard и SydeComply. SydeBox, в настоящее время находящийся на стадии бета-тестирования, является самостоятельным решением для красной команды, позволяющим командам оценивать свои приложения и модели ИИ на предмет потенциальных уязвимостей. SydeGuard, который скоро будет запущен, обеспечит защиту на основе намерений в реальном времени, а SydeComply решит вопросы соблюдения норм в различных регионах мира.
«Во время бета-тестирования SydeBox мы выявили различные уязвимости, включая утечку тренировочных данных, инъекции команд и обходы безопасности», — отметила Анкита Кумари, соучредитель SydeLabs. «SydeGuard может обнаруживать и предотвращать инъекции команд, атаки на отказ в обслуживании и попытки утечки данных».
Как работает SydeLabs
SydeBox использует ИИ-агента, который инициирует тестовые атаки на основе как внутреннего исследования, так и общедоступных данных, в то время как LLM оценивает успешность атаки, взаимодействуя с целевой системой. В свою очередь, SydeGuard использует собственные модели, которые анализируют запросы пользователей на предмет потенциальных угроз, присваивая риск-рейтинги запросам, сессиям пользователей и самим пользователям.
Вместо немедленного блокирования пользователей, SydeGuard сообщает командам безопасности предприятий, предлагая варианты блокировки, мониторинга или перенаправления угрозы в ловушку, что позволяет командам стратегически решать, как реагировать на потенциальные атаки.
Надежное обнаружение уязвимостей
С момента запуска бета-версии SydeBox 1 марта 2024 года, SydeLabs обнаружила более 10 000 уязвимостей в более чем 50 приложениях и моделях. По мере роста компании, она стремится завершить разработки SydeGuard и SydeComply. В долгосрочной перспективе SydeLabs планирует предоставить решение для красной команды бесплатно предприятиям, сосредоточенным на обнаружении уязвимостей, при этом монетизируя SydeGuard через модель потребления.
Кумари подчеркнула важность точности продукта в сфере кибербезопасности и его способности опережать киберугрозы. «Мы приоритизируем постоянные обновления нашей модели, сосредоточиваясь на новых векторах и методах атак».
Контекст отрасли и конкурентные преимущества
Инвестиции в SydeLabs пришлись на время, когда безопасность приложений генеративного ИИ находится под пристальным вниманием, что подтвердили случаи атак инъекций команд, приводящие к созданию дипфейков с участием знаменитостей. В ответ Microsoft запустила новые инструменты Azure AI, направленные на обнаружение галлюцинаций и предотвращение атак. Конкуренты, такие как Lakera и Prompt Security, работают в области красных команд и предотвращения в реальном времени, однако Кумари утверждает, что продукты SydeLabs демонстрируют превосходную точность и производительность по сравнению с этими инструментами.
SydeLabs продолжает внедрять инновации в сфере кибербезопасности, обеспечивая защиту систем генеративного ИИ от развивающихся угроз.