Как облачные платформы быстро эволюционировали, чтобы обеспечить вычислительную инфраструктуру для предприятий, Menlo Ventures видит аналогичное развитие современного стека AI, обладающего огромным потенциалом создания ценности, сопоставимым с публичными облачными платформами. Венчурная компания подчеркивает, что базовые модели AI, которые сейчас используются, напоминают ранние дни публичных облачных услуг. Нахождение правильного баланса между AI и безопасностью критично для того, чтобы развивающийся рынок смог реализовать свой потенциал.
В последнем блоге Menlo Ventures, «Часть 1: Безопасность для AI: новая волна стартапов, стремящихся обезопасить AI-стек», подробно рассматривается, как пересечение AI и безопасности может способствовать новому росту рынка.
«Я провожу аналогию: эти базовые модели очень похожи на публичные облака, которые мы знаем сегодня, такие как AWS и Azure. Однако 12–15 лет назад, когда начинался этот слой инфраструктуры как услуги, мы стали свидетелями огромного создания ценности, как только была установлена новая основа», — объясняет Рама Секхар, партнер Menlo Ventures, специализирующийся на кибербезопасности, AI и облачной инфраструктуре.
Секхар добавляет: «Мы считаем, что что-то подобное на горизонте; провайдеры моделей являются основой инфраструктурного стека».
Решение проблем безопасности для ускорения роста генеративного AI
В интервью Секхар и Фейза Хаскараман, главный специалист Menlo Ventures в области кибербезопасности, SaaS, цепочек поставок и автоматизации, подчеркнули, что модели AI являются центральными в новом современном стекe AI. Этот стек зависит от постоянного потока чувствительных данных предприятий для самообучения. Они отметили, что рост AI приводит к экспоненциальному увеличению уязвимостей, при этом большие языковые модели (LLM) становятся основной целью.
Защита LLM с использованием существующих инструментов оказывается сложной задачей, создавая разрыв доверия в компаниях и препятствуя принятию генеративного AI. Этот разрыв возникает из-за несоответствия между ажиотажем вокруг генеративного AI и его фактической реализацией. Между тем, злоумышленники все активнее используют AI-т techniques, что усиливает опасения компаний по поводу потери конкурентоспособности в AI.
Чтобы раскрыть истинный рыночный потенциал генеративного AI, Секхар и Хаскараман считают необходимым решать проблемы безопасности. В опросе Menlo Ventures были выявлены три основных барьера для принятия генеративного AI: неопределенная доходность инвестиций, проблемы конфиденциальности данных и заблуждение о том, что использовать корпоративные данные с AI сложно.
Улучшение безопасности для AI может помочь снизить опасения по поводу конфиденциальности данных, а также решить два других упомянутых барьера. Они подчеркнули, что модели OpenAI недавно стали жертвами кибератак, включая атаку DoS в прошлом ноябре, которая затронула их API и услуги ChatGPT, приведя к многочисленным сбоям.
Управление, наблюдаемость и безопасность: необходимые основы
Menlo Ventures утверждает, что управление, наблюдаемость и безопасность являются основополагающими элементами, необходимыми для масштабирования безопасности AI. Эти компоненты образуют основу их рыночной карты.
Инструменты управления быстро развиваются. СМИ сообщают о резком увеличении числа стартапов в области управления и соблюдения норм на основе AI, особенно облачных решений, которые предлагают преимущества по времени выхода на рынок и глобальной масштабируемости. Инструменты, такие как Credo и Cranium, помогают компаниям отслеживать свои AI услуги, оценивать риски безопасности и гарантировать полное понимание использования AI в организации — все это критически важно для защиты и мониторинга LLM.
Инструменты наблюдаемости необходимы для мониторинга моделей и агрегации журналов по доступу, входным и выходным данным, что помогает выявлять злоупотребления и обеспечивает полную аудируемость. Menlo Ventures указывает на стартапы, такие как Helicone и CalypsoAI, как ключевых игроков, решающих эти задачи в стеке решений.
Решения по безопасности сосредоточены на установлении доверительных границ. Секхар и Хаскараман выступают за строгий контроль в отношении использования моделей, как внутри, так и за пределами компании. Menlo Ventures особенно интересуют провайдеры AI-файрволов, такие как Robust Intelligence и Prompt Security, которые валидируют входящие и исходящие данные, защищают от инъекций подсказок и выявляют личную идентифицируемую информацию (PII). Компании, такие как Private AI и Nightfall, специализируются на выявлении и редактировании чувствительных данных, в то время как такие фирмы, как Lakera и Adversa, стремятся автоматизировать тестирование на уязвимости для проверки надежности мер безопасности. Решения для обнаружения угроз, такие как Hiddenlayer и Lasso Security, также имеют решающее значение для мониторинга LLM на предмет подозрительного поведения. Кроме того, решения как DynamoFL и FedML для федеративного обучения, Tonic и Gretel для создания синтетических данных, а также Private AI или Kobalt Labs для выявления чувствительной информации являются неотъемлемыми элементами карты рынка безопасности для AI, представленной ниже.
Приоритизация безопасности для AI в DevOps
С учетом того, что значительная часть бизнес-приложений использует решения с открытым исходным кодом, обеспечение безопасности цепочек поставок программного обеспечения — еще одна область, где Menlo Ventures стремится сократить разрыв доверия.
Секхар и Хаскараман утверждают, что безопасность AI должна быть встроена в процесс DevOps, обеспечивая её основополагающее значение для архитектуры бизнес-приложений. Они подчеркнули, что внедрение безопасности для AI должно быть столь масштабным, чтобы его защитная ценность способствовала устранению текущего разрыва доверия, тем самым облегчая более широкое принятие генеративного AI.
Рейтинг
