С ростом спроса на генеративный ИИ, обеспечение его безопасного и надежного развертывания становится более важным, чем когда-либо. Предприятия стремятся разрабатывать приложения на основе крупных языковых моделей (LLM), которые постоянно обеспечивают высококачественные результаты, избегая возможных проблем.
В ответ на эти вызовы Microsoft представила новые инструменты Azure AI, предназначенные для борьбы с такими проблемами, как автоматические галлюцинации — распространенное явление в генеративном ИИ — и угрозами безопасности, такими как инъекция запросов, когда злоумышленники манипулируют моделью для генерации вредоносного или личного контента, например, дипфейков, созданных с помощью генератора изображений Microsoft.
Ключевые особенности новых предложений от Microsoft
В настоящее время эти улучшения в Azure AI находятся на этапе предварительного просмотра и ожидаются для широкой доступности в ближайшие месяцы, хотя конкретная дата выпуска пока не определена.
Атаки инъекций запросов могут подорвать безопасность, позволяя злонамеренным пользователям изменять входные запросы для обхода нормальных операций модели, включая меры по обеспечению безопасности. Microsoft решает проблемы как прямых взаимодействий, так и косвенных методов, таких как использование вредоносных веб-страниц, интегрируя технологию Prompt Shields в Azure AI. Эта передовая функция использует алгоритмы машинного обучения и обработку естественного языка для анализа запросов и сторонних данных на предмет наличия вредоносного намерения, блокируя опасные входные данные еще до их поступления в модель.
Prompt Shields будут совместимы с тремя предложениями ИИ от Microsoft: Azure OpenAI Service, Azure AI Content Safety и Azure AI Studio.
Увеличение надежности и безопасности
Кроме блокировки атак инъекций запросов, Microsoft стремится повысить надежность приложений генеративного ИИ. Новые инструменты включают предварительно подготовленные шаблоны для системных сообщений, ориентированных на безопасность, и функцию под названием «Обнаружение привязанности» (Groundedness Detection).
Предварительно подготовленные шаблоны помогают разработчикам создавать системные сообщения, которые способствуют безопасным, ответственным и основанным на данных результатам. Обнаружение привязанности использует настроенную пользовательскую языковую модель для выявления галлюцинаций или неточностей в сгенерированном тексте. Обе функции будут интегрированы в Azure AI Studio и Azure OpenAI Service.
Кроме того, метрика привязанности будет сопровождаться автоматизированными оценками, позволяя разработчикам тестировать приложения генеративного ИИ на предмет рисков и вопросов безопасности. Эти оценки анализируют вероятность эксплуатации приложения и генерации неподобающего контента, предоставляя объяснения на естественном языке, которые помогут разработчикам разработать эффективные меры по смягчению рисков.
Сара Бёрд, директор по продуктам ответственного ИИ в Microsoft, подчеркнула, что многие организации не обладают ресурсами для комплексного стресс-тестирования приложений генеративного ИИ. Создание высококачественных тестовых наборов данных, отражающих новые риски, такие как jailbreak-атаки, сложно, а интерпретация результатов оценок часто бывает сложной.
Мониторинг в реальном времени для рабочих приложений
После развертывания приложений Microsoft предложит функции мониторинга в реальном времени. Эти инструменты будут отслеживать входные и выходные взаимодействия, которые активируют механизмы безопасности, такие как Prompt Shields. Доступный через Azure OpenAI Service и Azure AI Studio, этот мониторинг предоставляет подробные визуализации заблокированных пользовательских запросов и выходных данных модели, классифицированных по степени серьезности.
Такая прозрачность позволяет разработчикам выявлять harmful request trends со временем, что дает возможность улучшать фильтры контента и меры контроля для повышения безопасности приложения.
Microsoft продолжает улучшать свои предложения в области ИИ, первоначально сосредоточившись на моделях OpenAI, перед расширением сотрудничества с другими компаниями, такими как Mistral. Недавнее присоединение Мустафы Сулеймана и команды Inflection AI представляет собой стратегическую попытку диверсифицировать свои возможности в области ИИ.
С этими новыми инструментами безопасности и надежности Microsoft стремится empower developers создавать безопасные приложения генеративного ИИ, укрепляя свое обязательство к надежным ИИ-решениям, что является важным требованием для предприятий, ориентирующихся в этом быстро меняющемся ландшафте.
Рейтинг
