마이크로소프트, LLM 안전성과 신뢰성을 높이기 위한 새로운 Azure AI 도구 공개

생성적 AI의 수요가 급증함에 따라, 안전하고 신뢰할 수 있는 배치가 그 어느 때보다 중요해졌습니다. 기업들은 고품질 결과물을 지속적으로 생산하고 잠재적인 함정을 피하는 대규모 언어 모델(LLM) 애플리케이션 개발에 집중하고 있습니다.

이에 따라, 마이크로소프트는 자동 환각 현상과 같은 문제 및 유해하거나 개인 콘텐츠를 생성하도록 모델을 조작하는 공격자인 프롬프트 인젝션과 같은 보안 위협을 해결하기 위해 새로운 Azure AI 도구를 출시했습니다. 이는 마이크로소프트의 AI 이미지 생성기를 사용해 만들어진 딥페이크의 사례에서 볼 수 있습니다.

마이크로소프트의 새로운 기능

현재 미리보기 단계에 있는 이 Azure AI 향상 기능은 향후 몇 개월 내에 널리 배포될 예정이며, 특정 출시 날짜는 아직 공개되지 않았습니다. 프롬프트 인젝션 공격은 악의적인 행위자가 입력 프롬프트를 조작해 정상 모델 작동, 안전 제어 등을 우회할 수 있게 하여 보안을 저해할 수 있습니다. 마이크로소프트는 프롬프트 실드(Prompt Shields)를 Azure AI에 통합하여 직접 상호작용과 악성 웹페이지 사용과 같은 간접 방법 모두를 해결하고 있습니다. 이 고급 기능은 기계 학습(ML) 알고리즘과 자연어 처리를 활용해 프롬프트와 제3자 데이터를 분석하여 악의적인 의도를 차단하고, harmful inputs가 모델에 도달하기 전에 차단합니다.

프롬프트 실드는 마이크로소프트의 세 가지 AI 서비스—Azure OpenAI Service, Azure AI Content Safety, Azure AI Studio—와 함께 작동합니다.

신뢰성 및 안전성 강화

프롬프트 인젝션 공격을 차단하는 것 외에도, 마이크로소프트는 생성적 AI 애플리케이션의 신뢰성을 높이는 데 전념하고 있습니다. 새로운 도구에는 안전 중심의 시스템 메시지를 위한 미리 구축된 템플릿과 'Groundedness Detection'이라는 기능이 포함되어 있습니다. 미리 구축된 템플릿은 개발자가 안전하고 책임감 있으며 데이터 기반의 출력을 촉진하는 시스템 메시지를 작성하는 데 도움을 줍니다. Groundedness Detection은 맞춤형 언어 모델을 통해 생성된 텍스트의 환각이나 부정확성을 식별합니다. 두 기능은 Azure AI Studio와 Azure OpenAI Service에 통합될 것입니다.

또한, Groundedness 지표는 자동 평가와 함께 제공되어, 개발자가 생성적 AI 애플리케이션의 위험 및 안전 문제를 스트레스 테스트할 수 있도록 지원합니다. 이러한 평가는 앱이 악용당하거나 부적절한 콘텐츠를 생성할 가능성을 평가하고, 개발자에게 효과적인 완화 방안을 수립하는 데 도움이 되는 자연어 설명을 제공합니다.

Sarah Bird, 마이크로소프트의 책임 있는 AI 수석 제품 책임자는 많은 조직이 생성적 AI 애플리케이션에 대한 종합적인 스트레스 테스트를 위한 자원이 부족하다고 강조했습니다. jailbreak 공격과 같은 신흥 위험을 반영한 고품질 테스트 데이터 세트를 생성하는 것은 어려운 일이며, 평가 결과 해석도 종종 복잡할 수 있습니다.

생산 애플리케이션에 대한 실시간 모니터링

애플리케이션이 상용화되면, 마이크로소프트는 실시간 모니터링 기능을 제공합니다. 이러한 도구는 프롬프트 실드와 같은 안전 메커니즘을 유발하는 입력 및 출력 상호작용을 추적합니다. Azure OpenAI Service 및 Azure AI Studio를 통해 제공되는 이 모니터링은 차단된 사용자 입력 및 모델 출력을 심각도에 따라 분류하여 자세한 시각화를 제공합니다.

이러한 가시성은 개발자가 유해 요청 경향을 시간 경과에 따라 식별하고, 애플리케이션의 안전성을 높이기 위해 콘텐츠 필터와 제어 기능을 수정할 수 있도록 합니다.

마이크로소프트는 초기에는 OpenAI의 모델에 집중한 후 Mistral과 같은 다른 회사와의 파트너십으로 AI 제공을 강화하고 있습니다. Mustafa Suleyman 및 Inflection AI 팀의 최근 합류는 AI 역량 다각화를 위한 전략적 노력의 일환입니다.

이번 새로운 안전 및 신뢰성 도구를 통해 마이크로소프트는 개발자가 안전한 생성적 AI 애플리케이션을 구축할 수 있도록 지원하며, 빠르게 진화하는 환경에서 필수적으로 요구되는 신뢰할 수 있는 AI 솔루션에 대한 의지를 강화하고 있습니다.