隨著生成式 AI 需求的急劇上升，確保其安全和可靠的部署變得尤為重要。企業希望開發大型語言模型（LLM）應用程序，持續輸出高質量的結果，同時避免潛在的陷阱。
為此，微軟推出了新的 Azure AI 工具，旨在應對自動幻覺—這是生成式 AI 常見的問題—以及安全威脅，例如提示注入，攻擊者利用此手段操控模型生成有害或個人內容，正如使用微軟 AI 圖像生成器創建的深偽影像。
微軟新產品的關鍵特徵
目前這些 Azure AI 的增強功能處於預覽階段，預計在未來幾個月內廣泛推出，雖然具體的發布日期尚未公佈。提示注入攻擊可以通過允許惡意行為者修改輸入提示來繞過正常的模型操作，包括安全控制。微軟通過將提示防護功能整合進 Azure AI，針對直接互動和間接方法（如惡意網頁）都有所考量。這一進階功能利用機器學習（ML）算法和自然語言處理技術，分析提示和第三方數據的惡意意圖，在有害輸入抵達模型之前將其阻擋。
提示防護將與微軟的三個 AI 產品協同工作：Azure OpenAI 服務、Azure AI 內容安全及 Azure AI Studio。
增強可靠性和安全性
除了阻擋提示注入攻擊，微軟還致力於提升生成式 AI 應用的可靠性。新工具包括針對安全的系統消息預構建模板以及名為“質性檢測”（Groundedness Detection）的功能。這些預構建模板幫助開發者建立促進安全、負責任和數據驅動的輸出系統消息。質性檢測使用微調的自定義語言模型來識別生成文本中的幻覺或不準確之處。這兩項功能將整合進 Azure AI Studio 和 Azure OpenAI 服務中。
此外，質性指標將提供自動評估，幫助開發者對生成式 AI 應用進行風險和安全性的壓力測試。這些評估會評估應用被利用和生成不當內容的可能性，並提供自然語言解釋，以協助開發者制定有效的對策。
微軟負責任 AI 部門的首席產品官 Sarah Bird 強調，許多組織缺乏全面的生成式 AI 應用的壓力測試資源。創建高質量的測試數據集以反映新興風險（例如越獄攻擊）是非常具有挑戰性的，解釋評估結果往往也相當複雜。
生產應用的實時監控
一旦應用進入生產階段，微軟將提供實時監控功能。這些工具將追蹤觸發安全機制（如提示防護）的輸入和輸出交互。通過 Azure OpenAI 服務和 Azure AI Studio 提供的監控，將詳盡可視化被阻擋的用戶輸入和模型輸出，並按嚴重程度進行分類。
這種可見性使開發者能夠隨時間識別有害請求的趨勢，從而優化內容過濾器和控制，提升應用安全性。
微軟一直在增強其 AI 產品，最初專注於 OpenAI 的模型，隨後擴展到與其他公司如 Mistral 的合作。近期引入的 Mustafa Suleyman 和 Inflection AI 團隊，標誌著其多樣化 AI 能力的戰略努力。
通過這些新安全性和可靠性工具，微軟旨在賦能開發者構建安全的生成式 AI 應用，強化其對可信 AI 解決方案的承諾，這對於在迅速變化的市場中尋求成功的企業而言至關重要。
排行榜
