報告揭示人工智慧治理工具的常見缺陷:許多工具包含無效的AI修正措施

最近,世界隱私論壇發表了一份報告,揭示了政府和多邊組織所使用的人工智慧(AI)治理工具的關鍵洞察。對18種這類工具的評估顯示,超過三分之一(38%)存在「錯誤修正」。這些旨在評估AI系統的公平性與可解釋性的工具,通常缺乏基本的質量保證機制,或使用的測量方法被認為不適用於其原始背景之外的場景。

許多這些工具是由主要科技公司開發的,如Microsoft、IBM和Google,這些公司同時也是所評估AI系統的創建者。例如,報告提到IBM的AI Fairness 360工具,該工具已獲得美國政府問責辦公室的支持,因為它在AI中融入了倫理原則。然而,其「不平等影響移除演算法」的基礎研究在學術界遭到強烈批評。

世界隱私論壇創始人兼執行董事帕姆·迪克森表示:「目前使用的大多數AI治理工具並未遵循適當標準。」她指出,缺乏既定的質量保證要求是一個重大問題。針對特定情境設計的工具可能被不當應用,導致「越界」使用,進而引發意想不到的後果。

報告將AI治理工具定義為評估和測量AI系統各方面的機制,包括包容性、公平性、可解釋性、隱私和安全性。雖然這些工具可能為監管者和公眾提供信心,但它們也可能不經意間產生虛假的安全感,觸發無意的問題,並削弱AI技術的潛力。

隨著歐盟AI法案的通過和拜登總統的AI行政命令,世界隱私論壇的副主任凱特·凱伊指出,這是一個提升AI治理格局的良好機會。「儘管我們已經識別出一些缺陷,但AI治理生態系統中仍有很大的改善潛力,」她表示。「這些工具體現了政府在制定AI政策方面的努力,並將在未來的法律和規範實施中發揮關鍵作用。」

凱伊還舉例說明良好意圖如何導致不良結果:美國就業法中的80%法則在全球范围内的AI治理工具中被錯誤應用。該規則評估選擇過程是否對特定群體造成不利影響,但它被抽象化至與就業無關的情境,導致不當應用。

面對建立AI規範的壓力,凱伊警告不要將有缺陷的方法論嵌入政策中。她強調,匆忙實施會延續現有問題的風險。

展望2024年,迪克森和凱伊對AI治理工具的進步持樂觀態度。迪克森指出,經濟合作與發展組織(OECD)渴望合作以改善這些工具,這顯示出積極的發展方向。國家標準與技術研究所(NIST)也表達出基於證據制定嚴謹標準的興趣。他們相信,透過專注的努力,AI治理格局在六個月內可以實現有意義的改善。

Most people like

Find AI tools in YBX