보고서, AI 거버넌스 도구의 일반적인 결함 밝혀: 많은 도구에 비효율적인 AI 수정 포함

최근 세계 프라이버시 포럼의 보고서에서는 정부와 다자기구가 사용하는 AI 거버넌스 도구에 대한 중요한 인사이트가 드러났습니다. 18개 도구를 검토한 결과, 이들 중 3분의 1 이상(38%)이 "결함 있는 수정"을 포함하고 있었습니다. 공정성과 설명 가능성을 평가하기 위해 설계된 이러한 도구들은 종종 필수적인 품질 보증 메커니즘이 부족하거나 원래 맥락에서 부적합한 측정 방법을 사용하고 있었습니다.

이러한 도구의 많은 부분은 Microsoft, IBM, Google과 같은 주요 기술 회사가 개발했으며, 이들은 자신들이 평가하는 AI 시스템도 생성합니다. 보고서는 특히 IBM의 AI Fairness 360 도구를 강조하며, 미국 정부 회계 감사원이 AI에 윤리적 원칙을 통합한 것으로 이 도구를 인정한 사례를 소개합니다. 하지만 이 도구의 "상이한 영향 제거 알고리즘"에 대한 기초 연구는 학계에서 강한 비판을 받고 있습니다.

세계 프라이버시 포럼의 창립자이자 전무이사인 팸 딕슨은 "현재 사용되고 있는 대부분의 AI 거버넌스 도구는 적절한 기준 없이 운영되고 있다"고 말했습니다. 그녀는 정립된 품질 보증 요구 사항의 부재가 중요한 문제라고 지적했습니다. 특정 맥락을 위해 설계된 도구가 잘못 적용될 경우, "비표준" 사용으로 이어져 예기치 않은 결과를 초래할 수 있습니다.

보고서는 AI 거버넌스 도구를 포괄성, 공정성, 설명 가능성, 프라이버시, 안전성을 평가하고 측정하는 메커니즘으로 정의합니다. 이 도구들이 규제 기관과 대중에게 안심을 제공할 수 있지만, 의도치 않게 잘못된 안도감을 조성하고, 예상치 못한 문제를 일으키며, AI 기술의 잠재력을 저해할 수 있습니다.

EU AI 법이 최근 통과되고 바이든 대통령의 AI 행정명령이 시행되면서 AI 거버넌스 환경을 강화할 수 있는 시의적절한 기회가 존재한다고 케이트 케이, 세계 프라이버시 포럼 부국장은 언급했습니다. 그녀는 "몇 가지 결함을 발견했지만, AI 거버넌스 생태계 개선의 큰 가능성이 존재한다"고 밝혔습니다. "이 도구들은 정부가 AI 정책을 시행하는 방식을 보여주며, 향후 법규를 실행하는 데 중요한 역할을 할 것입니다."

케이는 또한 좋은 의도조차도 나쁜 결과를 초래할 수 있는 예로 미국 고용법의 80% 규칙이 전 세계적으로 AI 거버넌스 도구에서 잘못 적용되고 있다고 경고했습니다. 이 규칙은 선택 과정이 특정 그룹에 불리한 영향을 미치는지를 평가하지만, 고용과 무관한 맥락에 추상화되어 부적절한 적용을 초래하고 있습니다.

AI 규제 수립 압박 속에서 케이는 결함 있는 방법론을 정책에 통합하는 것에 대한 경계를 나타냈습니다. 그녀는 서두른 시행을 통해 기존 문제를 지속시킬 위험성을 강조했습니다.

2024년을 바라보며 딕슨과 케이는 AI 거버넌스 도구의 발전에 대해 긍정적으로 전망하고 있습니다. 딕슨은 경제협력개발기구(OECD)가 이러한 도구 개선을 위해 협력하고자하는 의지를 보여주며 긍정적인 방향을 시사한다고 언급했습니다. 미국 국가표준기술연구소(NIST)도 근거 기반의 엄격한 기준 개발에 관심을 표명했습니다. 이들은 집중적인 노력을 통해 AI 거버넌스 환경의 의미 있는 개선이 6개월 내에 이루어질 수 있다고 믿고 있습니다.