이해 가능한 설명: AI 안전성 테스트 강화를 위한 임상 시험 원칙 활용

소비자 중심 비즈니스에서 AI의 부상은 장기적인 거버넌스에 대한 우려와 함께 진행되고 있습니다. 효과적인 AI 규제의 필요성이 강조되는 배경에는 바이든 행정부의 최근 행정명령이 있습니다. 이 명령은 고급 AI 시스템의 개발과 배치에 대한 새로운 프로토콜을 의무화합니다.

현재 AI 제공업체와 규제 기관은 AI 거버넌스의 핵심 요소로 설명 가능성을 강조하고 있습니다. 이는 AI 시스템의 영향을 받는 사람들이 이러한 기술이 만들어낸 결과를 이해하고 도전할 수 있도록 합니다. 간단한 알고리즘, 예를 들어 자동차 대출 승인에 사용되는 알고리즘은 쉽게 설명할 수 있지만, 최신 AI 기술은 복잡한 알고리즘을 포함하고 있어 해석이 어려울 수 있지만 상당한 이점을 제공합니다. 예를 들어, OpenAI의 GPT-4는 방대한 데이터셋과 수십억 개의 매개변수로 인간과 유사한 대화를 생성하여 여러 산업을 혁신하고 있습니다. 비슷하게, Google DeepMind의 암 스크리닝 모델은 딥러닝을 활용하여 생명을 구할 수 있는 정확한 질병 탐지를 제공합니다.

이러한 복잡한 모델은 의사 결정 과정을 불투명하게 만들어, 중요한 질문을 제기합니다: 불확실성을 피하기 위해 부분적으로 설명 가능하지만 유익한 기술을 포기해야 할까요? AI 규제를 목표로 하는 미국 입법자들도 설명 가능성의 복잡성을 인식하고 있으며, AI 거버넌스에서 설명 가능성 중심이 아닌 결과 중심의 접근 방식이 필요하다고 강조하고 있습니다.

신기술에 대한 불확실성을 다루는 것은 새로운 문제가 아닙니다. 의료계는 새로운 치료법을 개발할 때 잠재적인 위해를 식별하는 것이 중요하다는 점을 오래전부터 인식해 왔습니다. 이러한 이해는 위험 평가를 위한 무작위 대조 시험(RCT)의 도입으로 이어졌습니다.

RCT에서 참가자는 치료 그룹과 대조 그룹으로 나뉘고, 치료 그룹은 의료 개입을 받으며 대조 그룹은 그렇지 않습니다. 이 비교 가능한 집단 간 결과를 비교함으로써 연구자들은 인과관계를 확인하고 치료의 효과를 평가할 수 있습니다. 역사적으로, 의료 연구자들은 장기적인 안전과 효능을 평가하기 위해 안정적인 테스트 디자인을 사용했습니다. 그러나 AI의 경우 시스템이 지속적으로 학습하면서 재훈련과 배치 시 새로운 이점과 위험이 발생할 수 있습니다. 따라서 전통적인 RCT가 AI 위험 평가에 적합하지 않을 수 있습니다. A/B 테스트와 같은 대안적 프레임워크는 AI 시스템의 결과에 대한 귀중한 통찰을 제공할 수 있습니다.

A/B 테스트는 지난 15년 동안 제품 개발에서 널리 사용되었습니다. 이 방법은 서로 다른 사용자 그룹을 다르게 처리하여 웹 페이지에서 어떤 버튼이 가장 많은 클릭을 받는지와 같은 다양한 기능의 영향을 평가합니다. Ronny Kohavi는 Bing에서 실험 책임자로 재직하며 온라인 지속적 실험을 개척했습니다. 사용자는 기존 사이트 버전 또는 새로운 버전으로 무작위 배정되어, 이 엄격한 모니터링을 통해 기업이 제품을 반복적으로 개선하면서 이러한 변화의 이점을 이해할 수 있습니다.

Bing, Uber, Airbnb 등 많은 기술 기업들은 기술 변화 테스트를 지속적으로 수행할 수 있는 시스템을 구축했습니다. 이러한 프레임워크는 기업이 클릭률, 수익과 같은 비즈니스 지표뿐만 아니라 차별과 같은 잠재적인 위해도 확인할 수 있도록 합니다.

효과적인 AI 안전 측정 예시는 다음과 같습니다: 한 대형은행은 새로운 개인 대출 가격 알고리즘이 여성에게 불리할 수 있다고 우려합니다. 모델이 성별을 명시적으로 사용하지 않더라도, 은행은 대체 변수가 결과에 부정적인 영향을 미칠 수 있다고 의심합니다. 이를 검증하기 위해 은행은 실험을 설계하여 치료 그룹은 새로운 알고리즘을 사용하고 대조 그룹은 기존 모델의 결정을 받습니다.

성별과 같은 인구 통계가 그룹 간에 동등하게 분배되도록 함으로써, 은행은 차별적 영향을 측정하고 알고리즘의 공정성을 평가할 수 있습니다. 또한 AI 노출은 새로운 기능의 점진적 롤아웃을 통해 제어할 수 있어 리스크 관리를 가능하게 합니다. 대안으로 Microsoft와 같은 조직은 "레드 팀"을 활용하여 직원들이 AI 시스템의 주요 위험을 식별하도록 합니다.

궁극적으로, AI 안전 측정은 책임을 촉진합니다. 주관적인 설명 가능성과는 달리, 다양한 인구 집단에 대한 AI 시스템의 출력을 평가하는 것은 잠재적인 위해를 평가하기 위한 정량적 프레임워크를 제공합니다. 이 과정은 책임을 설정하여 AI 제공업체가 시스템을 효과적이고 윤리적으로 운영하도록 합니다.

설명 가능성이 AI 제공업체와 규제자에게 여전히 중심 이슈로 남아 있지만, 의료 분야의 방법론을 채택함으로써 원하는 대로 작동하는 안전하고 효과적인 AI 시스템이라는 보편적인 목표를 달성할 수 있습니다.