AI를 믿는 것: AI 결과에 대한 정당성의 중요성
매달 5억 명 이상이 제미니와 ChatGPT를 활용하여 파스타 요리법부터 복잡한 숙제 주제에 이르기까지 정보를 얻습니다. 그러나 만약 AI가 파스타를 휘발유로 요리하라고 추천한다면, 이는 출산 통제나 대수와 같은 다른 분야에서의 신뢰성에 대한 의문을 제기합니다.
이번 1월 세계경제포럼에서 OpenAI CEO 샘 올트만은 AI 결과의 투명성 필요성을 강조했습니다. “나는 당신의 생각을 이해하기 위해 당신의 머릿속을 볼 수는 없지만, 당신의 추론을 설명해 달라고 요청하고 그 타당성을 판단할 수 있습니다. 나는 우리의 AI 시스템이 동일하게 할 수 있을 것이라고 믿습니다."
지식은 정당성을 요구한다
올트만은 ChatGPT와 같은 대형 언어 모델(LLM)에 대한 신뢰를 심어주기 위해 이들이 결과에 대한 명확한 설명을 제공할 수 있다고 제안합니다. 유효한 정당성이 없이는 믿음을 지식으로 간주할 수 없습니다. 우리가 알고 있는 것에 대해 정당성을 느끼는 때는 언제일까요? 일반적으로 믿음이 신뢰할 수 있는 증거, 논리적 주장 또는 신뢰할 수 있는 출처의 증언에 의해 뒷받침될 때 그렇습니다.
LLM은 신뢰할 수 있는 정보 출처로 설계되었습니다. 그러나 그들의 추론을 설명할 수 있는 능력이 없다면, 우리는 그들의 주장이 정당화 기준을 충족하는지 확신할 수 없습니다. 예를 들어, 당신이 오늘 테네시의 안개가 캐나다의 산불 때문이라고 주장한다면 나는 그 진술을 받아들일 수 있습니다. 하지만 당신이 이전에 논문 방어에서 뱀 싸움이 흔하다고 주장했다면, 당신의 신뢰성이 흔들릴 것입니다. 이 경우 나는 안개에 대한 당신의 추론을 명확히 해 달라고 요청할 것입니다.
AI 이해의 한계
현대의 AI 시스템은 추론할 수 있는 능력이 없어 우리의 신뢰를 얻을 수 없습니다. 대신 LLM은 방대한 데이터 세트를 바탕으로 언어 패턴을 감지하고 예측하도록 훈련받습니다. 프롬프트가 주어지면 도구는 이러한 패턴에 기반하여 반응을 생성하며, 종종 지식 있는 인간의 언어를 모방합니다. 그러나 이 과정은 내용의 정확성이나 정당성을 검증하지 않습니다. 힉스, 험프리, 슬레이터가 “ChatGPT는 허풍이다”에서 주장하는 바와 같이, LLM은 설득력 있게 보이지만 실제로는 진실에 대한 관심이 결여된 텍스트를 생성합니다.
AI가 생성한 콘텐츠가 인간의 지식과 같지 않다면, 그것은 무엇일까요? 모든 출력을 “허풍”으로 분류하는 것은 부정확해 보일 수 있지만, 많은 LLM의 반응은 사실적으로 옳아 철학자들이 말하는 게티어 사건이 발생하게 됩니다. 이는 사실인 믿음과 그 믿음의 정당성에 대한 이해 부족이 공존하는 상황입니다.
AI 출력은 환상입니다
이와 관련하여, 8세기 인도 불교 철학자 담모타라에서 영감을 받은 시나리오를 고려해 보세요. 무더운 날 물을 찾고 있다고 상상해보세요. 물처럼 보이는 것을 발견했지만, 그것이 신기루임을 알게 됩니다. 하지만 그 지점에 도착하면 바위 아래 진짜 물을 찾습니다. 당신이 찾고 있던 물의 종류에 대한 진정한 지식을 주장할 수 있을까요?
대부분은 그 여행자들이 실제 지식을 갖고 있지 않다고 동의할 것입니다. 그들은 물이 있을 것이라고 예측할 만한 확고한 이유 없이 단지 물에 우연히 부딪힌 것일 뿐입니다.
LLM에서 배운 것에 대해 우리가 뭔가를 안다고 주장할 때, 우리는 담모타라의 여행자들과 유사한 곤경에 처합니다. LLM이 효과적으로 훈련되었다면, 그 출력은 예측된 곳에서 물을 발견한 것과 같이 진실일 가능성이 높습니다. 그러나 주장을 뒷받침하는 정당성은 데이터 세트 어딘가에 존재하지만 출력 생성에는 역할을 하지 않습니다.
따라서 올트만의 보장은 오해를 불러일으킬 수 있습니다. 만약 LLM에게 출력에 대한 정당성을 요청한다면, 그것은 설득력이 있지만 피상적인 정당성을 만들어낼 것입니다. 하이츠 등이 설명한 "게티어 정당성"처럼 말입니다. 이러한 정당성의 모방은 실제 기반이 부족합니다.
잘못된 정당성의 위험
현재 AI 시스템은 종종 사실 정보를 잘못 해석하거나 “환상”으로 생성하여 불일치를 초래합니다. 정당성의 환상이 점점 더 설득력이 있을수록, 우리는 두 가지 잠재적 결과에 직면합니다:
1. 정보가 있는 사용자: AI의 고유한 한계를 인식하는 사람들은 LLM이 기만적인 주장을 한다는 것을 알게 됩니다.
2. 인지하지 못하는 사용자: AI 출처의 본질을 이해하지 못하는 개인은 오해를 받을 수 있으며, 사실과 허구를 구분하기 어려운 상태에 놓일 수 있습니다.
AI 출력의 정당성 요구
LLM은 강력한 도구로 기능하지만, 그 출력은 면밀한 검토가 필요합니다. 특히 전문 지식이 없는 사용자들은 대수 문제나 안전한 성관계에 대한 조언을 받기 위해 AI에 의존합니다. AI 출력에 대한 책임과 신뢰를 보장하기 위해서는 각 주장 뒤에 있는 정당성을 이해해야 합니다.
다행히도 경험이 풍부한 사람들은 파스타 요리에 휘발유보다 올리브 오일이 더 나은 선택이라는 것을 인식합니다. 그러나 우리는 AI로부터 무비판적으로 받아들인 잠재적으로 해로운 현실에 대한 요리법을 얼마나 많이 받아들였을까요?
순위 목록
