스탠포드 연구, AI 법률 연구 도구가 자주 환각 정보를 생성한다 밝혀져

법률 연구에서 AI의 도전 과제: 법률 AI 도구의 환각에 대한 연구

대형 언어 모델(LLM)은 방대한 정보 처리를 요구하는 작업에 점점 더 많이 사용되고 있으며, 여러 기업은 법률 연구를 위해 LLM과 정보 검색 시스템을 활용한 전문 도구를 개발하고 있습니다. 그러나 스탠포드 대학 연구자들의 최근 연구에 따르면, 공급업체의 주장에도 불구하고 이러한 도구는 여전히 상당한 비율의 "환각"—사실과 다른 출력—을 보이고 있습니다.

연구 개요

이 획기적인 연구는 AI 기반 법률 연구 도구의 최초 "사전 등록된 실증 평가"로, 200개 이상의 정교한 법률 질의를 바탕으로 주요 법률 연구 제공업체의 도구와 OpenAI의 GPT-4를 비교했습니다. 일반 목적의 챗봇에 비해 환각이 줄어들었지만, 법률 AI 도구는 여전히 17-33%의 경우 환각을 나타내어 우려스러운 상황을 보여주었습니다.

법률 맥락에서의 검색 증강 생성 이해하기

많은 법률 AI 도구는 환각을 줄이기 위해 검색 증강 생성(RAG) 기술을 사용합니다. RAG 시스템은 표준 LLM과 달리 지식 기반에서 관련 문서를 검색하고 모델의 응답을 위한 맥락을 제공합니다. RAG는 다양한 분야에서 환각을 줄이는 금본위로 기능하지만, 법률 질의는 간단한 답변이 부족하여 정보 검색을 복잡하게 만듭니다. 연구자들은 무엇을 검색할지 결정하는 것이 문제가 될 수 있으며, 환각을 사실 오류 또는 맥락적으로 부적절한 응답으로 정의했습니다. 법률에서는 문서의 관련성이 단순한 텍스트 유사성에 그치지 않아, 비슷해 보이지만 관련 없는 문서를 검색하면 시스템의 효율성이 저하될 수 있습니다.

법률 연구를 위한 AI 도구 평가

연구자들은 실제 연구 시나리오를 반영하는 다양한 법률 질의를 설계하고, LexisNexis의 Lexis+ AI, Westlaw AI 지원 연구, Thomson Reuters의 Ask Practical Law AI 등 세 가지 주요 AI 기반 법률 연구 도구를 테스트했습니다. 이들 독점적인 도구가 RAG를 사용함에도 연구 결과 이들이 여전히 상당한 숫자의 환각을 보였다는 점에서 성능에 결함이 있음을 발견했습니다. 이 연구는 이러한 시스템이 기본적인 법률 이해 작업에서 겪는 어려움을 강조하며, 법률 전문가의 투명성을 제한하는 폐쇄적인 법률 AI 도구의 특성에 대한 우려를 제기했습니다.

법률 연구에서 AI의 진전 및 한계

제한에도 불구하고 AI 지원 법률 연구는 전통적인 키워드 검색 방법에 비해 가치를 제공합니다. 공동 저자 다니엘 E. 호에 따르면, RAG는 일반 AI에 비해 법률 환각을 줄이지만, 부적절한 문서 검색에서 여전히 오류가 발생할 수 있어 법률 검색이 특히 복잡하다는 점을 강조합니다.

투명성의 중요성

호는 법률 AI의 투명성과 기준 설정의 필요성을 강조했습니다. 일반 AI 연구와 달리 법률 기술 분야는 많은 기술 정보나 성과 증거를 제공하지 않는 폐쇄적인 접근 방식을 유지해왔습니다. 이러한 투명성 부족은 이러한 도구에 의존하는 변호사에게 위험 요소가 될 수 있습니다. 연구에 대한 응답으로 Westlaw 제품 관리 책임자 마이크 단은 철저한 테스트 및 법률 문제의 복잡성에 대한 회사의 약속을 강조하며, 연구 결과가 AI 지원 연구에서 드물게 다루어지는 질문을 반영할 수 있다고 언급했습니다. 반면, LexisNexis는 어떤 AI 도구도 완벽을 보장할 수는 없지만, 변호사 판단을 대체하기보다 향상시키는 데 중점을 둔다고 밝혔습니다. LexisNexis의 최고 제품 책임자 제프 퍼퍼는 연구자가 사용한 기준이 환각 비율을 충분히 반영하지 못할 수도 있음을 지적하며 지속적인 개선을 강조했습니다.

앞으로 LexisNexis와 스탠포드 대학은 AI의 법률 연구 적용에 관한 기준 및 성과 보고 프레임워크를 설정하기 위한 논의를 진행 중이며, 법률 전문가에게 더 나은 서비스를 제공하고 환각 발생률을 줄이기 위한 개선을 목표로 하고 있습니다.

결론적으로, 법률 연구에서 AI는 가능성을 보여주지만, 환각 문제와 투명성 필요성은 업계가 해결해야 할 중요한 과제로 남아 있습니다.