ChatGPT 표절 감지에 주목하세요: OpenAI가 GPT-4의 글쓰기 결과를 99.99%의 정확도로 감지할 수 있는 도구를 개발했습니다. 그러나 이 회사는 이를 공개할지에 대해 1년 넘게 심사숙고 중입니다. TechCrunch에 따르면, OpenAI는 이 도구가 전체 생태계에 미칠 수 있는 복잡성과 잠재적 결과를 고려하여 "신중한 접근 방식을 취하고 있다"고 밝혔습니다. OpenAI 대변인은 "우리가 개발 중인 텍스트 워터마킹 방식은 기술적으로 유망하지만, 악의적인 행위자에 의한 회피 가능성과 비영어 사용자를 포함한 특정 그룹에 미칠 불균형적 영향과 같은 중대한 위험을 평가하고 있다"고 전했습니다.
이 텍스트 워터마킹 시스템은 모델의 출력에 특정 패턴을 삽입하여 OpenAI 도구로 감지 가능하지만 사용자에게는 보이지 않도록 만들었습니다. 이 시스템은 GPT-4 엔진에서 생성된 텍스트를 효과적으로 식별할 수 있지만, Gemini 또는 Claude와 같은 다른 AI 모델의 출력을 구별할 수는 없습니다. 또한, 텍스트를 다른 언어로 번역한 후 다시 원래 언어로 되돌리면 워터마크가 쉽게 삭제될 수 있습니다.
OpenAI는 텍스트 감지 도구 개발에 처음 뛰어든 것이 아닙니다. 지난해 비슷한 프로젝트를 불만족스러운 감지율과 높은 허위 양성률로 인해 조용히 중단했습니다. 2023년 1월에 출시된 이 도구는 분석을 위해 사용자가 최소 1,000자의 샘플 텍스트를 입력하도록 요구했습니다. 이 도구는 AI 생성 콘텐츠를 26%의 정확도로만 식별했으며, 9%의 인간 작성 콘텐츠를 AI 생성으로 잘못 표시하기도 했습니다. 이로 인해 텍사스 A&M 대학의 한 교수는 ChatGPT 사용 논란으로 인해 전체 수업을 실패시키기도 했습니다. 또한, OpenAI는 사용자로부터의 반발도 우려하고 있습니다. 월스트리트 저널에 따르면 ChatGPT 사용자 중 69%가 이러한 도구를 신뢰할 수 없다고 여기며, 이는 허위 비난으로 이어질 수 있다고 우려하고 있습니다. 30%는 OpenAI가 이 기능을 출시할 경우 다른 모델로 전환하겠다고 밝혔습니다. 개발자들이 워터마크를 역설계하여 대응 도구를 만들 가능성에 대한 우려도 남아 있습니다.
OpenAI가 워터마킹 시스템의 장단점을 신중히 검토하는 동안, GPTZero, ZeroGPT, Scribbr, Writer AI Content Detector 등 다른 AI 스타트업들이 텍스트 감지 도구를 소개하기 위해 경합하고 있습니다. 그러나 이러한 도구들의 전반적인 신뢰도 부족으로 인해 인간의 눈이 AI 생성 콘텐츠를 탐지하는 가장 신뢰할 수 있는 방법으로 남아 있는 것은 불안한 상황입니다.