2023년 2월, 시카고 대학교의 컴퓨터 과학 교수 벤 자오(Ben Zhao)가 이끄는 연구팀은 Glaze라는 무료 소프트웨어 도구를 소개했습니다. 이 도구는 머신 러닝을 활용하여 사용자가 업로드한 예술 작품의 픽셀을 섬세하게 수정합니다. 이러한 변경은 AI 아트 생성기가 작품의 스타일을 인식하는 방식에 영향을 미치지만, 인간 관객의 시각에는 영향을 주지 않습니다. 예를 들어, 손으로 그린 일러스트는 AI에 의해 수채화나 CGI 아트로 해석될 수 있습니다.
Glaze의 주요 목적은 예술가들이 자신의 스타일을 모방하는 AI 모델에 맞서 싸울 수 있도록 도와주며, 원본 작업은 그대로 유지하는 것입니다. 샤운 샨(Shawn Shan), 제나 크라이언(Jenna Cryan), 에밀리 웬거(Emily Wenger), 하이타오 젱(Haitao Zheng), 라나 하노카(Rana Hanocka), 벤 자오(Ben Y. Zhao)의 연구 논문에 따르면, 이 도구는 예술가들이 의뢰 수입 손실과 평판 손상을 예방할 수 있도록 지원하며, 그들의 스타일이 정체성의 핵심임을 강조합니다. 그들의 독창적인 스타일 무단 사용은 정체성 도용에 비유됩니다.
예술가는 이미지를 생성하고 Glaze를 적용한 후 수정된 버전을 온라인에 업로드하여, AI 모델이 자신의 작업을 쉽게 학습하지 못하도록 할 수 있습니다. Glaze로 수정된 작품은 인간 관객에게는 원본과 비슷하게 보이지만, AI에게는 근본적으로 다르게 인식됩니다. Glaze는 AI에 의해 스크래핑되지 않은 작품에 가장 효과적입니다.
2024년 3월까지 Glaze는 230만 회 이상 다운로드 되었고, 예술가들의 작품을 무단으로 학습하는 AI 모델에 "독"을 주기 위한 오픈 소스 후속 도구인 Nightshade에도 주목받았습니다. 1년 후, Glaze 프로젝트 팀은 향상된 보호 기능과 신속한 사용을 위해 Glaze 2를 발표했습니다. Glaze 2는 특정 예술가를 모방할 수 있는 오픈 소스 텍스트-이미지 생성기인 Stable Diffusion XL을 포함한 고급 AI 모델에 대한 강력한 보호를 제공합니다.
Glaze 2 개선 사항
원래 Glaze 도구는 Titan RTX GPU에서 평균 1.2분, Intel i7 CPU에서는 7.3분 이상 소요되었습니다. 92% 이상의 스타일 모방 방지 효과를 자랑하지만, Glaze 2는 사용자의 하드웨어에 따라 처리 시간을 50%에서 500%까지 향상시켰습니다. 예를 들어, 오래된 GPU는 이미지당 4분에서 2분으로 개선되었고, M1-M3 프로세서를 사용하는 Mac의 경우 최대 5배 빨라질 수 있습니다.
Glaze 2는 애니메이션이나 만화 같은 매끄러운 표면 스타일의 예술에 대해 SDXL과 같은 모델에 대한 더 강력한 보호 기능을 제공합니다. 자오는 최근 이메일에서 Glaze 2가 더 많은 방해 아티팩트를 생성하여 AI가 보호된 작업을 복제하기 어렵다고 언급했습니다. DALL-E 3나 Midjourney와 같은 다른 AI 생성기에서 스타일 모방 방지에 대해 질문을 받았을 때, 자오는 Glaze의 주요 초점이 Stable Diffusion에 있다는 점을 강조했습니다.
미래 개발
시카고 대학교의 Glaze 프로젝트는 새로운 버전에 전념하고 있으며, 자오는 Glaze 1은 더 이상 다운로드할 수 없다고 확인했습니다. 그는 "Glaze 2는 모든 면에서 Glaze 1을 능가할 수 있는 교체품입니다."라고 말했습니다.
또한 팀은 비디오 형식에 Glaze와 유사한 보호 기능을 확장하는 방안을 모색하고 있으며, X 계정을 통해 이를 발표했습니다. 그들은 AI가 비디오 프레임을 얼마나 잘 복제할 수 있고, Glaze의 새 버전이 이러한 모방을 얼마나 효과적으로 방해할 수 있는지 평가하기 위한 사용자 연구를 진행하고 있습니다.
Glaze 2가 이전 버전만큼 잘 작동한다면, 무단 AI 스크래핑으로부터 작품을 보호하고자 하는 예술가들에게 귀중한 자산이 될 것입니다.