Civitai 창립자, AI 딥페이크 포르노 우려를 경감하며 오픈 소스 솔루션 옹호

저스틴 메이어: 오픈소스 AI의 도전과 기회 탐색

오픈소스 AI 플랫폼 Civitai의 창립자 저스틴 메이어는 아이다호 보이시에서 개인적 및 직업적 도전을 겪으며 힘든 한 해를 보내고 있습니다.

Civitai는 단 1년 만에 인기 있는 텍스트-이미지 생성기인 Stable Diffusion을 활용하여 모델과 이미지 콘텐츠를 발견하고 생성하고 공유하는 데 중점을 둔 커뮤니티를 지원합니다. 이 짧은 기간 동안 Civitai는 4명에서 시작해 이제 15명으로 팀을 확장하며 Andreessen Horowitz로부터 500만 달러의 자금을 확보했습니다. 현재 플랫폼은 매달 1천만 명의 독립 이용자를 끌어들이며, 수백만 개의 이미지와 모델이 업로드되고 있습니다.

그러나 메이어는 딸이 1형 당뇨 진단을 받은 것이 Civitai의 자금 조달 발표와 같은 주에 발생하는 등 중대한 어려움에 직면했습니다. 또한 Civitai는 404 Media로부터 'AI 포르노 마켓플레이스'를_enabled했다는 비판적 보도의 주목을 받기도 했습니다.

메이어는 독점 인터뷰에서 이러한 보도가 Civitai의 주요 사용자층과 의도를 왜곡하고 있다고 주장했습니다. 그는 “어렵고 슬픈 상황”이라며 Civitai가 커뮤니티 주도의 긍정적인 AI 애플리케이션에 중점을 두고 있음을 강조했습니다.

메이어는 Civitai가 콘텐츠 모더레이션에 상당한 자원을 할애하고 있으며, 팀의 절반이 안전 노력을 담당하고 있다고 밝혔습니다. “우리는 안전을 유지하기 위해 열심히 노력하고 있지만, 혁신의 빠른 속도로 인해 일일 적응이 필수적입니다”라고 설명했습니다.

Civitai는 LoRA 모델의 애호가들을 위한 플랫폼으로, AI 아트 생성에 사용되는 정밀 조정된 모델입니다. 대부분의 사용자는 팬 픽션에서 패션에 이르기까지 다양한 창작 활동을 위해 Civitai를 활용하고 있습니다. “작년에 출시했을 때 50개의 모델이 있었는데, 지금은 하루에 500개의 모델이 쏟아지고 있습니다”라고 그는 언급했습니다.

404 Media의 주장에 대해 메이어는 이전 데이터에 크게 의존하고 있다고 밝혔으며, NSFW 콘텐츠 비율이 60%라는 주장은 부정했습니다. 그는 현재 게시된 콘텐츠의 20% 미만이 NSFW 범주에 해당한다고 주장했습니다.

Civitai는 모든 포토 리얼리즘 및 미성년자의 성적 묘사를 금지하는 안전 센터를 도입했으며, 자동 콘텐츠 감지를 위해 Amazon Rekognition을 활용하고 있습니다.

열정 프로젝트에서 플랫폼으로

Civitai는 메이어가 Midjourney에 노출된 후 Stable Diffusion 커뮤니티에 대한 관심이 커지며 시작된 열정 프로젝트입니다. 그는 사용자가 AI 모델을 쉽게 공유하고 찾아볼 수 있는 공간을 구상했습니다. Civitai는 지난해 11월 공식 출범한 이후 빠르게 사용자 기반을 넓혀 1월에는 10만 명, 3월에는 100만 명에 이르렀습니다.

Civitai는 오픈소스 생성 AI에 대한 진입 장벽을 낮추며, 광범위한 기계 학습 지식 없이도 기술을 탐구하고자 하는 취미가들이 이용할 수 있도록 하고 있습니다. “우리는 Midjourney와 Hugging Face와 같은 기업 솔루션 사이에서 균형을 잡았습니다”라고 메이어는 설명했습니다.

NSFW 콘텐츠 문제 대응

메이어는 NSFW 콘텐츠가 널리 퍼진 문제임을 인식하고 있으며, 초기부터 잠재적 악용을 대비해야 한다고 언급했습니다. 플랫폼이 NSFW 콘텐츠를 제한할 수 있지만, 그는 커뮤니티 개발을 촉진하기 위해 보다 균형 잡힌 접근 방식을 택했다고 설명했습니다.

메이어는 이 접근 방식을 신약 성경의 가라지 비유에 빗대어, 원치 않는 콘텐츠를 억제하는 것이 혁신을 저해할 수 있다고 정리했습니다. “이러한 경계를 밀고 나가는 커뮤니티는 AI 기술 전반에 이익이 되는 발전에 기여합니다”라고 그는 강조했습니다.

바운티 혐의 및 커뮤니티 신고

404 Media의 최근 보도는 실제 개인에 대한 딥페이크에 대한 '바운티' 문제를 제기했습니다. 메이어는 이러한 바운티가 특정 요구에 맞는 AI 모델을 요청하는 서비스 요청의 성격을 가지고 있다고 설명했습니다. 이러한 목록은 생성자가 공개하기로 결정할 때까지 비공식 상태로 유지되어 콘텐츠 가이드라인 준수를 보장합니다.

회사의 정책은 부적절한 콘텐츠에 대한 커뮤니티 신고를 장려하며, 사용자들이 안전한 환경을 유지하기 위한 노력을 인정받아 현장 화폐인 Buzz를 보상으로 지급합니다.

하지만 Civitai의 오픈소스 특성상 모델이 다운로드된 후에는 후속 사용을 통제할 수 없는 한계가 존재합니다.

지속적인 개선에 대한 헌신

어려움 속에서도 메이어는 Civitai를 개선하고 안전한 AI 사용을 촉진하려는 노력을 계속하고 있습니다. 최근의 발전에 따라, 회사는 생성된 콘텐츠에서 자신의 이미지를 제거하고자 하는 개인들에게 필요한 조치를 도입했습니다.

AI 기술이 계속 빠르게 발전함에 따라 Civitai는 규제 기관과의 협력을 통해 공공 안전을 확보하면서도 혁신을 촉진하고자 합니다. 메이어는 자신의 딸의 상태를 고려하여, 기술을 선의로 활용하려는 목표를 갖고 있으며 10대 당뇨 연구 재단을 위한 휴일 자선 운동도 추진하고 있습니다.

“우리는 안전한 플랫폼 유지를 깊이 우려합니다”라고 강조하며, Civitai의 목표는 AI를 접근 가능하게 만드는 것임을 분명히 했습니다. “우리는 매일 긍정적인 사용자 경험을 보장하기 위해 노력하며 지속적인 개선에 헌신하고 있습니다.”

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles