OpenAI는 AI 비디오 생성 모델인 Sora를 통해 새로운 데모 예시를 매력적으로 선보이며 관객들의 관심을 끌고 있습니다. 그러나 일반 대중의 접근은 여전히 제한적입니다. 그동안 경쟁사인 Pika는 가입자들을 위한 흥미로운 기능인 Lip Sync를 출시했습니다.
이 혁신적인 기능은 사용자가 ElevenLabs의 AI 생성 음성을 활용해 비디오에 대화 내용을 추가할 수 있게 해주며, 입술 움직임을 대화와 동기화하여 캐릭터의 현실감을 높입니다.
Pika의 Lip Sync 기능은 텍스트를 오디오로 변환하는 기능과 오디오 트랙을 업로드할 수 있는 옵션을 제공합니다. 사용자는 Pika AI로 생성된 캐릭터를 위해 대사를 입력하거나 녹음하여 음성 스타일을 맞춤 설정할 수 있습니다. 현재 Lip Sync는 "조기 접근" 상태로, 월 $58(연간 $696로 청구)인 Pika Pro 사용자와 Discord를 통해 초대받은 "Super Collaborators" 프로그램 회원만 이용할 수 있습니다.
AI 영화 제작의 장벽을 허물다
Pika의 AI 생성 비디오가 OpenAI의 Sora나 경쟁사 Runway만큼의 사실성에 미치지 못할 수 있지만, Lip Sync 기능은 큰 발전을 나타냅니다. 이는 장편 서사 영화에서 AI 사용의 남은 과제 중 하나인 대화 추가 및 입술 동기화 문제에 대한 해결책을 제공합니다. 기존의 많은 AI 비디오 생성기는 유사한 기본 기능을 제공하지 않습니다.
전통적으로 사용자는 대화를 추가하고 입술 움직임을 동기화하기 위해 번거로운 제3자 도구와 노동 집약적인 후반 작업 방법에 의존해 왔으며, 이로 인해 낮은 예산의 느낌이 생겨났습니다.
관련 소식으로, Runway는 지난달 출시된 Multi Motion Brush 기능을 업데이트했습니다. 이 도구는 사용자에게 비디오 내 다양한 객체에 최대 다섯 개의 독립적인 움직임 방향을 적용할 수 있게 해줍니다. 업데이트에는 자동 객체 선택을 가능하게 하는 영역 감지 기능이 포함되었으며, 수동 “페인팅” 옵션도 여전히 제공됩니다. Pika 역시 사용자에게 비디오 구성 요소를 편집하고 캔버스를 확장할 수 있는 기능을 제공하지만, 현재 브러시 도구가 없어 Runway에 비해 정확한 움직임 조정이 다소 부족합니다.
AI 훈련 데이터에 대한 지속적인 우려
Pika의 새로운 기능에 대한 기대가 커지는 가운데, 비디오 모델에 사용된 훈련 데이터에 대한 질문이 여전히 존재합니다. AI 인증 비영리 단체 Fairly Trained의 CEO인 Ed Newton-Rex는 소셜 미디어에서 창작자와 데이터 소유자의 동의 필요성을 강조하며 이러한 우려를 제기했습니다.
비디오 AI 생성 기업들이 혁신을 지속하며 발전할수록 경쟁은 더욱 치열해지며, 이는 사용자에게 이익이 되지만 영화 제작 산업의 일부 전문가들에게 우려를 낳고 있습니다. 특히 영화 제작자 Tyler Perry는 Sora로 생성된 비디오를 보고 기술로 인한 잠재적 일자리 손실에 대해 우려하며 8억 달러 규모의 스튜디오 확장을 중단한 뒤 반발을 받았습니다.