구글 딥마인드, AI 이미지 생성기 평가를 위한 종합 새로운 벤치마크 '게코' 공개

최근에 여러분은 우주인과 말을 타고 있는 이미지, 심리 치료사의 의자에 앉아 있는 아보카도와 같은 놀라운 AI 생성 이미지를 보셨을지도 모릅니다. 이러한 매력적인 시각 자료는 텍스트 프롬프트를 이미지로 변환하도록 설계된 AI 모델에서 비롯됩니다. 하지만 이러한 시스템이 우리가 요청하는 내용을 실제로 이해하고 있을까요?

구글 딥마인드의 최근 연구는 현재 텍스트-이미지 AI 모델 평가 방법의 숨겨진 한계를 드러냅니다. arXiv에 발표된 이 연구는 “Gecko”라는 새로운 접근법을 소개하며, 이 기술의 진화에 대한 보다 포괄적이고 신뢰할 수 있는 기준을 제공하려 합니다.

딥마인드 팀은 논문에서 “텀프-이미지 생성 모델은 널리 사용되지만, 주어진 프롬프트와 일치하는 이미지를 생성하는 것은 아니다”라고 강조합니다. 그들은 DALL-E, Midjourney, Stable Diffusion과 같은 모델을 평가하는 데 사용되는 기존 데이터 세트와 자동 메트릭이 전체적인 그림을 포착하지 못한다고 지적합니다. 제한된 인간 평가와 자동 메트릭은 중요한 뉘앙스를 간과하여 인간의 판단과의 불일치를 초래할 수 있습니다.

Gecko 소개: 텍스트-이미지 모델을 위한 새로운 기준

이러한 문제를 해결하기 위해 연구진은 Gecko라는 벤치마크 제품군을 개발했습니다. Gecko는 2,000개의 다양한 텍스트 프롬프트로 모델을 도전하여 여러 기술과 복잡성 수준을 탐구합니다. 프롬프트를 특정 하위 기술로 세분화함으로써, Gecko는 모델의 정확한 약점을 드러내는 데 도움을 줍니다.

“이 기술 기반 벤치마크는 프롬프트를 하위 기술로 분류하여 실무자들이 어떤 기술이 도전적인지, 그리고 어떤 복잡성 수준에서 그렇다고 설명합니다,”라고 공동 저자 올리비아 와일스가 말합니다.

Gecko 프레임워크는 (a) 종합적인 기술 기반 벤치마크 데이터 세트, (b) 다양한 템플릿에 대한 광범위한 인간 주석, (c) 개선된 자동 평가 메트릭, (d) 다양한 기준에 대한 모델 성과 통찰력을 통합하여 텍스트-이미지 AI 평가를 향상시킵니다. 이 연구는 인기 AI 시스템의 보다 정확하고 강력한 벤치마킹을 목표로 하고 있습니다.

AI 능력에 대한 더 정확한 그림

연구진은 Gecko 프롬프트에 반응하는 여러 주요 모델이 생성한 이미지에 대해 100,000개 이상의 인간 평가를 수집했습니다. 이 방대한 피드백 양은 벤치마크가 성능 격차가 진정한 모델 한계, 애매한 프롬프트, 또는 일관되지 않은 평가 방법에서 비롯된 것인지 식별하는 데 도움이 됩니다.

“우리는 네 가지 템플릿과 네 개의 텍스트-이미지 모델에 대한 100,000개 이상의 주석을 수집합니다,”라고 연구는 밝혔습니다. “이는 프롬프트의 애매함과 메트릭 및 모델 품질 차이를 구별하는 데 도움을 줍니다.”

Gecko는 질문-답변 기반의 향상된 자동 평가 메트릭을 특징으로 하여 기존 메트릭보다 인간의 판단과 더 밀접하게 일치합니다. 새로운 벤치마크로 최첨단 모델을 평가할 때, 이 조합은 그들의 강점과 약점에서 이전에 발견되지 않은 차이를 드러냈습니다.

“우리는 다양한 인간 템플릿과 TIFA160에서 기존 메트릭보다 인간 평가와 더 잘 관련되는 새로운 QA 기반 자동 평가 메트릭을 소개합니다,”라고 논문은 밝힙니다. 특히, 딥마인드의 뮤즈 모델은 Gecko 평가에서 뛰어난 성능을 보였습니다.

연구진은 텍스트-이미지 AI의 실제 운용 전, 다양한 벤치마크와 평가 방법을 활용하여 AI의 가능성과 한계를 이해하는 것이 중요하다고 강조합니다. 그들은 Gecko 코드와 데이터를 공개하여 이 분야의 발전을 촉진할 계획입니다.

“우리의 연구는 데이터 세트와 메트릭의 선택이 인식되는 성능에 큰 영향을 미친다는 것을 보여줍니다,”라고 와일스는 결론지었습니다. “우리는 Gecko가 향후 모델 능력에 대한 더 정확한 벤치마킹과 진단을 가능하게 하기를 희망합니다.”

따라서 그 멋진 AI 생성 이미지가 처음에는 인상적일지라도, 진정한 품질과 단순한 환상을 구분하기 위해 철저한 테스트가 필수적입니다. Gecko는 그 명확성을 달성하기 위한 로드맵을 제공합니다.