코헤어, Embed V3 공개: 기업 LLM 애플리케이션의 효율성과 성능 향상을 위한 혁신

토론토에 본사를 둔 AI 스타트업 Cohere가 의미 검색(semantic search)과 대형 언어 모델(LLM) 애플리케이션을 최적화한 최신 임베딩 모델 Embed V3를 발표했습니다. 임베딩 모델은 데이터를 "임베딩"이라고 불리는 수치 표현으로 변환하며, 이는 기업 애플리케이션에서 LLM의 사용 증가로 주목받고 있습니다.

Embed V3는 OpenAI의 Ada 및 다양한 오픈 소스 모델과 경쟁하며, 뛰어난 성능과 향상된 데이터 압축을 목표로 하고 있습니다. 이러한 개선은 기업 LLM 애플리케이션의 운영 비용을 절감하는 데 도움을 줍니다.

RAG에서 임베딩의 역할

임베딩은 정보 검색 강화 생성(RAG) 등 다양한 작업에 필수적입니다. RAG는 개발자가 사용자 설명서, 채팅 기록, 기사 또는 원래 훈련 데이터에 포함되지 않은 문서에서 정보를 검색하여 LLM에 맥락을 제공할 수 있는 중요한 애플리케이션입니다.

기업은 문서의 임베딩을 생성하고 벡터 데이터베이스에 저장하여 RAG를 활용합니다. 사용자가 모델에 질의를 하면, AI 시스템은 프롬프트의 임베딩을 계산하고 저장된 임베딩과 비교하여 가장 관련성 높은 문서를 검색하여 프롬프트의 맥락을 강화합니다.

엔터프라이즈 AI의 과제 극복

RAG는 LLM의 몇 가지 한계를 해결하지만, 사용자 질의에 가장 적합한 문서를 찾는 것은 여전히 도전 과제가 됩니다. 이전 임베딩 모델은 기본 키워드 매칭으로 인해 무관한 문서가 더 높은 순위를 차지하는 경우 등의 소음 데이터 세트로 어려움을 겪었습니다. 예를 들어, 사용자가 "COVID-19 증상"을 검색하면 이전 모델은 특정 증상을 자세히 설명하는 문서보다 이 용어를 모호하게 언급하는 문서를 우선시할 수 있습니다.

Cohere의 Embed V3는 정확한 의미적 맥락을 제공하여 질의와 문서를 효과적으로 매칭합니다. "COVID-19 증상"의 예에서 Embed V3는 "고열", "지속적인 기침" 또는 "후각 또는 미각 상실"과 같은 특정 증상을 설명하는 문서를 일반 COVID-19 진술보다 높은 순위로 매깁니다.

Cohere는 Embed V3가 임베딩 성능에 대한 표준 벤치마크에서 OpenAI의 ada-002를 포함한 다른 모델들을 초월한다고 보고했습니다. 다양한 크기로 제공되는 Embed V3는 여러 언어에서 질의를 문서와 매칭하는 다국어 버전도 포함하여 영어 질의와 관련된 여러 언어의 문서를 검색할 수 있게 합니다.

고급 기능으로 RAG 향상

Embed V3는 다단계 RAG 질의를 포함한 복잡한 사용 사례에서 뛰어난 성능을 보여줍니다. 사용자의 프롬프트가 여러 질의를 포함할 경우, 모델은 각 질의에 적합한 문서를 효과적으로 식별하고 검색하여 과정을 간소화합니다. 이러한 효율성은 벡터 데이터베이스에 대한 다수의 질의 필요성을 줄입니다.

또한 Embed V3는 Cohere가 API에 통합한 재순위 기능을 향상시켜 의미적 관련성에 따라 검색 결과를 더 잘 정리합니다. Cohere의 대변인은 “재순위는 복잡한 질의와 문서에 특히 효과적이다. 전통적인 임베딩 모델이 이런 상황에서 어려움을 겪는 경우가 많다”고 설명했습니다. “그러나 재순위가 효과적이기 위해서는 초기 문서 세트가 가장 관련성 높은 정보를 정확히 나타내야 합니다. Embed V3 같은 우수한 모델은 관련 문서가 간과되지 않도록 보장합니다.”

또한, Embed V3는 벡터 데이터베이스 운영 비용을 상당히 낮출 수 있습니다. 이 모델의 3단계 훈련 과정에는 특화된 압축 인식 훈련 방법이 포함되었습니다. 대변인은 “벡터 데이터베이스를 유지하는 비용은 임베딩 계산 비용의 10배에서 100배 이상이 될 수 있습니다. 우리의 압축 인식 훈련은 효과적인 벡터 압축을 가능하게 합니다”고 언급했습니다.

Cohere의 블로그에 따르면, 이 압축 단계는 다양한 압축 방법과의 호환성을 최적화하여 벡터 데이터베이스 비용을 크게 줄이면서도 최대 99.99%의 검색 품질을 유지합니다.