Voyage AI, 다국어 임베딩을 통해 Snowflake의 Cortex AI를 향상시켜 뛰어난 기업 RAG를 실현하다.

기업 AI의 Retrieval Augmented Generation (RAG) 분야에서 임베딩 모델은 핵심적인 역할을 합니다. 이러한 모델은 다양한 콘텐츠를 벡터로 변환하여 AI 시스템이 해석할 수 있도록 돕습니다. OpenAI의 ada 임베딩 모델은 이 분야에서 선두주자였으나, 많은 기업들이 특정 응용 프로그램에 필요한 구체성이 부족하다는 것을 발견했습니다. 이때 Voyage AI가 등장합니다.

최근 Voyage AI는 기업 RAG 응용 프로그램을 위한 임베딩 및 검색 모델을 강화하기 위해 2천만 달러 규모의 시리즈 A 자금을 발표했습니다. Snowflake가 강력한 지원을 제공하며, Voyage AI의 모델을 Cortex AI 서비스에 통합할 계획입니다. 이러한 통합은 Snowflake의 AI 검색 회사 Neeva 인수 기술을 활용하여 Cortex AI의 검색 기능을 향상시킬 것입니다.

Voyage AI는 기업 RAG 기능을 개선하는 데 전념하고 있으며, 27개 언어를 지원하는 다국어 임베딩 모델을 통해 뛰어난 정확성을 자랑합니다. Voyage AI의 창립자이자 CEO인 Tengyu Ma는 “우리는 검색 품질을 향상시켜 RAG를 개선합니다. 더 관련성 높은 문서가 더 나은 응답으로 이어지며, 그렇지 않을 경우 대형 언어 모델이 부정확한 출력을 생성할 수 있습니다.”라고 말했습니다.

고급 임베딩으로 기업 RAG 향상

임베딩 모델은 대형 언어 모델(LLMs) 교육과 RAG 시스템 구현에 필수적입니다. Ma는 Voyage AI가 도메인 특정 정보를 위한 검색 품질을 개선하기 위해 고급 임베딩 및 재순위 모델 개발에 집중하고 있음을 강조했습니다. 그는 기업의 정확성 요구가 심화됨에 따라 기존 솔루션, 특히 OpenAI의 ada가 부족하다고 지적했습니다. “우리의 임베딩은 더 높은 정확성과 복잡한 개념에 대한 깊은 이해를 제공합니다.”라고 Ma는 설명했습니다.

Voyage AI는 정교한 데이터 수집 및 필터링을 포함한 전체 교육 파이프라인을 최적화하여 정확도를 향상시킵니다. 이 회사는 금융, 코딩, 법률 등 특정 산업에 맞춘 모델을 개발하여 이 분야에서 뛰어난 성능을 달성하고 있습니다.

대조 학습의 역할

비표시 데이터로 기계 학습 모델을 훈련하는 것은 도전적일 수 있습니다. Voyage AI는 이러한 데이터를 효과적으로 활용하기 위해 전통적인 다음 단어 예측 방법과는 다른 대조 학습 기법을 사용합니다. Ma는 “우리는 비표시 데이터에서 대조 쌍을 만들어 모델을 훈련합니다.”라고 공유했습니다.

Snowflake와 Voyage AI의 파트너십

Snowflake에게 Voyage AI와의 파트너십과 Cortex AI 서비스에 모델 통합은 기업 사용자에게 유용성을 강화하는 것입니다. Snowflake의 엔지니어링 수석 부사장 Vivek Raghunathan은 “모든 공급자가 RAG 시스템 개발에 힘쓰고 있습니다. 우리의 접근 방식은 사용자가 구조적 또는 비구조적 데이터와 원활하게 상호작용할 수 있게 합니다.”라고 말했습니다.

Raghunathan은 다국어 지원 및 확장된 컨텍스트 윈도우와 같은 Voyage AI의 고급 기능에 대해 기대감을 표명했습니다. Snowflake는 Arctic 임베딩 모델을 제공하지만, Voyage AI는 사용자에게 매력적인 대안을 제공합니다. Raghunathan은 “효율성과 품질 간의 균형을 고려하십시오. 우리의 모델은 도전적인 사용 사례를 해결하는 데 뛰어납니다.”라고 결론지었습니다.