코헤어의 Rerank 3, 기업 검색의 혁신으로 효율성과 인사이트 생성 향상

Cohere, 자연어 처리 솔루션의 선두주자로, 기업 검색 및 정보 검색을 혁신할 첨단 기초 모델 Rerank 3을 공개했습니다. 이 혁신적인 모델은 JSON, 이메일, 테이블 등 복잡한 데이터 소스에서 실행 가능한 인사이트를 추출하는 기업의 능력을 크게 향상시킵니다. 다양한 언어를 지원합니다.

최근 인터뷰에서 Cohere의 머신러닝 이사인 Nils Reimers는 Rerank 3의 독특한 기능에 대해 설명했습니다. “JSON, 이메일, 테이블과 같은 복잡한 데이터 형식을 검색하는 것은 역사적으로 많은 어려움을 겪었습니다,”라고 Reimers는 언급했습니다. “Rerank 3는 입력의 다양한 요소를 분리하여 독립적으로 표현함으로써 이 문제를 해결합니다. 이 기능은 복잡한 기업 데이터를 처리하는 데 크게 기여합니다.”

Rerank 3의 두드러진 특징 중 하나는 4,000 토큰의 놀라운 컨텍스트 길이로, 이는 긴 문서의 검색 품질을 향상시키고 데이터 분할의 필요성을 없애줍니다. “이전 검색 방법은 약 300 단어로 제한되어 있어 텍스트 내의 긴 관계를 식별하기 어려웠습니다,” 라고 Reimers는 설명했습니다. “Rerank 3는 4,000 토큰 간의 연결을 설정하도록 세심하게 훈련되어, 하나의 단락 이상의 복잡한 질문에 대해 상당한 발전을 제공합니다.”

Rerank 3는 TREC 2020 데이터셋의 데이터에 따르면 GPT-4, Mistral, Claude와 같은 대형 언어 모델에 비해 낮은 비용으로 높은 정확도를 제공합니다. 결과는 Rerank 3가 정확한 결과를 전달하면서도 계산 비용을 최소화하는 효율성을 보여줍니다.

Elastic과의 통합 및 파트너십

Rerank 3의 또 다른 중요한 장점은 Retrieval Augmented Generation (RAG) 시스템과의 원활한 통합으로, 여러 기업 애플리케이션 전반에서 응답의 정확성과 비용 효율성을 향상시킵니다. “Rerank 3는 가장 관련성 높은 문서를 우선적으로 제공하여, 사용자가 대형 언어 모델(LLM)에 전달하는 컨텍스트를 줄여 빠르고 경제적인 응답을 가능하게 합니다,"라고 Reimers는 말했습니다.

Cohere는 Elastic과 파트너십을 체결하여 Rerank 3가 Elastic의 Inference API에서 네이티브로 지원되도록 하고, Elasticsearch를 활용하는 개발자들이 향상된 재정렬 기능을 활용할 수 있도록 했습니다. “기존 Elasticsearch 인덱스에 데이터가 있는 개발자들은 우리의 향상된 기능을 통해 많은 이점을 얻을 것입니다. 우리는 Elasticsearch와의 협력을 더욱 심화하게 되어 기쁩니다,”라고 Reimers는 덧붙였습니다.

Rerank 3는 Rerank 2에 비해 긴 컨텍스트 검색 정확도를 5.9% 향상시켜, 기업이 최대 4,000 토큰의 긴 문서를 효율적으로 검색할 수 있도록 지원합니다.

복잡한 기업 데이터 탐색하기

Rerank 3와 같은 기초 모델이 기업에 필수적이 됨에 따라, Cohere는 이러한 기술의 책임 있는 개발 및 구현에 전념하고 있습니다. “Cohere는 기업 고객을 위한 데이터 프라이버시와 보안을 최우선으로 삼고 있습니다. 우리의 제품은 데이터 프라이버시를 핵심으로 설계되었습니다,”라고 Reimers는 강조했습니다.

Rerank 3의 출시는 Cohere가 진화하는 자연어 처리 및 기업 AI 솔루션 분야의 선두주자로서의 입지를 강화합니다. 복잡한 데이터 문제를 책임감 있게 해결하려는 회사의 노력은 고급 검색 및 정보 검색 기술을 활용하려는 기업에 매력적인 선택이 됩니다.

Reimers는 “우리는 Rerank 3가 반구조적 및 표 형식 데이터에 대해 열어주는 방대한 잠재력에 흥분하고 있습니다. 이 새로운 기능은 기업에 거대한 기회를 제공합니다,”라고 말했습니다. Cohere가 이끄는 이러한 기회는 그 어느 때보다도 더 가까워졌습니다.