Vectara 포털로 AI 챗 애플리케이션 구축하기: 비개발자를 위한 데이터 활용 가이드

벡타라, Vectara Portal로 생성 AI 개발 간소화

벡타라는 데이터와 상호작용하는 AI 애플리케이션을 구축할 수 있도록 설계된 오픈 소스 환경인 Vectara Portal을 출시했습니다.

많은 상업적 솔루션이 즉시 문서 통찰력을 제공하는 반면, Vectara Portal은 사용자 친화적인 접근 방식으로 두각을 나타냅니다. 기술적인 전문 지식 없이도 간단한 단계만으로 사용자는 자신의 데이터셋을 활용해 검색, 요약, 채팅 애플리케이션을 코드 없이 작성할 수 있습니다.

비개발자의 잠재력 열기

이 툴은 비개발자들이 정책 관리에서 송장 검색에 이르기까지 다양한 조직 작업을 향상시킬 수 있도록 돕습니다. 그러나 현재 플랫폼이 베타 테스트 중이며, 사용자 수가 제한적이라는 점은 유의해야 합니다.

개발자 관계 책임자인 오퍼 멘델레비치는 Portal의 통합이 비개발자들의 채택을 크게 촉진할 것으로 기대한다고 전했습니다. 그는 사용자들이 Vectara의 기업 RAG 시스템의 역량을 강조할 혁신적인 애플리케이션을 만들어내기를 희망한다고 밝혔습니다.

Vectara Portal 작동 방식

Vectara Portal은 요청된 애플리케이션과 Apache 2.0 라이선스 하의 오픈 소스 제공 형식으로 작동합니다. 사용자는 맞춤형 포털을 만들고 이를 대상 고객과 공유할 수 있습니다.

시작하려면 사용자는 Vectara 자격 증명을 사용하여 Portal 계정을 생성하고 Vectara ID, API 키 및 OAuth 클라이언트 ID로 프로필을 설정해야 합니다. 프로필이 설정되면 사용자는 "포털 생성" 버튼을 클릭하고 앱의 이름, 설명 및 기능 등 기본 정보를 입력하고, 이를 통해 의미 기반 검색 도구, 요약 앱 또는 대화형 비서로 활용할 수 있습니다.

사용자 친화적인 Portal 관리 화면이 제공되어 사용자는 생성한 포털에 접근하고 설정을 조정하며 문서를 업로드하여 앱을 맞춤화할 수 있습니다. 이러한 문서는 Vectara의 RAG 플랫폼에 의해 색인이 생성되어 정확하고 허구가 없는 응답을 보장합니다.

“이 플랫폼은 강력한 검색 엔진과 최신 Boomerang 임베딩 모델을 갖추고 있어 응답 품질이 향상됩니다.”라고 멘델레비치는 언급했습니다. 코드 없이도 몇 번의 클릭으로 생성 AI 애플리케이션을 신속하게 개발할 수 있습니다.

포털이 설정되면 백엔드는 사용자의 Vectara 계정 내에 업로드된 문서와 관련된 "코퍼스"를 구축합니다. 이 코퍼스는 Vectara의 RAG API가 효율적으로 쿼리를 처리하고 가장 관련성 높은 답변을 제공하도록 돕습니다.

쿼리 과정에서 Vectara는 먼저 사용자의 질문에 적합한 문서의 주요 세그먼트를 식별한 후(검색 단계) 이 정보를 대형 언어 모델(LLM)로 전달합니다. 사용자는 Vectara의 Mockingbird 및 OpenAI의 모델을 포함한 여러 LLM 옵션 중에서 선택할 수 있습니다.

“Vectara Scale 고객을 위한 Portal은 플랫폼의 최상의 기능을 통합하며, 가장 효율적인 LLM들도 포함하고 있습니다.”라고 멘델레비치는 덧붙였습니다. 기본적으로 애플리케이션은 공개되어 링크를 통해 공유될 수 있지만, 사용자는 특정 개인만 접근할 수 있도록 제한할 수도 있습니다.

기업 채택 확대를 목표로

자체 호스팅 및 오픈 소스 형식으로 제공되는 코드 없는 플랫폼을 통해 벡타라는 더 많은 기업 사용자들이 다양한 활용 사례를 위한 강력한 생성 AI 애플리케이션을 개발할 수 있도록 하는 것을 목표로 하고 있습니다. 이는 회원가입 증가와 기업의 주요 RAG-as-a-service 제품에 대한 관심을 불러일으키고, 전환율 향상으로 이어질 것으로 기대됩니다.

“기업 제작자들은 RAG를 매력적인 활용 사례로 발견할 것이며, 우리는 그들이 Vectara의 끝단까지의 플랫폼의 전체 잠재력을 경험하기를 원합니다. Portal은 그 이해를 여는 열쇠가 될 것이며, 제품 관리자, 일반 관리자 및 C레벨 경영진에게 귀중한 자산이 될 것입니다.”라고 멘델레비치는 말했습니다.

벡타라는 현재 Obeikan Group, Juniper Networks, Sonosim 및 Qumulo를 포함하여 약 50개의 프로덕션 고객에게 서비스를 제공하고 있으며, 5천만 달러 이상의 자금을 성공적으로 조달했습니다.