Q&A를 넘는 힘을 발견하세요: Vectara, 혁신적인 RAG 기반 챗 모듈 공개

생성적 AI 시대에 챗봇이 그 어느 때보다 널리 사용되고 있지만, 과연 챗봇이 진정으로 더 유용하고 정확한 것일까요? 오늘, 생성적 AI 플랫폼 구축업체인 Vectara가 기업들이 고도화된 챗봇을 제작하고 구현할 수 있도록 설계된 새로운 모듈을 공개했습니다. Vectara는 Retrieval Augmented Generation (RAG) 방식과 Boomerang 벡터 임베딩을 결합하여 실시간 정보를 제공하면서 망상 발생 위험을 최소화합니다. 2022년 10월 스텔스 모드에서 등장한 이후, Vectara는 사용자 요구에 맞춰 플랫폼을 점진적으로 개선해 왔으며, 이번 챗 모듈의 도입은 기능 확장의 중요한 이정표가 됩니다.

"Tallat Shafaat Vectara의 공동 창립자이자 Chief Architect는 '우리의 챗 기능을 사용하면 RAG를 활용해 응답을 생성합니다.'라고 말했습니다. '답변은 여러분의 문서에서 직접 가져와 정확성을 높입니다.'"

현대 챗봇: Q&A를 넘어선 대화형 AI

Vectara의 새로운 챗 모듈이 기존 제품과 차별화되는 점은 무엇일까요? Vectara의 공동 창립자이자 CEO인 Amr Awadallah에 따르면, 가장 중요한 것은 확장성과 대화 지속성입니다. 과거에 Vectara의 API는 질문과 답변 형식의 상호작용에 초점을 맞췄지만, 이로 인해 사용자가 후속 질문을 할 때 원래 질문을 다시 진술해야 했습니다. 새로운 Vectara 챗 모듈에서는 지속적인 메모리를 통합하여 플랫폼이 대화 이력을 원활하게 추적할 수 있습니다. Awadallah는 "이 새로운 확장을 통해 우리의 API가 대화 이력을 유지하므로 이전 쿼리를 다시 표현할 필요가 없습니다."라고 밝혔습니다.

Vectara는 배포를 위해 API와 간단한 위젯을 제공하여 기업들이 몇 줄의 JavaScript와 HTML만으로 챗 모듈을 웹사이트나 애플리케이션에 쉽게 통합할 수 있도록 하고 있습니다. 앞으로 Shafaat는 Vectara 챗의 기업 관리 기능을 강화할 계획을 언급하며, 계정 소유자는 고객의 챗 이력을 의미론적으로 분석하여 사용자 감정과 쿼리 트렌드에 대한 통찰을 얻을 수 있을 것이라고 전했습니다. RAG 기반 쿼리 기능은 사용자 챗에 대한 문의 또한 지원할 것입니다.

생성적 AI의 망상과 편향 문제 해결

기업에서 생성적 AI를 사용할 때 가장 큰 도전 과제 중 하나는 망상 위험입니다. Vectara의 RAG 접근법은 챗 모듈의 부정확한 응답 가능성을 줄이기 위해 설계된 여러 전략 중 하나입니다. Awadallah는 Vectara의 시스템이 인용을 포함한 설명 가능한 응답을 제공하여 정확성을 높인다고 강조했습니다. 또한, 플랫폼은 최대 한계 관련성(maximal marginal relevance)이라는 혁신적인 접근을 통해 편향 완화를 도입하고 있습니다.

"최대 한계 관련성은 우리가 반환하는 결과의 다양성을 증가시킵니다."라고 그는 설명했습니다. Awadallah는 다양한 의견이 존재하는 논란의 여지가 있는 주제에 대해 여러 관점을 제시하기 위해 강력한 알고리즘이 중요하다고 덧붙였습니다. "우리는 주요 의견과 덜 관련성이 있는 2차 의견도 포착하도록 합니다."라고 그는 말했습니다.

정확성, 다양성 및 사용자 참여에 중점을 두며, Vectara는 챗봇의 기업 커뮤니케이션에서의 역할을 한층 강화하고자 합니다.