오늘, Databricks는 데이터 인텔리전스 플랫폼 내에 새로운 검색 증강 생성(RAG) 도구를 출시했습니다. 이 도구들은 기업들이 다양한 사용 사례에 맞춘 고품질 대형 언어 모델(LLM) 애플리케이션을 구축, 배포 및 유지하는 데 도움을 주기 위해 설계되었습니다.
현재 공개 미리보기로 제공되는 이 도구들은 생산 준비가 완료된 RAG 애플리케이션 개발에 있어 중요한 과제를 해결합니다. 다양한 출처에서 적절한 모델과 함께 관련 실시간 비즈니스 데이터를 통합하는 과정을 간소화하며, LLM에 자주 발생하는 독성 문제 등을 효과적으로 모니터링할 수 있도록 지원합니다. Databricks의 AI/ML 제품 책임자 Craig Wiley는 RAG 앱 개발의 긴급성을 강조하며, “조직들이 정확하고 고품질의 응답을 일관되게 제공하면서 바람직하지 않은 출력물을 방지하기 위한 가드레일을 구현하는 데 어려움을 겪고 있습니다.”라고 말했습니다.
RAG 이해 및 도전 과제
LLM의 인기가 높아지는 가운데, 많은 기존 모델은 매개변수화된 지식에 의존해 최신 정보나 맥락에 맞는 응답을 제공하는 데 한계가 있습니다. RAG는 특정 데이터 소스를 활용하여 모델 응답의 정확성과 신뢰성을 향상시킵니다. 예를 들어, HR 데이터로 훈련된 모델은 직원들의 다양한 문의를 지원할 수 있습니다.
RAG는 여러 복합 작업을 포함하며, 이는 다양한 소스에서 구조적 및 비구조적 데이터를 수집하고 준비하며, 모델 선택, 프롬프트 설계 및 지속적인 모니터링을 포함합니다. 이러한 단편적인 접근 방식은 종종 성과가 낮은 RAG 애플리케이션을 초래합니다.
Databricks의 선도적 역할
Databricks의 새로운 RAG 도구는 다양한 과정을 통합하여 팀이 신속하게 프로토타입을 만들고 고품질 RAG 애플리케이션을 배포할 수 있도록 합니다. 벡터 검색 및 기능 제공과 같은 기능은 Delta 테이블에서 구조적 및 비구조적 데이터가 LLM 애플리케이션과 원활하게 동기화되도록 하여 복잡한 데이터 파이프라인을 구축할 필요성을 없앱니다. 이는 정확하고 맥락에 맞는 응답을 위한 최신 비즈니스 정보에 접근할 수 있도록 보장합니다.
Databricks의 공동 창립자이자 엔지니어링 부사장인 Patrick Wendell과 신경망 CTO인 Hanlin Tang은 “Unity Catalog는 오프라인 및 온라인 데이터셋 간의 계보를 자동으로 추적하여 데이터 품질 문제의 디버깅을 단순화하고, 더 나은 데이터 거버넌스를 위한 접근 제어 설정을 강제합니다.”라고 언급했습니다.
또한, 개발자들은 통합된 AI 플레이그라운드와 MLFlow 평가를 통해 Azure OpenAI Service, AWS Bedrock 및 Llama 2, MPT와 같은 오픈소스 모델 등 다양한 공급자의 모델을 평가할 수 있습니다. 이러한 유연성은 팀이 성과가 좋고 비용 효율적인 모델을 배포할 수 있도록 하며, 향후 더 나은 솔루션으로 전환할 수 있는 선택권을 제공합니다.
고급 모니터링 기능
RAG 애플리케이션 배포 후에는 그 성과를 대규모로 모니터링하는 것이 중요합니다. Databricks는 독성, 환각, 또는 안전하지 않은 콘텐츠에 대한 자동 응답 스캔 기능을 갖춘 완전 관리형 레이크하우스 모니터링 기능을 제공합니다. 이 선제적 탐지는 대시보드, 알림 시스템 및 데이터 파이프라인으로 연결되어 팀이 빠르게 수정 조치를 취할 수 있도록 합니다. 이 기능은 모델 및 데이터셋 계보와 통합되어 오류 및 그 원인을 신속하게 식별할 수 있게 합니다.
조기 채택 성공
신규 도구가 출시된 직후, RV 공급업체 Lippert 및 EQT Corporation과 같은 기업들이 Databricks 데이터 인텔리전스 플랫폼 내에서 이미 그 기능을 테스트하고 있습니다. Lippert에서 데이터 및 AI를 담당하는 Chris Nishnick는 “Databricks는 다양한 콘텐츠 출처를 우리의 벡터 검색에 통합하여 상담원이 필요한 정보를 쉽게 받을 수 있도록 하여 콜센터 운영을 개선합니다. 이 혁신적인 접근 방식은 효율성과 고객 지원을 크게 향상시킵니다.”라고 전했습니다.
Internally, Databricks는 또한 RAG 애플리케이션을 배포하고 있습니다. Wiley에 따르면, 회사의 IT 팀은 계정 임원용 RAG Slackbot과 영업 개발 대표를 위한 브라우저 플러그인을 파일럿 운영 중입니다.
전문화된 LLM 애플리케이션에 대한 수요가 증가함에 따라, Databricks는 RAG 도구 제품군에 상당한 투자를 계획하고 있습니다. 목표는 고객이 대규모로 고품질 LLM 애플리케이션을 배포할 수 있도록 지원하며, 이 분야에서 연구 및 향후 혁신에 지속적으로 전념하는 것입니다.
순위 목록
