DataStax는 기업이 강화된 AI 도구 업데이트를 통해 RAG '지옥'을 극복할 수 있도록 지원합니다.

기업 AI를 위한 Retrieval Augmented Generation (RAG): DataStax 개요

Retrieval Augmented Generation (RAG)은 기업 환경에서 생성 AI를 활용하는 데 매우 중요합니다. 그러나 대규모 언어 모델(LLM)과 데이터베이스를 연결하는 것은 시작에 불과합니다. DataStax는 생산 환경에서 RAG와 관련된 복잡성을 해결하기 위해 새로운 기술 모음에 집중하고 있습니다.

Apache Cassandra 데이터베이스의 상업적 지원 버전으로 인정받는 DataStax Astra DB는 지난 한 해 동안 생성 AI와 RAG에 대한 집중을 강화해왔습니다. 이에는 벡터 데이터베이스 검색 기능 통합과 RAG 애플리케이션 개발을 위한 데이터 API 제공이 포함됩니다.

기업 RAG의 발전: Langflow 1.0

DataStax는 Langflow 1.0의 출시로 기업 RAG 분야에서 중요한 진전을 이루었습니다. 이를 통해 개발자는 RAG 및 AI 에이전트 워크플로를 더욱 효율적으로 생성할 수 있습니다. 또한, 개선된 Vectorize 도구는 다양한 벡터 임베딩 모델을 제공하며, RAGStack 1.0은 여러 도구를 통합하여 기업급 배포를 지원합니다.

DataStax의 최고 제품 책임자 Ed Anuff는 RAG의 기본 아키텍처는 단순해 보일 수 있지만, 기업 수준의 효율성을 달성하는 것은 흔한 도전 과제라고 설명했습니다. Anuff는 기업들이 성공적인 개념 증명 이후 실망스러운 결과를 경험하는 ‘RAG 지옥’ 현상을 언급했습니다.

“많은 기업이 실시간 데이터 세트를 RAG 애플리케이션에 통합하는 데 어려움을 겪고 있습니다.”라고 Anuff는 말했습니다. DataStax의 업데이트의 목표는 이러한 장애물을 극복하고 애플리케이션을 성공적으로 배포할 수 있도록 돕는 것입니다.

Langflow로 RAG 애플리케이션 구축하기

DataStax는 4월 4일, 오픈 소스 LangChain 기술을 기반으로 한 직관적인 도구 Langflow를 인수했습니다. 이달에 Langflow 1.0이 오픈 소스 제품으로 출시되었으며, 구성 요소 라이브러리가 확장되고 DataStax의 다른 제품과의 통합이 향상되었습니다.

의의 있는 발전 중 하나는 Langflow의 튜링 완전성으로, 애플리케이션 내에서 복잡한 논리 흐름과 조건을 허용합니다. 이 기능은 향상된 분기 및 결정 기능을 통합하여 애플리케이션이 채팅 기록이나 사용자 행동과 같은 입력에 따라 적응할 수 있도록 합니다. Anuff는 “이러한 발전은 대화형 에이전트와 같은 애플리케이션에서 사용자 경험을 개선하여 더 높은 관련성과 상호작용을 제공합니다.”라고 언급했습니다.

RAG에서 벡터와 비정형 데이터의 역할

RAG의 핵심은 벡터 데이터베이스에 저장된 벡터 임베딩으로, 임베딩 모델 선택이 중요합니다. DataStax의 Vectorize 기술은 사용자에게 Azure OpenAI, Hugging Face, NVIDIA NeMo와 같은 제공자에서 맞춤형 임베딩 모델을 선택할 수 있는 기능을 제공합니다.

“이 다양한 임베딩 모델은 각각 고유한 최적화 및 트레이드오프가 있습니다.”라고 Anuff는 설명했습니다. “올바른 모델 선택은 성능을 크게 향상시킬 수 있습니다.”

DataStax는 비정형 데이터를 벡터화하기 전에 구조화하는 unstructured.io와 협력하여 RAG 구현의 정확도를 향상시키고 있습니다. Anuff는 이 통합이 AI 애플리케이션 배포의 정밀도와 정확성을 높인다고 강조했습니다.

RAGStack 1.0과 ColBERT 소개

이 개발의 핵심은 다양한 AI 생태계 구성 요소와 DataStax의 독자적인 도구를 통합한 기업 중심의 프레임워크인 RAGStack 1.0입니다. 이번 버전의 주목할 만한 추가 기능은 RAG 애플리케이션의 맥락 일치 및 관련성을 향상시키는 회수 알고리즘 ColBERT(맥락화된 BERT 표현)입니다.

“ColBERT를 사용하면 바늘 모양의 물체들 중에서 바늘을 찾는 것과 같습니다.”라고 Anuff는 말했습니다. “관련 없는 데이터를 뒤지기보다는 내가 찾고 싶은 정확한 바늘을 자신 있게 찾을 수 있습니다.”

결론적으로, DataStax는 기업들이 RAG와 생성 AI를 도입하는 방식을 혁신하며, 애플리케이션에서 효율성과 관련성을 최적화하는 데 필요한 도구를 제공합니다.