미디어 AI 임팩트 투어가 최근 샌프란시스코를 방문하여 생성 AI의 실제 적용 사례와 해당 이니셔티브의 복잡성에 대해 논의했습니다. 미디어 CEO인 맷 마샬은 DataStax의 최고 제품 책임자 에드 아누프, 제네시스 헬스의 최고 혁신 책임자 니콜 카우프만, Skypoint의 CEO 티슨 매튜와 함께 이야기를 나눴습니다.
이 대화는 기업들이 생성 AI의 탐색적 단계에서 성숙한 구현으로 전환하는 데 있어 중대합니다. 회사들은 이제 ChatGPT와 같은 도구로 간단한 실험을 넘어서, 이 기술을 어떻게 활용하고 필수 비즈니스 데이터와 통합하여 생산적으로 사용할 수 있을지를 고민하고 있습니다.
“우리는 AI 성숙 모델의 출현을 목격하고 있습니다.”라고 아누프는 언급했습니다. “조직들이 단기 성과를 목표로 한 일회성 프로젝트에서 높은 영향력과 가시성을 지닌 비즈니스 참여자가 주도하는 중요한 AI 이니셔티브로 전환하고 있습니다. 이러한 노력은 개발에 시간이 더 걸릴 수 있지만, 그 변혁적 잠재력은 의미가 큽니다.”
생성 AI는 백오피스 운영부터 대외 웹사이트 및 모바일 애플리케이션에 이르기까지 다양한 사용 사례에 적용될 수 있습니다. 회사들은 여전히 "챗봇"이나 "대화형 인터페이스"와 같은 용어를 사용하지만, 궁극적으로 적절한 맥락에서 인터랙티브한 데이터 검색을 가능하게 하는 지식 응용 프로그램을 만드는 것을 목표로 하고 있습니다. 주요 결정은 이러한 솔루션을 내부에서 개발할지 아니면 상용 제품을 활용할지에 대한 것입니다.
사전 생산 고려사항
고객 지원 또는 재무 분석을 위해 많은 조직이 생성 AI를 사용하여 내부 데이터에서 인사이트를 도출하는 애플리케이션을 만들고자 합니다. 아누프는 “데이터 볼륨과 맞춤형 인터페이스의 특정 요구 사항에 따라 상용 솔루션이 매우 효과적일 수 있습니다.”라고 설명했습니다. “아마존과 같은 회사는 문서를 업로드하여 즉각적인 챗봇 반응을 받을 수 있는 플랫폼을 제공합니다. 이는 빠르고 간단한 구현을 가능하게 합니다.”
하지만 기업들이 소규모 백오피스 애플리케이션에서 핵심 비즈니스 기능과 연결된 중요한 사용 사례로 초점을 확장함에 따라, 기본 솔루션은 부족할 수 있습니다. 아누프는 실시간 데이터 소스와의 연결이 필요한 의료 애플리케이션을 예로 들며, 최신 환자 정보를 기반으로 정확한 응답을 제공해야 한다고 언급했습니다. 그는 또한 아시아 태평양의 금융 기관에서 실시간 데이터로부터 정보가 제공되는 채팅 기반 재무 계획에 직접 접근할 수 있는 AI 에이전트를 강조했습니다.
“그것은 귀사의 핵심 데이터에 연결된 맞춤형 AI RAG(정보 검색 증강 생성) 애플리케이션입니다.” 그는 주장했습니다. “홈디포와 베스트 바이와 같은 고급 소매업체들은 브랜드와 비즈니스 운영에 맞춘 맞춤형 경험을 개발하기 위해 전담 웹 엔지니어링 팀에 투자합니다.”
준비도 및 비용 계산
조직들이 아이디어 단계에서 나아갈수록 두 가지 주요 과제에 직면하게 됩니다: 관련성과 비용입니다.
“관련성은 데이터 분야에서 많은 이들에게 새로운 핵심 지표입니다.”라고 아누프는 설명했습니다. “조직은 AI 생성 응답이 얼마나 적합한지를 평가할 필요가 있습니다. 관련성 문제는 전체 데이터 아키텍처를 재평가해야 할 수도 있습니다.”
이것은 두 번째 문제인 비용에 영향을 미칩니다. 관련성이 높고 깨끗한 결과를 제공하는 방법을 찾는 것은 비용이 많이 들며, 조직은 생산을 위한 규모를 평가하는 데 드는 비용 또한 고려해야 합니다.
“이러한 문제에 대한 논의는 팀들이 생산을 위해 얼마나 준비되어 있는지를 현실적으로 측정하는 데 도움이 됩니다.” 그는 덧붙였습니다. “관련성이 계속해서 장벽이 된다면, 팀들이 초기 아키텍처 문제를 넘어서긴 했지만 생산 비용으로 인해 새로운 복잡성에 직면하고 있다는 것을 나타냅니다.”
환각, 데이터, 및 RAG의 중요성
AI의 응답이 부정확할 때 흔히 '환각'이라는 용어가 사용됩니다. 이는 유용한 구어체 용어로 작용하지만, 모든 잘못된 응답이 환각은 아닙니다; 일부는 훈련 데이터의 오류로 인해 발생합니다. 환각은 대형 언어 모델(LLM)이 훈련 범위를 초과해 모호하거나 오해의 소지가 있는 콘텐츠를 생성할 때 발생합니다. 아누프는 이러한 문제에 대한 효과적인 해결책, 특히 RAG를 통해 이를 해결할 수 있다고 강조했습니다.
RAG는 지식 검색과 생성 AI를 결합하여 시스템이 내부 지식 기반의 데이터를 처리하고 통합할 수 있도록 하며, 단순한 정보를 요약하는 것이 아니라 맥락을 인식한 자연어 응답을 제공합니다.
“대형 언어 모델은 두 가지 영역에서 탁월합니다.” 아누프는 말했습니다. “첫째, 언어의 미묘함을 이해합니다. 둘째, 지식 저장소 역할을 합니다. 프로그래머는 응답에 대한 제한을 부과하여 내재적인 지식을 얼마나 활용할지를 제어할 수 있습니다. 이를 통해 모델이 관련 데이터에 집중하도록 해 환각의 위험을 상당히 줄일 수 있습니다.”
또한 아누프는 RAG가 추론 과정에서 실시간 기업 데이터를 안전하고 정확하게 모델에 통합하는 데 필수적임을 강조했습니다.
“다른 데이터 통합 방법도 존재하지만, 종종 안전성, 실시간 기능, 보안이 부족합니다.” 그는 주장했습니다. “이런 이유로, 우리가 이를 RAG라고 명명하든 상관없이 모델-데이터베이스 결합을 사용하는 방식은 앞으로도 산업에서 보편적으로 사용될 것입니다.”
순위 목록
