2023년의 통찰: 현대 데이터 스택에 통합된 LLMs의 이해

ChatGPT가 1년 이상 전에 출시되면서 인터넷 사용자들에게 언제든지 이용 가능한 AI 도우미를 제공하게 되었습니다. 이 AI는 에세이와 같은 자연어 콘텐츠 생성부터 복잡한 정보 분석까지 다양한 작업을 수행할 수 있습니다. 이러한 빠른 발전은 GPT 시리즈 대형 언어 모델(LLM) 뒤에 있는 강력한 기술을 보여줍니다.

오늘날 LLM, 특히 GPT 시리즈는 단순히 개별 작업을 향상시키는 것을 넘어 전체 비즈니스 운영을 혁신하고 있습니다. 기업들은 상업용 모델 API와 오픈 소스 솔루션을 활용해 반복적인 작업을 자동화하고 효율성을 높이며 핵심 기능을 간소화하고 있습니다. 예를 들어, 마케팅 팀을 위한 광고 캠페인을 설계하거나 고객 지원을 신속하게 처리하기 위해 AI와 상호작용하는 것을 상상해 보세요.

데이터 스택의 변화

데이터는 대형 언어 모델의 성능에 필수적입니다. 이러한 모델이 효과적으로 학습되면 팀은 데이터를 효율적으로 조작하고 분석할 수 있습니다. ChatGPT와 경쟁 모델이 과거 1년 동안 인기를 얻으면서 많은 기업들이 생성 AI를 데이터 워크플로에 통합해 사용자 경험을 단순화하고 고객이 핵심 작업에 더 많은 시간과 자원을 절약할 수 있게 돕고 있습니다.

가장 주요한 발전 중 하나는 대화형 쿼리 기능의 도입입니다. 이 기능은 사용자가 복잡한 SQL 쿼리를 작성할 필요 없이 자연어로 구조화된 데이터(행과 열로 구성된 데이터)에 상호작용할 수 있도록 합니다. 이 텍스트-투-SQL 기능을 통해 비전문가도 간단한 언어로 쿼리를 입력하고 데이터로부터 통찰을 받을 수 있습니다.

Databricks, Snowflake, Dremio, Kinetica, ThoughtSpot와 같은 주요 공급업체들이 이 기능을 선도하고 있습니다. Kinetica는 초기 ChatGPT를 활용하다가 지금은 자체 LLM을 사용하고 있으며, Snowflake는 대화형 데이터 문의 및 SQL 쿼리 생성을 위한 코파일럿과 이미지 및 PDF와 같은 비구조 데이터셋에서 정보를 추출하는 Document AI 도구를 제공합니다. Databricks는 'LakehouseIQ' 솔루션으로 유사하게 운영하고 있습니다.

AI 기반 분석에 초점을 맞춘 신생 스타트업도 등장하고 있습니다. 예를 들어, 캘리포니아에 위치한 DataGPT는 실시간으로 수천 개의 쿼리를 실행하고 결과를 대화 형식으로 제공하는 전용 AI 분석가를 제공합니다.

데이터 관리 및 AI 이니셔티브 지원

LLM은 통찰력을 생성하는 것 외에도 강력한 AI 제품을 구축하는 데 필요한 데이터 관리 작업을 지원하고 있습니다. Informatica는 5월에 자연어 입력을 통해 Intelligent Data Management Cloud(IDMC) 데이터 자산을 발견, 관리 및 상호작용할 수 있도록 돕는 다중 LLM 대화형 AI 도구인 Claire GPT를 소개했습니다. Claire GPT는 데이터 발견, 파이프라인 생성, 메타데이터 탐색, 품질 관리 등 다양한 기능을 수행합니다.

AI 제품 개발을 지원하기 위해 Refuel AI는 데이터 라벨링 및 보강 작업에 특화된 LLM을 도입했습니다. 2023년 10월에 발표된 연구에 따르면, LLM은 데이터셋의 노이즈를 효과적으로 줄일 수 있어 품질 높은 AI를 보장하는데 필수적인 단계입니다.

LLM은 데이터 통합 및 오케스트레이션과 같은 데이터 엔지니어링 분야에서도 적용됩니다. LLM은 다양한 데이터 유형을 변환하거나 서로 다른 소스에 연결하고 YAML 및 Python 템플릿을 생성하여 Airflow DAG 구축에 필요한 코드를 생성할 수 있습니다.

미래를 바라보며

불과 1년 만에 LLM은 기업 환경에 중요한 영향을 미쳤고, 2024년에는 데이터 스택 전반에 걸쳐 더 많은 응용 프로그램이 등장할 것으로 기대됩니다. 특히 데이터 가시성 분야에서 몬테카를로는 데이터 파이프라인의 문제를 식별하고 수정 코드를 추천하는 Fix with AI 도구를 도입했습니다. 유사하게 Acceldata는 데이터 가시성을 위해 LLM 통합을 강화하기 위해 Bewgle를 인수했습니다.

새로운 응용 프로그램이 등장함에 따라 팀은 자체 개발하거나 미세 조정된 언어 모델이 높은 성능을 유지해야 합니다. 작은 오류도 고객 경험에 큰 영향을 미칠 수 있습니다.