지난 10년 동안 데이터 도구와 인프라의 환경이 극적으로 변화했습니다. 2009년부터 클라우드 데이터 인프라 회사를 운영하며 2013년 데이터 엔지니어를 위한 모임 커뮤니티를 창립한 저는 '데이터 엔지니어'라는 직함이 공식화되기 훨씬 이전부터 이 커뮤니티의 변화를 목격해왔습니다. 이러한 독특한 시각은 과거의 교훈을 반영하고 새로운 AI 시대의 발전에 어떻게 영향을 미칠지 고민하게 합니다.
기술 인류학의 관점에서 2013년은 '빅 데이터' 시대에서 '현대 데이터 스택' (MDS) 시대로의 전환을 의미합니다. 빅 데이터 시대에는 더 많은 데이터가 더 나은 통찰력을 제공한다는 믿음이 만연했으며, 이는 새로운 비즈니스 가치를 창출하는 열쇠로 여겨졌습니다.
한 인터넷 기업의 전략 컨설턴트로 일할 당시, 저는 매일 수십억 건의 DNS 쿼리에서 잠재적인 1억 달러의 통찰력을 발견하기 위한 전략을 개발하는 임무를 수행했습니다. 그러나 제한된 시간 안에 의미 있는 통찰력을 발견하지 못하면서, 방대한 데이터를 저장하는 것은 비교적 쉽지만, 그로부터 의미 있는 통찰력을 추출하는 것은 복잡하고 자원이 많이 드는 작업이라는 중요한 교훈을 reinforced하게 되었습니다.
이러한 도전을 인식한 기업들은 데이터 시스템이 최적화되어야만 통찰력을 생성할 수 있다는 신념에 따라 데이터 인프라를 강화하기 위해 분주했습니다. 이 과정에서 데이터 스택을 완성할 수 있는 도구들이 폭발적으로 출시되었습니다.
'폭발'이라는 표현은 가볍게 사용되지 않습니다; Matt Turck의 2024 MAD(Machine Learning, AI, and Data) Landscape에 따르면, 데이터 인프라 도구를 제공하는 기업의 수가 2012년 139개에서 올해 2,011개로 폭증했습니다. 이는 무려 14.5배 증가한 수치입니다.
도구 선택의 과제
현재의 데이터 환경은 여러 요인에 의해 형성되었습니다. 많은 기업이 온프레미스 작업을 클라우드로 이전했으며, 현대 데이터 스택 공급업체들은 신뢰성과 유연성, 확장성을 갖춘 관리형 서비스를 제공하고 있습니다.
그러나 기업들이 제로 금리 정책(ZIRP) 기간 동안 도구를 확장하면서 상당한 과제가 발생했습니다. 여러 이질적인 도구를 활용하는 복잡성, 통합의 어려움, 그리고 활용되지 않는 클라우드 서비스는 MDS가 약속을 이행할 수 있을지에 대한 의문을 제기했습니다.
많은 Fortune 500 기업들이 데이터 인프라에 대한 전략 없이 막대한 투자를 했습니다. 다양한 도구를 수집하는 매력은 중복을 초래했으며, 같은 조직 내 팀들이 Tableau와 Looker와 같은 중복 플랫폼을 활용하여 비용만 늘어나는 결과를 초래했습니다.
제로 금리 정책의 거품이 꺼진 후에도 MAD 환경은 계속해서 확장되고 있습니다. 그 이유는 무엇일까요?
새로운 AI 스택
ZIRP 시대 동안 자금을 확보한 많은 데이터 도구 기업들은 기업 예산이 타이트해지고 시장 수요가 감소함에도 불구하고 여전히 운영되고 있습니다. 주요 요인은 AI에 대한 강한 관심으로, 이로 인해 이전 시대의 시장 통합 없이 새로운 데이터 도구의 물결이 일어났습니다.
'AI 스택'은 근본적으로 새로운 패러다임을 나타냅니다. 기존 데이터 스택이 구조화된 데이터를 위해 설계된 반면, 새로운 AI 물결은 방대한 비구조화 데이터 세트인 텍스트, 이미지, 비디오에 기반하여 발전하고 있습니다. 또한 생성적 AI 모델은 ChatGPT와 같은 도구에서 볼 수 있듯, 변하지 않은 입력에서도 다양한 출력을 생성하여 기존의 결정론적 기계 학습 모델과 차별화됩니다.
이러한 차이를 고려할 때, 개발자들은 AI 모델 출력을 평가하고 모니터링하는 새로운 방법론을 채택해야 하며, 윤리적 거버넌스와 효과적인 통합을 보장해야 합니다. 중점적으로 다루어야 할 분야는 에이전트 오케스트레이션(모델 간 통신), 틈새 사용 사례를 위한 전문 모델 개발, 데이터 세트 큐레이션을 위한 혁신적인 워크플로우 도구입니다.
수많은 스타트업이 이러한 도전에 이미 대응하고 있으며, 새로운 AI 스택 내에서 최첨단 도구들이 등장하고 있습니다.
새로운 AI 시대에서 더 스마트하게 구축하기
이 새로운 AI 시대를 헤쳐 나가면서 우리는 과거를 인식하는 것이 중요합니다. 데이터는 AI의 기반이며, 오늘날 이용 가능한 다양한 도구들은 데이터를 중요한 자산으로 다룰 수 있는 길을 열었습니다. 그러나 우리는 과거의 과잉에서 벗어날 방법을 고민해야 합니다.
하나의 접근법은 기업이 특정 데이터나 AI 도구에서 기대하는 가치를 명확히 하는 것입니다. 전략적 목적 없이 기술 트렌드를 지나치게 수용하는 것은 해로울 수 있으며, AI의 열풍이 주목과 예산을 쓸어가고 있기 때문에 명확한 가치와 측정 가능한 ROI를 보여주는 도구에 우선순위를 두는 것이 필수적입니다.
창립자들은 '나도 할 수 있어' 식의 솔루션을 만드는 것에 신중해야 합니다. 혼잡한 시장에서 새로운 도구를 추구하기 전에 팀이 진정한 가치를 추가할 수 있는 독특한 통찰력과 차별화된 전문성을 보유하고 있는지를 평가해야 합니다.
투자자 또한 투자를 선택하기 전, 데이터 및 AI 도구 스택 전반에서 가치가 어디에 모일지를 비판적으로 평가해야 합니다. 저명한 기업의 창립자의 경력만을 믿고 투자하는 것은 차별화되지 않은 제품으로 가득 찬 시장을 초래할 수 있습니다.
최근 한 회의에서 제기된 흥미로운 질문이 있습니다: “데이터의 한 행이 부정확하면 비즈니스에 어떤 비용이 발생할까요?” 이는 기업들이 운영 내에서 데이터와 도구의 가치를 정량화하는 명확한 프레임워크를 수립하도록 촉구합니다.
이러한 명확성이 없다면, 데이터와 AI 도구에 대한 어떤 투자도 기존의 혼란을 해결하지 못할 것입니다.
순위 목록
