생성 AI 모델을 배포하는 것은 기업이 단순한 개념 증명에서 효과적인 대규모 운영으로 전환하는 데 있어 상당한 도전 과제를 제기합니다. 2023년 AI 서밋 뉴욕에서 산업 전문가들이 공유한 인사이트에 따르면, 이러한 장애물을 극복하기 위해서는 먼저 장애물을 식별하는 것이 중요합니다.
주요 도전 과제 중 하나는 적절한 데이터를 수집하고 관리하는 것입니다. BCG의 매니징 디렉터인 Sesh Iyer는 잘 구성된 메타데이터를 포함한 지속 가능한 데이터 파이프라인의 필요성을 강조했습니다. 생성 AI 모델은 방대한 데이터 입력에 의존하므로 기업은 대규모 언어 모델의 잠재력을 극대화하기 위해 지식 기반을 개선해야 합니다. Mastercard의 AI 제품 개발 디렉터인 Gaurav Dhama도 최적화된 데이터 관리의 중요성을 언급했습니다.
생성 AI와 관련된 고유한 위험을 관리하기 위한 효과적인 거버넌스 프레임워크를 구축하는 것도 중요한 과제입니다. 기업의 고위 경영자들 사이에는 보안 위험, 저작권 문제 및 AI 생성 부정확성에 대한 우려가 만연해 있습니다. Ironside의 수석 데이터 과학자 Lucinda Linde는 이러한 우려를 강조하며, 리더들이 기술을 온전히 받아들이기 위해 이러한 위험을 신중하게 탐색해야 한다고 전했습니다.
생성 AI를 효과적으로 활용할 수 있는 숙련된 전문 인력의 부족도 하나의 장애물입니다. 많은 조직이 AI 이니셔티브에서 비즈니스 가치 및 투자 수익(ROI)을 식별하는 데 어려움을 겪고 있으며, 생성 AI와 관련된 변동 비용은 지속적인 불확실성에 기여하고 있습니다.
생성 AI 기술의 초기 단계로 인해 Coinbase의 AI/ML 제품 전략 및 개발을 이끄는 Vik Scoggins는 “아직 평탄한 길이 아니다”라고 언급했습니다. 이 경관은 기업이 신중하게 생성 AI에 접근해야 하며, Dhama는 생성 AI가 특히 금융 서비스와 같은 고도로 규제된 분야에서 인간의 감독이 여전히 필수적인 "코파일롯 단계"에 오랫동안 머물 것이라고 예측했습니다.
또한, 생성 AI를 사용할 때 보안 취약성이 발생할 수 있으며, 특히 코딩 작업에서 더욱 그렇습니다. Dhama는 이러한 도구를 시행하는 사람들의 전문성이 중요하다고 강조했습니다. Linde는 기업이 직원의 생산성과 효율성을 높이기 위해 내부적으로 생성 AI를 배포하기 시작할 것을 권장하며, 초기에는 백오피스 기능에서 사용하여 조직 내 신뢰가 높아지면 더 넓은 구현으로 나아갈 수 있다고 제안했습니다.
새로운 기술 채택에 따른 도전 과제에도 불구하고, 생성 AI가 제공하는 생산성 향상 가능성은 매력적입니다. Iyer는 조직이 10%에서 90%까지의 효율성 향상을 경험할 수 있다고 추정합니다.
효과적으로 생성 AI를 활용하는 또 다른 중요한 측면은 기술 사용의 다양성입니다. Linde는 현재 애플리케이션에서 OpenAI의 기술이 보편화되어 있음에도 불구하고 여러 생성 AI 모델을 사용하는 것의 중요성을 강조했습니다. OpenAI CEO Sam Altman과 관련된 최근의 혼란은 단일 공급자 의존의 위험성을 상기시킵니다.
다양한 모델을 탐색하는 것은 필수적이며, 서로 다른 시스템이 다양한 분야에서 뛰어난 성능을 발휘합니다. Linde는 Mistral과 같은 신생 모델이 뛰어난 성능을 발휘하고 있음을 언급하며 이러한 모델을 넓은 전략의 일환으로 고려해야 한다고 강조했습니다. Dhama도 이 의견에 동조하며 회복력을 높이기 위해 다양한 시스템을 활용할 것을 주장했습니다.
생성 AI 프레임워크를 설계할 때는 정확성, 지연 시간, 비용 등의 주요 고려 사항이 있습니다. 많은 조직이 유사한 기본 모델을 활용하고 있는 시장에서 차별화 요소는 적절한 데이터의 품질에 있다는 점이 강조되었습니다. Dhama는 “모델이 아닌 데이터에 있다”고 간결하게 표현했습니다.
생성 AI로부터 최대 가치를 얻기 위해서는 비즈니스 인사이트와 운영 실행의 전략적 교차점이 필요하며, 적절한 데이터의 큐레이션에 강한 비중을 두어야 합니다. Iyer는 “데이터가 있다면 승리한다”는 강력한 메시지로 마무리했습니다.