생성적 AI의 놀라운 자연어 처리 능력은 대규모 언어 모델(LLM)에 의해 강화되어 공공의 주목을 받기 시작했습니다. 이러한 광범위한 모델은 우리의 시대에서 가장 중요한 발전 중 하나일 수 있습니다. 역설적으로, AI의 발전은 이제 수많은 오픈소스 LLM이 등장하면서 기업을 위한 수천 개의 도메인 특화 LLM으로 이어지고 있습니다.
LLM 기반 AI 서비스는 일상 작업을 자동화하고 생산성 보조 역할을 할 수 있습니다. 그러나 AI가 복잡한 문제를 해결하고 조직의 핵심 사명을 강화하며 소비자 경험을 개인화하려면 LLM이 전문화되어야 합니다. 많은 산업 전문가들은 대부분의 조직에서 인공지능의 대부분이 기존의 기업 IT, 에지, 클라이언트 인프라에서 운영되는 민첩한 전문 모델에 의해 제공될 것이라고 동의합니다.
LLM은 경쟁 우위를 제공할까요?
수백억 개의 매개변수로 훈련된 LLM은 데이터 센터 규모의 클러스터를 사용하여 웹 규모의 데이터로 훈련되어 클라우드 제공업체나 AI 서비스 회사에서 배포하는 다양한 AI 플랫폼을 만듭니다. 이러한 모델의 개발에는 수억 달러가 소요되며, 운영 비용은 수천만 달러에 이릅니다. 이러한 대형 모델은 공개 데이터에서 일반적이고 비독점적인 결과를 생성하는 데 탁월하지만, 대부분의 조직이 유사한 생성적 AI 서비스를 API 호출을 통해 사용하기 때문에 주된 장점은 단순히 경쟁에 뒤처지지 않는 데 있습니다.
조직이 고유한 제품 및 서비스를 창출하고, 고객 참여를 개선하며, 비용 효율성을 높이려면 도메인 특화된 비공식 개인 데이터로 훈련된 정확하고 적시에 모델이 필요합니다. 이는 오류, 편향, 평판 손상을 방지합니다. 사용 사례의 복잡성은 모델의 정확성과 밀접하게 연관되어 있으며, 독점 데이터의 통합 중요성을 강조합니다. 대형 모델은 미션 크리티컬한 기업 애플리케이션에서 비효율적일 수 있으므로, 더 작고 민첩한 모델이 선호되는 경향이 있습니다.
다행히도, 높은 정확성을 유지하면서도 기존 대형 모델의 10배에서 100배 작은 오픈소스, 미리 훈련된 소형 LLM이 존재합니다. 이러한 소형 모델은 개인 데이터를 사용하여 Retrieval-Augmented Generation(RAG) 방법으로 빠르게 미세 조정되어 특정 비즈니스 요구에 맞춘 신뢰할 수 있는 전문 모델을 생성할 수 있습니다. 조직은 이제 점심 시간 동안 모델을 개발하고 기존 서버에 배포할 수 있으며, 대형 모델과 관련된 긴 시간과 비용이 드는 프로세스를 피할 수 있습니다. 이 접근 방식은 애플리케이션 전반에 걸쳐 AI를 확장하는 데 지속 가능하고 경제적입니다.
대형 기초 AI 모델 및 서비스:
- 장점: 놀라운 다재다능성, 매력적인 결과, API를 통한 빠른 통합, 웹 규모 데이터셋.
- 단점: 복잡한 관리, 훈련 및 유지 비용이 비쌈, 환각 및 편향 가능성, 보안 문제, 데이터 출처 불명.
소형 언어 모델 생태계:
- 장점: 개선된 정확성을 가진 작은 크기, 향상된 데이터 개인정보 보호 및 보안, 설명 가능성, 경제적인 미세 조정 및 배포.
- 단점: 몇 번의 미세 조정이 필요하며, 소스 데이터 인덱싱이 요구되고, 작업 범위가 감소합니다.
기업이 LLM을 자체 관리하는 이유
대부분의 조직은 일상적인 작업을 위해 API 서비스를 활용하면서 비즈니스 특정 사례에 대해서는 개인 AI 모델을 채택합니다. 어떤 AI 모델을 자가 관리할 것인지 결정할 때 고려해야 할 사항:
- 데이터 개인정보 보호: 민감한 정보를 보호하고 데이터 거버넌스 규정을 준수하면서 경쟁 우위를 확보합니다.
- 정확성: 평판을 보호하기 위해 미션 크리티컬 애플리케이션의 신뢰할 수 있는 운영을 보장합니다.
- 설명 가능성: 중요한 결정을 내리기 전에 결과를 데이터 출처로 되돌릴 수 있고 일관성을 지속적으로 모니터링할 수 있어야 합니다.
- 비용: 기존 IT 인프라에서 자가 운영하는 지속적인 모델은 일반적으로 비용이 적게 듭니다.
- 근접성: 모델을 애플리케이션과 함께 배치하면 신속한 인간 반응 시간을 보장합니다.
- 통합: 기존 비즈니스 논리 및 IT 의사 결정 시스템 내에서 원활하게 배포됩니다.
필요 사항 및 모델 옵션 이해
AI는 종종 성능을 두고 경쟁하는 고립된 애플리케이션으로 잘못 표현됩니다. 그러나 AI는 궁극적으로 기존 IT 인프라를 활용하면서 모든 애플리케이션에서 필수 기능이 될 것입니다. 데이터, 사용 사례 요구 사항, AI 모델 옵션을 이해하는 것은 성공적인 구현을 위해 필수적입니다. 상당한 데이터와 독특한 비즈니스 작업을 가진 일부 기업은 자체 대형 언어 모델을 개발하고 싶어할 수 있지만, 대부분은 고객 서비스나 주문 처리와 같은 작업에 대해 민첩한 오픈소스 모델의 혜택을 받을 것입니다.
AI 확산은 애플리케이션 요구에 맞춰 가속화된 컴퓨팅을 필요로 합니다. 모델은 오픈소스 생태계에서 확보되거나 개인 데이터로 미세 조정되거나 상업용 소프트웨어와 통합될 것입니다. 생산 준비가 완료된 AI 사용 사례를 위한 토대는 LLM 그 자체를 넘어서는 광범위한 작업을 포함하며, 데이터 수집, 저장, 처리, 추론 제공, 검증 및 모니터링이 필요합니다. 따라서 데이터 준비, 모델 구축 및 배포를 지원하는 컴퓨팅 플랫폼이 필요합니다.
인텔은 최적의 비용 효과적인 성능을 제공하는 엔드 투 엔드 AI 플랫폼을 제공합니다. 인텔® Gaudi® 가속기는 Nvidia의 H100에 비해 달러당 4배의 성능을 주장하며, 상용 AI 작업 부하를 처리하는 5세대 인텔® Xeon® 일반 목적 CPU를 포함합니다.
- 모델: Hugging Face, GitHub, Gaudi 개발자 허브와 같은 플랫폼에서 수천 개의 모델에 대한 자동화된 모델 레시피 및 최적화.
- 소프트웨어: 400개 이상의 AI 모델로 검증된 인텔® Gaudi® 소프트웨어 및 인텔 AI 소프트웨어 제품군.
- 엔터프라이즈 준비 완료: Xeon 기반 OEM 서버에서 VMware Private AI 및 Red Hat OpenShift를 사용하여 생산에 맞게 검증된 미세 조정된 AI 모델.
당신의 생성적 AI 여정이 지금 시작됩니다
기업의 여정은 비즈니스 사용 사례를 식별하는 것에서 시작됩니다. 이는 운영의 효율성을 위해 비용 절감, 향상된 고객 경험을 통한 수익 증가, 혹은 직원 만족도를 높이기 위해 반복적인 작업을 제거하는 것일 수 있습니다. 개발자는 오픈소스 LLM이나 사용 사례 별 모델로 시작하여 데이터 요구 사항을 이해하고 최적의 비용 성능 및 사용 용이성을 위한 적절한 소프트웨어 도구를 확보해야 합니다.
Hugging Face에서 인텔의 오픈소스 생성적 AI 모델을 탐색하고 귀하의 생성적 AI 여정을 시작하세요.
순위 목록
