생성적 AI는 인류의 생산성 향상에 큰 잠재력을 가지고 있지만, 현재 이러한 기본 모델을 처음부터 개발하고 훈련할 수 있는 전문성과 자원을 보유한 조직은 극소수에 불과합니다. 두 가지 주요 도전 과제가 존재합니다. 첫째, 컨텐츠 소유자들이 보유한 엄격한 지식재산권으로 인해 필요한 훈련 데이터를 수집하는 것이 점점 더 어려워지고 있습니다. 둘째, 훈련에 필요한 재정적 자원은 엄청나게 비용이 많이 듭니다. 그럼에도 불구하고 생성적 AI 기술을 널리 접근 가능하게 만드는 사회적 이점은 상당합니다.
그렇다면 소규모 기업이나 개인 개발자는 생성적 AI를 어떻게 자신의 애플리케이션에 통합할 수 있을까요? 해결책은 기존의 기본 모델을 맞춤형으로 제작하고 배포하는 데 있습니다.
새로운 생성적 AI 모델 개발에 상당한 투자가 필요하므로, 다양한 응용 분야에 활용될 수 있을 만큼의 다목적성을 가져야 합니다—현재 GPT 기반 모델이 활용되는 다양한 방식처럼 말이죠. 하지만 범용 모델이 특정 도메인의 요구를 충분히 충족하지 못할 수 있습니다. 틈새 적용을 위해 대규모 범용 모델을 사용하는 것은 불필요한 컴퓨팅 자원, 시간 및 에너지 낭비로 이어질 수 있습니다.
따라서 대부분의 기업과 개발자는 대규모 생성적 AI 모델을 기반으로 삼고, 이를 통해 필요에 맞게 조정하는 것이 가장 효율적입니다. 이 접근 방식은 CPU나 AI 가속기와 같은 기존의 인프라를 활용할 수 있어 GPU 부족 문제를 회피할 수 있는 융통성을 제공합니다. 핵심은 특정 사용 사례에 집중하여 프로젝트 범위를 좁히고, 표준 기반의 개방형 소프트웨어 및 널리 사용 가능한 하드웨어를 통해 유연성을 최적화하는 것입니다.
AI 애플리케이션 개발을 위한 사용 사례 접근법
소프트웨어 개발에서 사용 사례는 목표 사용자 특성, 해결해야 할 문제, 그리고 애플리케이션이 이를 어떻게 달성할 것인지를 정의합니다. 이 정의는 제품 요구 사항을 결정하고 소프트웨어 아키텍처에 영향을 주며 제품 라이프사이클 로드맵을 제공합니다. 무엇보다 이 과정은 프로젝트 범위 외의 사항을 명확히 하는 데 중요합니다.
생성적 AI 프로젝트의 경우, 사용 사례를 설정하면 모델의 크기, 연산 요구 사항, 에너지 소비를 줄이고, 특정 데이터 세트에 집중함으로써 정확성을 높일 수 있습니다. 이러한 목표 지향적 접근 방식은 개발 노력과 비용을 낮추는 결과를 가져옵니다.
생성적 AI의 사용 사례를 정의하는 요소는 프로젝트에 따라 다를 수 있지만, 다음과 같은 몇 가지 질문이 도움이 될 수 있습니다:
- 데이터 요구 사항: 필요한 훈련 데이터의 종류와 양은? 데이터가 구조화되어 있나요(데이터 웨어하우스) 아니면 비구조화되어 있나요(데이터 레이크)? 어떤 제한 사항이 있나요? 애플리케이션은 데이터를 어떻게 처리할 건가요—배치 처리 또는 스트리밍? 모델 업데이트 빈도는 어떤가요? 대형 언어 모델(LLM)을 처음부터 훈련하는 것은 시간이 많이 걸리므로, 실시간 지식이 중요한 애플리케이션(예: 건강 관리)의 경우 데이터 최신성을 보장하기 위한 대안이 필요할 수 있습니다.
- 모델 요구 사항: 모델 크기, 성능 및 결과 투명성과 같은 고려 사항은 적절한 모델 선택 시 중요합니다. LLM의 성능은 수십억에서 조 단위의 매개변수 범위를 가집니다—Meta의 Llama 2는 70억에서 700억 매개변수 버전을 제공하며, OpenAI의 GPT-4는 1.76조 매개변수를 보고하고 있습니다. 더 큰 모델이 일반적으로 성능이 높지만, 작은 모델이 더 적합할 수 있습니다. 오픈 모델은 사용자 맞춤화가 깊이 가능하며, 폐쇄 모델은 API 접근을 통한 기성 솔루션을 제공합니다. 데이터 추적이 필요한 애플리케이션, 예를 들어 투자자를 위한 재무제표 요약 생성 시 데이터에 맞춰 모델을 조정하는 것이 중요할 수 있습니다. 반면, 광고 카피 생성과 같은 창의적인 작업에는 기성 모델로도 충분할 수 있습니다.
- 애플리케이션 요구 사항: 정확성, 지연 시간, 개인정보 보호 및 안전성에 필요한 기준은 무엇인가요? 동시 사용자 수는 얼마여야 하나요? 사용자는 애플리케이션과 어떻게 상호작용할 건가요? 예를 들어, 모델이 낮은 지연 시간을 가진 엣지 장치에서 작동하는지 고용량 클라우드 환경에서 작동하는지에 따라 구현 결정에 큰 영향을 미칠 것입니다.
- 컴퓨팅 요구 사항: 위에서 정리된 요소들이 명확해지면, 필요한 컴퓨팅 자원을 파악해야 합니다. 데이터 처리를 Modin을 활용해 병렬화해야 하나요? 미세 조정 및 추론 요구가 하이브리드 클라우드-엣지 세팅을 요구하나요? 생성적 AI 모델을 처음부터 개발할 인재와 데이터가 있다 하더라도, 필요한 컴퓨팅 인프라 개편이 예산에 부합하는지 평가해야 합니다.
이러한 고려 사항은 프로젝트 요구 사항을 정의하고 범위를 설정하는 토대가 됩니다. 데이터 엔지니어링, 초기 개발 비용, 추론 비용을 지원하는 비즈니스 모델과 관련된 재정적 측면 또한 데이터, 훈련 및 배포 전략에 영향을 미칩니다.
인텔의 생성적 AI 기술이 도움이 되는 방법
인텔은 다양한 컴퓨팅 요구에 맞춘 이종 AI 하드웨어 솔루션을 제공합니다. 하드웨어의 잠재력을 극대화하기 위해 인텔은 인기 있는 데이터 분석 및 엔드 투 엔드 AI 도구의 최적화된 버전을 제공합니다. 최근에 인텔은 Hugging Face 공개 LLM 리더보드에서 #1로 평가된 70억 매개변수 모델을 소개했습니다(2023년 11월 기준). 이러한 자원과 인텔의 AI 개발자 생태계로부터의 자원은 애플리케이션의 정확성, 지연 시간 및 보안 요구를 충족할 수 있습니다. Hugging Face나 GitHub에서 인텔 하드웨어에 최적화된 수백 개의 사전 훈련 모델을 활용하며 시작할 수 있습니다. Intel 도구인 Modin을 사용해 데이터를 사전 처리하고, Intel® Extension for Transformers나 Hugging Face Optimum과 같은 도구를 활용해 기본 모델을 미세 조정하며, SigOpt을 통해 모델 조정을 자동화함으로써 TensorFlow, PyTorch 및 DeepSpeed와 같은 오픈 소스 AI 프레임워크에서 기여된 최적화를 기반으로 할 수 있습니다.
생성적 AI 사용 사례 예시
1. 고객 서비스: 챗봇 사용 사례
LLM 기반 챗봇은 자주 묻는 질문에 즉각적인 응답을 제공함으로써 서비스 효율성을 높이고, 상담원이 더 복잡한 문제를 다룰 수 있도록 합니다. 범용 LLM은 다양한 언어로 대화할 수 있지만 특정 비즈니스 지식이 부족하거나 사실 무근한 정보를 자신 있게 “환상”할 수 있습니다. 미세 조정은 모델을 점진적으로 업데이트하며, 검색 방법(예: 검색 기반 생성[RAG])은 비즈니스 특정 문서로 구성된 외부 데이터베이스에서 관련 정보를 가져옵니다. 두 방법 모두 맥락에 맞는 응답을 제공하며, Intel® Xeon® 스케일러블 프로세서와 같은 사용 가능한 CPU를 활용할 수 있습니다.
2. 소매: 가상 착용 사용 사례
생성적 AI는 가상 착용과 같은 몰입형 온라인 쇼핑 경험을 제공하여 고객 만족도를 높이고 공급망 효율성을 최적화합니다. 이 애플리케이션은 이미지 생성에 기반하며 특정 의류 라인에 집중해야 합니다. Stable Diffusion과 같은 이미지 모델을 미세 조정하는 것은 CPU 플랫폼에서 처리되는 제한된 이미지 수로도 가능할 수 있습니다. 고객 프라이버시를 보호하기 위해 이미지는 로컬에 저장해야 하며 소비자 장치에 저장될 수 있습니다.
3. 의료: 환자 모니터링 사용 사례
생성적 AI와 실시간 환자 모니터링을 결합하면 개인화된 보고서와 행동 계획을 생성할 수 있습니다. 이 사용 사례는 다양한 입력 유형을 처리하고 보고서를 생성하기 위해 다중 모달 AI를 필요로 합니다. 의료 모델 훈련은 개인 정보 보호 문제를 야기하여 환자 데이터가 제공자와 함께 유지되어야 합니다. 연합 학습을 통해 모델은 민감한 데이터를 전송하지 않고도 로컬에서 훈련할 수 있습니다. 로컬 추론이 이상적이지만 엣지와 클라우드 요소가 모두 포함된 하이브리드 솔루션이 필요할 수도 있으며, 최적화 기술이 요구될 수 있습니다.
시작하는 방법
먼저 위의 안내 질문을 사용하여 데이터, 컴퓨팅, 모델 및 애플리케이션 요구 사항을 명확히 하십시오. 다음으로 AI 생태계에서 관련 기본 모델, 참조 구현, 커뮤니티 리소스를 탐색하십시오. 프로젝트에 가장 적합한 미세 조정 및 최적화 기술을 식별하고 적용하십시오.
컴퓨팅 요구 사항을 파악하는 데 시간이 걸릴 수 있으며, 그것들은 프로젝트 전반에 걸쳐 진화하는 경우가 많습니다. Intel® Developer Cloud는 개발을 시작하는 데 도움을 주기 위해 다양한 CPU, GPU 및 AI 가속기를 제공합니다.
마지막으로, 개발 및 배포 중 서로 다른 컴퓨팅 플랫폼 간의 전환을 쉽게 하려면 개방형, 표준 기반 AI 도구 및 프레임워크를 선택하여 광범위한 장치에서 최적의 성능을 발휘할 수 있는 고성능을 지원해야 합니다.
순위 목록
