허깅페이스와 구글, 오픈 AI 개발 가속화를 위한 협력 강화

다양한 산업에서 AI 비전을 실현하고자 하는 기업들이 증가함에 따라, 공급업체들은 이러한 노력을 지원하기 위해 자원을 단일 플랫폼에 통합하고 있습니다. 그중 눈에 띄는 사례는 Google과 Hugging Face 간의 최근 전략적 파트너십으로, 이는 개발자들에게 Google Cloud 서비스를 효율적으로 이용할 수 있는 방법을 제공하여 오픈 생성 AI 응용 프로그램의 개발을 가속화합니다.

이 협업을 통해 Hugging Face의 오픈 소스 모델을 활용하는 팀은 Google Cloud에서 이들을 훈련하고 배포할 수 있는 능력을 갖추게 됩니다. 이 통합은 Vertex AI, 텐서 처리 장치(TPU), 그래픽 처리 장치(GPU)와 같은 Google Cloud의 AI 도구에 대한 포괄적인 접근을 제공합니다.

Hugging Face의 CEO인 Clement Delangue는 “원래의 Transformers 논문부터 T5, Vision Transformer에 이르기까지, Google은 AI 발전과 오픈 사이언스 운동에 중요한 역할을 해왔습니다. 이번 파트너십은 Hugging Face 사용자와 Google Cloud 고객이 최신 오픈 모델을 최적화된 AI 인프라와 도구와 함께 활용할 수 있는 방식을 간소화하여, 개발자들이 자신의 AI 모델을 만드는 능력을 크게 향상시킬 것입니다.”라고 밝혔습니다.

Hugging Face 사용자는 무엇을 기대할 수 있을까요?

Hugging Face는 50만 개 이상의 AI 모델과 25만 개의 데이터셋을 호스팅하는 AI의 중심 허브로 자리 잡았습니다. 5만 개가 넘는 조직이 이 플랫폼에 의존하여 AI 프로젝트를 진행하고 있습니다. 한편, Google Cloud는 기업에 AI 중심의 인프라와 도구를 제공하며 오픈 AI 연구에도 적극적으로 기여하고 있습니다.

이번 파트너십을 통해, 매월 Google Cloud에서 수십만 명의 Hugging Face 사용자는 생성 AI 응용 프로그램을 구축하기 위해 설계된 종합 MLOps 플랫폼인 Vertex AI를 사용하여 모델을 훈련, 미세 조정 및 배포할 수 있는 능력을 갖게 됩니다.

사용자들은 Hugging Face 플랫폼을 통해 몇 번의 클릭만으로 이러한 기능에 접근할 수 있습니다. 또한, Google Kubernetes Engine(GKE)을 사용하여 모델을 훈련하고 배포할 수 있는 옵션이 제공되어, Hugging Face 전용 딥러닝 컨테이너를 GKE에서 확장할 수 있는 맞춤형 인프라를 구축할 수 있습니다.

또한 개발자들은 TPU v5e, Nvidia H100 Tensor Core GPU를 장착한 A3 가상 머신(VM), Intel Sapphire Rapids CPU를 이용한 C3 VM 등 Google Cloud의 고급 하드웨어 기능을 활용할 수 있습니다.

Hugging Face의 제품 및 성장 책임자인 Jeff Boudier와 기술 리드 Philipp Schmid는 공동 블로그 포스트에서 “모델은 Google Cloud의 추론 엔드포인트를 통해 생산 환경에 쉽게 배포될 수 있습니다. AI 개발자들은 Hugging Face 공간에서 TPU를 사용하여 응용 프로그램을 가속화할 수 있게 됩니다. 기업은 Google Cloud 계정을 통해 Enterprise Hub 구독의 사용 및 청구를 효율적으로 관리할 수 있습니다.”라고 언급했습니다.

아직 제공되지 않음

이번 협업이 발표되었지만, Vertex AI와 GKE 배포 옵션을 포함한 향상된 기능은 현재로서는 제공되지 않습니다. 두 회사는 2024년 상반기에 Hugging Face Hub 사용자들을 위해 이러한 기능을 출시할 계획입니다.