AWS, 새로운 HPC-as-a-Service 출시: 슈퍼컴퓨터 접근성을 모두에게 제공

아마존의 클라우드 서비스인 AWS는 새로운 관리형 제품인 AWS 병렬 컴퓨팅 서비스를 통해 고성능 컴퓨팅(HPC)에 대한 접근을 민주화하는 것을 목표로 하고 있습니다. 이 서비스는 AWS 고객이 대규모 컴퓨팅 집약적 작업을 위해 강력한 컴퓨터 서버에 접근할 수 있도록 하며, 전담 시스템 관리자가 필요하지 않습니다. 인 역사관계 및 시뮬레이션 책임자인 이안 콜레는 이 확대된 접근이 기존에 HPC 클러스터에 의존해온 기술 혁신과 과학적 발견의 속도를 크게 향상시킬 수 있다고 설명했습니다. "많은 기존 작업이 고성능 컴퓨팅 자원의 혜택을 볼 수 있지만, 대기업만을 위한 것이라는 인식이 탐색을 저해하곤 합니다,"라고 콜레는 말했습니다.

콜레는 이 인식이 기업들이 새로운 서비스로 HPC 클러스터 사용의 용이성을 발견함에 따라 변화할 것으로 보고 있으며, 실험을 촉진할 것이라고 강조했습니다. "우리는 관리 부담을 줄이고 HPC 클러스터에 대한 상당한 자본 투자 필요성을 없앴습니다. 이제는 실험을 수행하고 작업 부하를 확장하는 방법을 평가하기 위해 AWS 계정만 있으면 됩니다,"라고 덧붙였습니다.

서비스 제공 내용

AWS 병렬 컴퓨팅 서비스는 사용자들이 아마존의 엘라스틱 컴퓨트 클라우드 인스턴스 그룹을 설정하고 관리할 수 있게 합니다. 이 서비스는 오픈 소스 HPC 작업 관리자 스룸(Slurm)을 활용해 클러스터 유지 관리를 지원하며, 전담 시스템 관리자의 필요를 줄입니다. 이전에 AWS는 HPC 클러스터에 대한 접근을 제공했지만, 사용자들은 자신의 관리 자원을 관리해야 했습니다. 이제 고객들은 AWS에서 익숙한 도구인 관리 콘솔 및 소프트웨어 개발 키트를 활용하여 과학 및 엔지니어링 작업을 확장할 수 있습니다. 스룸의 통합으로 사용자는 기존 작업 흐름을 AWS HPC 클러스터로 원활하게 이동할 수 있으며, 재구성이 필요하지 않습니다. 기업들은 손쉽게 API를 연결할 수 있습니다.

콜레는 AWS의 서비스가 클러스터 관리의 간소화를 이루어 고객이 스룸 관리를 완전히 서비스에 위임할 수 있도록 한다고 강조했습니다.

가용성

이 서비스는 미국 오하이오, 버지니아 북부, 오리건을 비롯한 여러 AWS 지역에서 초기 제공됩니다. 유럽에서는 프랑크푸르트, 스톡홀름, 아일랜드가 포함되며, 아시아-태평양 지역에서는 시드니, 싱가포르, 도쿄에서 이용 가능합니다. 독일에 본사를 둔 마블퓨전(Marvel Fusion)과 같은 일부 AWS 고객이 조기 접근을 통해 HPC 클러스터의 다양한 사용 사례를 선보였습니다. 마블퓨전은 무한한 제로-이미션 에너지 연구에 이 서비스를 사용하고 있으며, 호주 회사인 로닌(Ronin)은 클라우드에서 HPC 시뮬레이션을 활용합니다.

HPC 클러스터에 대한 수요 증가

AI 기초 교육을 위한 컴퓨팅 파워에 점점 더 의존하게 됨에 따라 HPC 클러스터에 대한 수요가 급증하고 있습니다. 이제 HPC 네트워크는 약물 발견 같은 중대한 계산뿐만 아니라 다양한 AI 작업에 필수적입니다. 전통적으로 정부 연구소와 대기업만이 슈퍼컴퓨터에 접근할 수 있었고, AMD, 인텔, 엔비디아, IBM과 같은 하드웨어 제조업체들이 이러한 고객을 위해 더 빠른 시스템을 개발하기 위해 경쟁했습니다. 그러나 다양한 기업들로부터의 증가하는 관심이 AWS, 구글, 마이크로소프트 애저, 펭귄 컴퓨팅 온디맨드와 같은 클라우드 제공업체의 "HPC-as-a-service" 제공 성장에 가속을 붙였습니다.

가트너 애널리스트 토니 하비는 HPC-as-a-service가 새롭지는 않지만, 진화하는 사용 사례가 더 많은 기업들이 슈퍼컴퓨터에 대한 접근을 원하도록 촉발하고 있다고 강조합니다. "더 많은 서비스가 등장함에 따라 이 공간에서 경쟁이 증가할 것입니다. 특히 HPC 사용이 단순한 AI를 넘어서 확장됨에 따라 더욱 두드러질 것입니다,"라고 하비는 말했습니다.

그는 HPC 자원에 대한 접근 민주화가 테네시의 휴렛팩커드 프론티어 유닛과 같은 고성능 슈퍼컴퓨터에 대한 대기 시간을 줄인다고 덧붙였습니다. 이는 새로운 사용자가 이러한 자원에 접근할 수 있게 하여 연구자와 실무자들이 실험 및 예측 모델링에 있어 시간을 최대한 활용할 수 있도록 합니다. 하비는 이렇게 마무리했습니다.