Облачная служба Amazon, AWS, стремится сделать высокопроизводительные вычисления (HPC) доступными для всех с помощью нового управляемого продукта AWS Parallel Computing Service. Эта услуга позволяет клиентам AWS использовать мощные вычислительные серверы для выполнения обширных нагрузок без необходимости в привлечении специалистов по администрированию систем.
По словам Иэна Колла, директора по передовым вычислениям и симуляциям в AWS, улучшенный доступ способен значительно ускорить технологические инновации и научные открытия, которые традиционно зависят от кластеров HPC. "Многие существующие нагрузки могут извлечь выгоду из ресурсов высокопроизводительных вычислений, но мнение о том, что это нужно только крупным компаниям, часто сдерживает исследование," пояснил Колл.
Он считает, что это восприятие изменится, когда компании оценят простоту использования кластеров HPC с новой услугой, что вызовет большую экспериментацию. "Мы уменьшаем административную нагрузку и устраняем необходимость значительных капитальных вложений в кластеры HPC. Теперь все, что вам нужно, — это аккаунт AWS для проведения экспериментов и оценки масштабируемости рабочих нагрузок," добавил он.
Предложение услуги
AWS Parallel Computing позволяет пользователям настраивать и управлять группами экземпляров Amazon Elastic Compute Cloud. Услуга использует менеджер открытого исходного кода для рабочих нагрузок HPC, Slurm, для упрощения обслуживания кластеров, освобождая пользователей от необходимости привлекать системных администраторов.
Ранее AWS предоставлял доступ к кластерам HPC, но пользователи должны были управлять собственными административными ресурсами. Теперь клиенты, стремящиеся масштабировать научные и инженерные нагрузки, могут использовать привычные инструменты на AWS, включая Консоль управления и наборы инструментов для разработки программного обеспечения. Интеграция Slurm позволяет пользователям безболезненно переносить существующие рабочие процессы в кластер HPC AWS без необходимости перестраивать системы. Предприятия также могут легко подключать любые API.
Колл подчеркнул, что предложение AWS упрощает администрирование кластеров, позволяя клиентам полностью передавать управление Slurm на аутсорсинг.
Доступность
Служба изначально доступна в нескольких регионах AWS, включая Огайо, Северную Вирджинию и Орегон в США; Франкфурт, Стокгольм и Ирландию в Европе; а также в Сиднее, Сингапуре и Токио в Азиатско-Тихоокеанском регионе. Некоторые клиенты AWS, в том числе компании, такие как Marvel Fusion из Германии, получили ранний доступ для демонстрации возможностей кластеров HPC. Marvel Fusion использует эту услугу для исследований в области энергии с нулевыми выбросами, в то время как австралийская компания Ronin применяет её для HPC-симуляций в облаке.
Растущий спрос на кластеры HPC
Спрос на кластеры HPC значительно увеличился, поскольку компании все больше полагаются на вычислительную мощность для обучения крупных языковых моделей и других основ искусственного интеллекта. Сети HPC уже необходимы не только для серьезных расчетов, таких как открытие лекарств, но и для различных нагрузок в области ИИ.
Ранее доступ к суперкомпьютерам имели только крупные государственные лаборатории и корпорации, а производители оборудования, такие как AMD, Intel, Nvidia и IBM, конкурировали в создании более быстрых систем для этих клиентов. Однако возросший интерес со стороны различных компаний ускорил развитие предложений "HPC как услуги" от облачных провайдеров, таких как AWS, Google, Microsoft Azure и Penguin Computing on Demand.
Аналитик Gartner Тони Харви отмечает, что, хотя HPC как услуга не нова, новые варианты использования заставляют все больше компаний искать доступ к суперкомпьютерам. "Скорее всего, мы увидим усиление конкуренции в этой области по мере появления новых предложений, особенно учитывая, что использование HPC сейчас выходит за рамки только ИИ," сказал Харви.
Он добавил, что демократизация доступа к ресурсам HPC сокращает время ожидания для высокопроизводительных суперкомпьютеров, таких как Hewlett Packard Frontier в Теннесси, на которые могут быть месячные очереди. "Это позволяет новым пользователям получить доступ к этим ресурсам, максимизируя ценность времени для исследователей и практиков, занимающихся экспериментами и предсказательным моделированием," заключил Харви.