Nvidia запускает Retriever, DGX Cloud и суперкомпьютер Project Ceiba на AWS.

Nvidia и Amazon Web Services (AWS) укрепляют стратегическое партнерство, делая важные анонсы на конференции AWS re:Invent. Nvidia представила новое предложение DGX Cloud, ознаменовавшее дебют суперчипа Grace Hopper GH200 на AWS. Эта инициатива является частью проекта Ceiba, цель которого — создать крупнейшую в мире облачную суперкомпьютерную платформу с впечатляющими 64 экзафлопсами вычислительной мощности в области ИИ. Кроме того, AWS расширяет сервис EC2, добавляя четыре новых типа облачных инстансов на базе GPU.

Чтобы помочь организациям в разработке более сложных языковых моделей (LLM), Nvidia также представила технологию NeMo Retriever — метод Retrieval Augmented Generation (RAG) для связывания корпоративных данных с генеративным ИИ.

Сотрудничая более 13 лет, Nvidia впервые интегрировала свои графические процессоры в облачные вычислительные инстансы AWS в 2010 году. Во время брифинга Иан Бак, вице-президент по гипермасштабным и высокопроизводительным вычислениям в Nvidia, подчеркнул совместные усилия по стимулированию инноваций для клиентов, включая Anthropic, Cohere и Stability AI. «Это не только аппаратное обеспечение; это еще и программное обеспечение», — отметил Бак. «Мы часто работаем за кулисами для интеграции ПО».

DGX Cloud: Суперкомпьютерная мощь в AWS

DGX Cloud от Nvidia, впервые анонсированный на конференции GPU Technology в марте, нацелен на предоставление продвинутых суперкомпьютерных возможностей для ИИ. Хотя концепция не нова, новая версия, приходящая на AWS, уникальна. «Этот DGX Cloud отличителен тем, что он первый, работающий на базе NVIDIA Grace Hopper», — объяснил Бак.

Суперчип Grace Hopper сочетает в себе вычисления ARM с GPU и в основном использовался в суперкомпьютерах. Вариант DGX Cloud для AWS встраивает чипы GH200 в архитектуру стоечного сервера GH200 NVL-32, соединяя 32 суперчипа GH200 через сетевую технологию NVLink от Nvidia. Эта конфигурация может достигать до 128 петалфлопс производительности ИИ, поддерживаемой 20 терабайтами высокоскоростной памяти. Бак подчеркнул: «Это новая стоечная GPU-архитектура для эры генеративного ИИ».

Проект Ceiba: Крупнейший облачный ИИ-суперкомпьютер в мире

Nvidia и AWS также запустили проект Ceiba, стремящийся создать крупнейший в мире облачный ИИ-суперкомпьютер. Проект Ceiba будет состоять из 16 000 суперчипов Grace Hopper, использующих Elastic Fabric Adapter (EFA) и систему Nitro от AWS для масштабируемости. Суперкомпьютер нацелен на достижение поразительных 64 экзафлопс производительности ИИ с общим объемом до 9,5 петабайт памяти.

«Этот суперкомпьютер будет находиться в инфраструктуре AWS и использоваться исследовательскими командами Nvidia для продвижения в области ИИ, связанных с графикой, большими языковыми моделями, обработкой изображений и видео, генеративным ИИ, цифровой биологией, робототехникой, автономными автомобилями и многим другим», — добавил Бак.

NeMo Retriever: Ключ к эффективным LLM

С запуском NeMo Retriever на AWS re:Invent Nvidia стремится улучшить функциональность чат-ботов корпоративного уровня. Бак отметил, что большинство используемых LLM полагаются на публичные данные, что ограничивает их эффективность. Для доступа к наиболее точной и актуальной информации организациям необходимо интегрировать свои LLM с корпоративными данными.

«Эта интеграция — священный Грааль для корпоративных чат-ботов, где сосредоточено большинство ценных данных», — заявил Бак. «Сочетание ИИ с корпоративными базами данных повышает продуктивность, точность и удобство использования».

NeMo Retriever предлагает заранее подготовленные корпоративные модели и микросервисы для извлечения, разработанные для бесшовной интеграции в существующие рабочие процессы. Он также включает в себя ускоренные возможности векторного поиска для оптимизации производительности. Ранние клиенты NeMo Retriever включают Dropbox, SAP и ServiceNow, что демонстрирует его современную точность и минимальную задержку для генерации с дополнением извлеченных данных.