Nvidia y Amazon Web Services (AWS) están fortaleciendo su asociación estratégica con anuncios significativos durante la conferencia AWS re:Invent. Nvidia presentó su nueva oferta DGX Cloud, marcando el debut del superchip Grace Hopper GH200 en AWS. Esta iniciativa forma parte del Proyecto Ceiba, que busca crear lo que podría ser la plataforma de supercomputación en la nube pública más grande del mundo, ofreciendo impresionantes 64 exaflops de potencia de IA. Además, AWS está ampliando su servicio EC2 con cuatro nuevos tipos de instancias en la nube impulsadas por GPU.
Para ayudar a las organizaciones a desarrollar modelos de lenguaje (LLMs) más avanzados, Nvidia también presentó su tecnología NeMo Retriever, un método de Generación Aumentada por Recuperación (RAG) para vincular datos empresariales con inteligencia artificial generativa.
Con más de 13 años de colaboración, Nvidia integró por primera vez sus GPUs en las instancias de computación en la nube de AWS en 2010. Durante una presentación, Ian Buck, VP de Hyperscale y HPC en Nvidia, destacó los esfuerzos conjuntos para impulsar la innovación para sus clientes comunes, incluyendo a Anthropic, Cohere y Stability AI. “No solo se ha tratado del hardware; también ha sido del software,” compartió Buck. “Colaboramos frecuentemente detrás de escena para integraciones de software.”
DGX Cloud: Potencia de Supercomputación en AWS
DGX Cloud de Nvidia, anunciado inicialmente en la GPU Technology Conference de marzo, busca ofrecer capacidades avanzadas de supercomputación para IA. Aunque el concepto no es del todo nuevo, la última versión que llega a AWS es única. “Este DGX Cloud es diferente porque es el primero alimentado por NVIDIA Grace Hopper,” explicó Buck.
El superchip Grace Hopper integra computación ARM con GPUs y se ha utilizado principalmente en supercomputadoras. La variante de AWS de DGX Cloud cuenta con chips GH200 en una arquitectura de rack conocida como GH200 NVL-32, conectando 32 superchips GH200 a través de la tecnología de red NVLink de Nvidia. Esta configuración puede alcanzar hasta 128 petaflops de rendimiento en IA, respaldada por 20 terabytes de memoria de alta velocidad. Buck enfatizó: “Representa una nueva arquitectura de GPU a escala de rack para la era de la IA generativa.”
Proyecto Ceiba: La Supercomputadora en Nube de IA Más Grande del Mundo
Nvidia y AWS también lanzaron el Proyecto Ceiba, que aspira a crear la supercomputadora en la nube de IA más grande del mundo. Este proyecto constará de 16,000 superchips Grace Hopper, aprovechando el Adaptador de Tejido Elástico (EFA) y el sistema Nitro de AWS para la escalabilidad. La supercomputadora busca alcanzar impresionantes 64 exaflops de rendimiento en IA con un total de hasta 9.5 petabytes de memoria. “Esta supercomputadora residirá dentro de la infraestructura de AWS y será utilizada por los equipos de investigación de Nvidia para avances en IA relacionados con gráficos, modelos de lenguaje grandes, procesamiento de imágenes y videos, IA generativa, biología digital, robótica, coches autónomos, y más,” agregó Buck.
NeMo Retriever: La Clave para Modelos de Lenguaje Efectivos
Con el lanzamiento de NeMo Retriever en AWS re:Invent, Nvidia busca mejorar la funcionalidad de chatbots de grado empresarial. Buck señaló que la mayoría de los LLMs más utilizados dependen de datos públicos, lo que limita su efectividad. Para acceder a la información más precisa y actual, las organizaciones deben integrar sus LLMs con datos empresariales propios. “Esta integración es el santo grial para los chatbots empresariales, donde reside la mayor parte de los datos valiosos,” declaró Buck. “Combinar la IA con bases de datos empresariales mejora la productividad, precisión y usabilidad.”
NeMo Retriever cuenta con modelos empresariales preconstruidos y microservicios de recuperación diseñados para una integración fluida en flujos de trabajo existentes. También incluye capacidades de búsqueda vectorial acelerada para optimizar el rendimiento. Los primeros clientes de NeMo Retriever incluyen a Dropbox, SAP y ServiceNow, demostrando su precisión de última generación y mínima latencia para la generación aumentada por recuperación.
Clasificación
