Nvidia y Microsoft Unen Fuerzas para Enfrentar un Gran Desafío con Copilot+

Cuando Microsoft presentó los PCs Copilot+ hace unas semanas, surgió una pregunta: ¿Por qué no puedo ejecutar estas aplicaciones de IA en mi GPU? En Computex 2024, Nvidia finalmente abordó esta cuestión.

Nvidia y Microsoft están colaborando en una Interfaz de Programación de Aplicaciones (API) que permitirá a los desarrolladores ejecutar aplicaciones aceleradas por IA en tarjetas gráficas RTX. Esto incluye los Modelos Pequeños de Lenguaje (SLMs) que son esenciales para el funcionamiento de Copilot, impulsando características como Recall y Live Captions.

Con este conjunto de herramientas, los desarrolladores podrán ejecutar aplicaciones localmente en su GPU, en lugar de depender únicamente de la Unidad de Procesamiento Neural (NPU). Este avance allana el camino para aplicaciones de IA más robustas, ya que las GPUs ofrecen generalmente una potencia de procesamiento de IA superior en comparación con las NPUs, ampliando la accesibilidad para PCs más allá de los requisitos actuales de Copilot+.

Este es un desarrollo estratégico. Los PCs Copilot+ dependen actualmente de una NPU que puede realizar al menos 40 Tera Operaciones Por Segundo (TOPS), y actualmente solo el Snapdragon X Elite cumple con esa especificación. En contraste, las GPUs demuestran capacidades de procesamiento de IA significativamente más altas, con modelos básicos alcanzando 100 TOPS y modelos avanzados superando esa cifra.

La nueva API también mejora el funcionamiento de Copilot con capacidades de generación aumentada por recuperación (RAG). RAG permite que los modelos de IA recuperen información local específica, lo que les permite ofrecer soluciones más efectivas. Anteriormente, vimos la funcionalidad RAG destacada en el Chat con RTX de Nvidia a principios de este año.

Más allá de la API, Nvidia presentó el RTX AI Toolkit en Computex. Programado para su lanzamiento en junio, este conjunto de herramientas para desarrolladores integra una variedad de herramientas y SDKs, permitiendo a los desarrolladores ajustar modelos de IA para aplicaciones especializadas. Nvidia afirma que utilizar el RTX AI Toolkit puede resultar en modelos que son cuatro veces más rápidos y tres veces más pequeños en comparación con alternativas de código abierto.

Está surgiendo una oleada de herramientas que empoderan a los desarrolladores para crear aplicaciones de IA personalizadas para usuarios finales. Si bien algunas innovaciones ya se han integrado en los PCs Copilot+, podemos esperar una mayor variedad de aplicaciones de IA en el próximo año. Con el hardware capaz de soportar estas aplicaciones, ahora solo necesitamos el software correspondiente.