A Nvidia e a Microsoft Unem Forças para Enfrentar um Grande Desafio com o Copilot+

Quando a Microsoft apresentou os PCs Copilot+ há algumas semanas, surgiu uma pergunta: por que não consigo rodar esses aplicativos de IA na minha GPU? No Computex 2024, a Nvidia finalmente respondeu a essa questão.

A Nvidia e a Microsoft estão colaborando em uma Interface de Programação de Aplicações (API) que permitirá aos desenvolvedores executar aplicativos acelerados por IA em placas gráficas RTX. Isso inclui os Modelos de Linguagem Pequenos (SLMs) essenciais para a execução do Copilot, que proporcionam recursos como Recall e Legendas Ao Vivo.

Com esse conjunto de ferramentas, os desenvolvedores poderão rodar aplicativos localmente na sua GPU, em vez de depender exclusivamente da Unidade de Processamento Neural (NPU). Esse avanço abre caminho para aplicativos de IA mais robustos, já que as GPUs costumam oferecer um poder de processamento em IA superior ao das NPUs, ampliando também a acessibilidade dos PCs além dos requisitos atuais do Copilot+.

Esse é um desenvolvimento estratégico. Atualmente, os PCs Copilot+ dependem de uma NPU que pode realizar pelo menos 40 Tera Operações Por Segundo (TOPS), mas, no momento, apenas o Snapdragon X Elite atende a essa especificação. Em contrapartida, as GPUs demonstram capacidades de processamento em IA significativamente superiores, com modelos de entrada atingindo 100 TOPS e modelos avançados ultrapassando esse número.

A nova API também aprimora a execução do Copilot com capacidades de geração aumentada por recuperação (RAG). O RAG permite que modelos de IA recuperem informações locais específicas, possibilitando soluções mais eficazes. Já vimos a funcionalidade RAG sendo demonstrada no Chat com RTX da Nvidia no início deste ano.

Além da API, a Nvidia apresentou o RTX AI Toolkit no Computex. Com lançamento previsto para junho, este conjunto de desenvolvimento integra uma variedade de ferramentas e SDKs, permitindo que os desenvolvedores ajustem modelos de IA para aplicações especializadas. A Nvidia afirma que o uso do RTX AI Toolkit pode resultar em modelos quatro vezes mais rápidos e três vezes menores em comparação às alternativas de código aberto.

Uma onda de ferramentas está surgindo para capacitar os desenvolvedores a criar aplicações de IA personalizadas para os usuários finais. Enquanto algumas inovações já foram integradas aos PCs Copilot+, podemos esperar uma maior variedade de aplicações de IA surgindo no próximo ano. Com o hardware capaz de suportar essas aplicações, agora precisamos apenas do software correspondente.