Chatea con RTX: Crea Chatbots Locales Personalizados para tu PC Nvidia AI

Nvidia lanza Chat with RTX, una función diseñada para crear chatbots de IA locales personalizados en PCs con Windows AI. Esta innovación representa el último esfuerzo de Nvidia por convertir la IA en una herramienta de uso general, aprovechando sus unidades de procesamiento gráfico (GPU).

Características Principales de Chat with RTX

Interacciones de IA Locales

Chat with RTX permite a los usuarios aprovechar el poder de la IA generativa personalizada directamente en sus dispositivos. Esta tecnología utiliza generación aumentada por recuperación (RAG) y software TensorRT-LLM, minimizando la dependencia de la computación en centros de datos. Además, mejora la privacidad del usuario, eliminando preocupaciones sobre filtraciones de datos durante las conversaciones de IA.

Revolucionando los Chatbots

A diferencia de los chatbots tradicionales que dependen de servidores en la nube impulsados por GPUs de Nvidia, Chat with RTX permite a los usuarios aprovechar las capacidades de procesamiento de las GPUs GeForce RTX 30 Series o superiores, con un mínimo de 8 GB de RAM de video (VRAM). Este cambio significativo permite disfrutar de la IA generativa de manera local.

Una Experiencia de IA Personalizada

Nvidia resalta que Chat with RTX es más que un simple chatbot; es un compañero de IA personalizable. Al utilizar PCs con GeForce en Windows, los usuarios pueden experimentar una IA generativa con notable rapidez y privacidad. La aplicación emplea software RAG y TensorRT-LLM para ofrecer respuestas rápidas y contextuales basadas en conjuntos de datos locales. Los usuarios pueden conectar la herramienta a sus archivos locales, creando un conjunto de datos para populares modelos de lenguaje de código abierto como Mistral o Llama 2.

En lugar de buscar entre diversos archivos, los usuarios pueden hacer consultas en lenguaje natural, como solicitar recomendaciones de restaurantes, y Chat with RTX proporcionará respuestas rápidas y contextuales. Soporta múltiples formatos de archivo, incluyendo .txt, .pdf, .doc/.docx y .xml, asegurando una experiencia fácil de usar.

Integración de Contenido Multimedia

Chat with RTX se destaca por su capacidad de incorporar información de fuentes multimedia como YouTube. Esta función permite a los usuarios hacer preguntas contextuales basadas en contenido de video, como buscar consejos de viaje inspirados por videos de influencers o acceder a tutoriales de canales educativos.

Gracias a sus capacidades de procesamiento local, la aplicación garantiza resultados rápidos manteniendo la seguridad de los datos del usuario en el dispositivo, eliminando la necesidad de servicios en la nube y protegiendo la información sensible de accesos no autorizados.

Requisitos del Sistema y Oportunidades Futuras

Para utilizar Chat with RTX, los usuarios necesitan al menos una GPU GeForce RTX 30 Series con 8 GB de VRAM, junto con Windows 10 o 11 y los últimos controladores de GPU de Nvidia. Los desarrolladores interesados en optimizar modelos de lenguaje con GPUs RTX pueden acceder al proyecto de referencia para desarrolladores TensorRT-LLM RAG en GitHub. Nvidia invita a los desarrolladores a participar en el concurso para desarrolladores Generative AI on Nvidia RTX, que se llevará a cabo hasta el 23 de febrero, ofreciendo oportunidades para ganar una GPU GeForce RTX 4090 y un pase completo para la conferencia Nvidia GTC.

La demostración técnica de Chat with RTX ya está disponible para descarga gratuita.