Por qué es importante: Nvidia ha lanzado una aplicación de demostración que aprovecha tarjetas de video seleccionadas para ejecutar un chatbot de IA personal en su PC. Chat with RTX se ejecuta en Windows 11 y requiere una GPU GeForce RTX serie 30 o 40 (o una GPU RTX Ampere o Ada Generation). Utiliza generación aumentada de recuperación (RAG), TensorRT-LLM y aceleración RTX para crear un modelo de lenguaje grande GPT personalizado basado en su propio contenido único.
También puede alimentarlo con vídeos de la web, incluidos clips de YouTube. Simplemente ingrese la URL del video fuente y luego haga al chatbot cualquier pregunta relacionada con el contenido del video.
Como el nombre sugiere, generación de recuperación aumentada es una técnica que mejora la precisión y confiabilidad de los modelos generativos de IA utilizando datos recopilados de fuentes externas. Nvidia tiene un artículo completo sobre el tema para aquellos que buscan una comprensión más profunda de la técnica.
Debido a que se ejecuta localmente en lugar de en la nube y se basa en sus propios datos personales, debería ser rápido y contextualmente relevante. Nvidia también dice que ofrece resultados seguros, algo plausible considerando que no transmite datos confidenciales a través de Internet.
Tom Warren de The Verge pasó algún tiempo usando una versión preliminar de Chat con RTX y, aunque era un poco tosco, el editor dijo que puede verlo como un herramienta valiosa para periodistas o cualquier persona que necesite analizar un conjunto de documentos.
Por ejemplo, Warren pudo hacer que el bot resumiera toda la estrategia de Xbox Game Pass de Microsoft utilizando documentos legales de la batalla judicial de Redmond con la FTC. Sin embargo, las cosas fueron un poco más complicadas en el lado del video, ya que la aplicación de alguna manera cargó una transcripción para un video completamente separado en lugar del deseado. En particular, ni siquiera era un vídeo que Warren hubiera consultado previamente.
Si tienes una GPU GeForce serie 30 o 40 y quieres probar Chat con RTX, visita el sitio web de Nvidia para obtener la archivo de instalación.
