NVIDIA ha lanzado un inteligencia artificial (IA) chatbot llamado Chat with RTX que se ejecuta localmente en una PC y no necesita conectarse a Internet. El fabricante de GPU ha estado a la vanguardia de la industria de la IA desde el auge de la IA generativa, con sus chips de IA avanzados que impulsan productos y servicios de IA. Nvidia también tiene una plataforma de inteligencia artificial que brinda soluciones de un extremo a otro para empresas. La empresa ahora está creando sus propios chatbots y Chat with RTX es su primera oferta. El chatbot de Nvidia es actualmente una aplicación de demostración disponible de forma gratuita.
Llamándolo un chatbot de IA personalizado, Nvidia liberado la herramienta el martes (13 de febrero). Los usuarios que deseen descargar el software necesitarán una PC o estación de trabajo con Windows que se ejecute en una GPU RTX serie 30 o 40 con un mínimo de 8 GB de VRAM. Una vez descargada, la aplicación se puede instalar con unos pocos clics y usarse de inmediato.
Dado que es un chatbot local, Chat with RTX no tiene ningún conocimiento del mundo exterior. Sin embargo, los usuarios pueden alimentarlo con sus propios datos personales, como documentos, archivos y más, y personalizarlo para realizar consultas sobre ellos. Uno de esos casos de uso puede ser suministrarle grandes volúmenes de documentos relacionados con el trabajo y luego pedirle que resuma, analice o responda una pregunta específica que podría llevar horas encontrar manualmente. De manera similar, puede ser una herramienta de investigación eficaz para hojear múltiples estudios y artículos. Admite formatos de archivos de texto, pdf, doc/docx y xml. Además, el AI El bot también acepta URL de listas de reproducción y vídeos de YouTube y, utilizando las transcripciones de los vídeos, puede responder consultas o resumir el vídeo. Para esta funcionalidad, necesitará acceso a Internet.
Según el vídeo de demostración, Chat with RTX es esencialmente un servidor web junto con una instancia de Python que no contiene la información de un modelo de lenguaje grande (LLM) cuando se descarga recientemente. Los usuarios pueden elegir entre los modelos Mistral o Llama 2 para entrenarlo y luego usar sus propios datos para ejecutar consultas. La compañía afirma que el chatbot aprovecha proyectos de código abierto como generación aumentada de recuperación (RAG), TensorRT-LLM y aceleración RTX para su funcionalidad.
De acuerdo a un informe Según The Verge, la aplicación tiene un tamaño de aproximadamente 40 GB y la instancia de Python puede ocupar hasta 3 GB de RAM. Un problema particular señalado por la publicación es que el chatbot crea archivos JSON dentro de las carpetas que le solicita que indexe. Por lo tanto, alimentarlo con toda la carpeta de documentos o con una carpeta principal grande puede resultar problemático.
