GPU de la serie GeForce RTX 40 de Nvidia. NVIDIA
Nvidia ha lanzado una versión de demostración de un nuevo chatbot de IA que se ejecuta localmente en determinadas PC con GeForce RTX. La aplicación de demostración, llamada Chat with RTX, se puede descargar gratis y permite a los usuarios ejecutar un chatbot de IA en sus PC, personalizado con su contenido.
También: Los mejores chatbots con IA: ChatGPT y otras alternativas destacadas
Impulsada por el software Nvidia TensorRT-LLM, la aplicación puede generar contenido y puede capacitarse en una selección de contenido por parte del usuario, incluidos archivos .txt, .pdf, .doc/.docx y .xml e incluso URL de videos de YouTube.
Después de elegir el contenido para entrenar al bot, los usuarios pueden hacerle preguntas personalizadas sobre el contenido que han proporcionado. Por ejemplo, el bot puede resumir las instrucciones paso a paso en un vídeo instructivo de YouTube o decirle a un usuario qué tipo de baterías tenía en su lista de compras.
Entrenar al bot en el contenido preferido del usuario hace que la experiencia sea verdaderamente personalizada, pero el hecho de que todo suceda localmente mantiene la privacidad de los datos del usuario. El chat con RTX puede generar respuestas rápidas y, al mismo tiempo, mantener segura toda la información del usuario porque no depende de servicios basados en la nube, lo que significa que también puede funcionar sin conexión a Internet.
También: ChatGPT vs. Copilot: ¿Qué chatbot de IA es mejor para ti?
El bot requiere una GPU Nvidia GeForce RTX Serie 30 o superior, con al menos 8 GB de VRAM. Chatear con RTX también requiere Windows 10 u 11 y los controladores de GPU Nvidia más recientes.
Nvidia dice que su software TensorRT-LLM, combinado con generación aumentada de recuperación (RAG) y aceleración RTX, permite a Chat with RTX proporcionar respuestas relevantes utilizando archivos locales como un conjunto de datos y conectándolos a LLM de código abierto como Mistral y Llama 2.
