Mirando hacia adelante: Si bien las grandes corporaciones tecnológicas están desarrollando servicios de inteligencia artificial basados en servidores que viven exclusivamente en la nube, los usuarios están cada vez más interesados en probar interacciones de chatbot en sus propias PC locales. AMD dice que existe una aplicación para eso e incluso puede funcionar con GPU de terceros o aceleradores de IA.
Los servicios de inteligencia artificial más populares disponibles en la actualidad se ejecutan casi exclusivamente en hardware potente de Nvidia y obligan a los clientes a utilizar una conexión a Internet. AMD está intentando promover un enfoque alternativo a la experiencia del chatbot basado en Estudio LMuna herramienta diseñada para descargar y ejecutar modelos en lenguaje grande (LLM) en un entorno local.
Blog oficial de AMD reflejos cómo los asistentes de IA se están convirtiendo en recursos esenciales para la productividad o simplemente para generar nuevas ideas. Con LM Studio, las personas interesadas en probar estas nuevas herramientas de IA pueden descubrir, descargar y ejecutar fácilmente LLM locales sin necesidad de configuraciones complejas, conocimientos de programación adecuados o infraestructura a nivel de centro de datos.
AMD proporciona instrucciones detalladas para descargar y ejecutar la versión correcta de LM Studio según el hardware y el sistema operativo del usuario, incluidos Linux, Windows o macOS. Aparentemente, el programa puede funcionar solo en procesadores Ryzen, aunque los requisitos mínimos de hardware incluyen una CPU con soporte nativo para instrucciones AVX2. El sistema debe tener al menos 16 GB de DRAM y la GPU debe estar equipada con un mínimo de 6 GB de VRAM.
Se recomienda a los propietarios de GPU Radeon RX 7000 que obtengan la Vista previa técnica de ROCm de LM Estudio. ROCm es la nueva pila de software de código abierto de AMD para optimizar LLM y otras cargas de trabajo de IA en el hardware GPU de la empresa. Después de instalar la versión correcta de LM Studio, los usuarios pueden buscar un modelo de LLM para descargarlo y ejecutarlo en su PC local. AMD sugiere Mistral 7b o LLAMA v2 7b, que se pueden encontrar buscando ‘TheBloke/OpenHermes-2.5-Mistral-7B-GGUF’ o ‘TheBloke/Llama-2-7B-Chat-GGUF’ respectivamente.
Una vez que LM Studio y algunos modelos LLM estén instalados correctamente, los usuarios deben seleccionar el modelo de cuantificación correcto. Se recomienda Q4 KM para la mayoría de los chips Ryzen AI. Los propietarios de GPU Radeon también deben habilitar la opción «Descarga de GPU» en la aplicación; de lo contrario, el modelo LLM elegido probablemente se ejecutará (muy lentamente) solo con la potencia computacional de la CPU.
Al promocionar LM Studio como una herramienta de terceros para ejecutar LLM locales, AMD está tratando de cerrar la brecha con Nvidia y su recientemente anunciado Chatea con RTX solución. La aplicación patentada de Nvidia se ejecuta exclusivamente en hardware de GPU GeForce RTX 30 o 40, mientras que LM Studio proporciona un enfoque más agnóstico al admitir GPU AMD y Nvidia o incluso los procesadores de PC genéricos equipados con AVX2 más modernos.