Probablemente ya tengas una PC con IA.
En los últimos meses, Intel y los fabricantes de PC han golpeado fuertemente el tambor de la PC con IA y en concierto con AMD, Intel y Qualcomm. No es ningún secreto que la «IA» es el nuevo «metaverso», y tanto los ejecutivos como los inversores quieren utilizar la IA para impulsar las ventas y los precios de las acciones.
Y es cierto que la IA depende de las NPU que se encuentran en chips como Core Ultra de Intel, la marca que Intel está posicionando como sinónimo de IA en chip. Lo mismo ocurre con AMD Serie Ryzen 8000 – que venció a Intel en el escritorio con una NPU – así como Snapdragon X Elite de Qualcomm.
Es solo que las NPU integradas que se encuentran dentro del Core Ultra en este momento (Meteor Lake, pero con Lunar Lake esperando entre bastidores) no desempeñan el enorme papel en el cálculo de la IA en el que se las posiciona. En cambio, los roles más tradicionales para la potencia computacional (la CPU y especialmente la GPU) contribuyen más a la tarea.
Es importante tener en cuenta varias cosas: en primer lugar, comparar el rendimiento de la IA es algo con lo que absolutamente todo el mundo está luchando. La “IA” se compone de tareas bastante divergentes: generación de imágenes, como el uso de Difusión Estable; modelos de lenguaje grande (LLM), los chatbots popularizados por Microsoft Copilot (basado en la nube) y Google Bard; y una serie de mejoras específicas de aplicaciones, como mejoras de IA en Adobe Premiere y Lightroom. Combine las numerosas variables solo en los LLM (marcos, modelos y cuantificación, todos los cuales afectan cómo se ejecutarán los chatbots en una PC) y el paso en el que estas variables fluctúan, y es muy difícil elegir un ganador, y durante más de un momento.
Sin embargo, el siguiente punto es algo que podemos decir con cierta certeza: que la evaluación comparativa funciona mejor cuando se eliminan tantas variables como sea posible. Y eso es lo que podemos hacer con una pequeña pieza del rompecabezas: cuánto contribuyen la CPU, GPU y NPU de Intel a los cálculos de IA realizados por el chip Core Ultra de Intel, Meteor Lake.
Mark Hachman/IDG
La NPU no es el motor de la IA en chip en este momento. La GPU es
No estamos tratando de establecer qué tan bien se desempeña Meteor Lake en IA. Pero lo que podemos hacer es comprobar la importancia de la NPU en la IA.
La prueba específica que estamos utilizando es el punto de referencia de inferencia de IA Procyon de UL, que calcula la eficacia con la que se ejecuta un procesador cuando maneja varios modelos de lenguaje grandes. Específicamente, permite al evaluador desglosarlo, comparando la CPU, GPU y NPU.
En este caso, probamos el Núcleo Ultra 7 165H dentro de una computadora portátil MSI, proporcionada para pruebas durante un día de evaluación comparativa de Intel en CES 2024. (Gran parte de mi tiempo lo pasé entrevistando a Dan Rogers de Intelpero pude realizar algunas pruebas). Procyon ejecuta los LLM en la parte superior del procesador y calcula una puntuación en función del rendimiento, la latencia, etc.
Sin más, aquí están los números:
- Procyon (OpenVINO) NPU: 356
- GPU Procyon (OpenVINO): 552
- Procyon (OpenVINO): CPU: 196
Las pruebas de Procyon demostraron varios puntos: primero, la NPU marca la diferencia; En comparación con los núcleos de rendimiento y eficiencia de otras partes de la CPU, la NPU la supera en un 82 por ciento, por sí sola. Pero el rendimiento de la IA de la GPU es del 182 por ciento del de la CPU y supera al de la NPU en un 55 por ciento.
Mark Hachman/IDG
Dicho de otra manera: si valoras la IA, compra primero una tarjeta gráfica o GPU grande y robusta.
Pero el segundo punto es menos obvio: sí, usted poder Ejecute aplicaciones de IA en una CPU o GPU, sin necesidad de un bloque lógico de IA dedicado. Lo único que demuestran las pruebas de Procyon es que algunos bloques son más efectivos que otros.
Lo que dice Intel (y, para ser justos, tiene estado diciendo) es que la NPU es más eficiente. En el mundo real, «eficiencia» es el código del fabricante de chips para «batería de larga duración». Al mismo tiempo, Intel ha intentado enfatizar que la CPU, GPU y NPU pueden trabajar juntas.
Intel
En este caso, la eficiencia de la NPU equivale a aplicaciones de IA que funcionan con el tiempo y probablemente con batería. Y el mejor ejemplo de esto es una larga llamada de Microsoft Teams desde lo más profundo de una habitación de hotel o centro de conferencias (¡como CES!) donde se utiliza IA para filtrar el ruido y la actividad de fondo.
Por lo general, las aplicaciones de arte de IA como Stable Diffusion se lanzaron primero como una forma de generar arte de IA local utilizando la potencia de su GPU, junto con una tonelada de VRAM disponible. Pero con el tiempo, las aplicaciones de IA han evolucionado para ejecutarse en configuraciones menos potentes, incluso principalmente en la CPU. Esta es una metáfora familiar; no vas a ejecutar un juego con muchos gráficos como crisis bien en hardware integrado, pero debería funcionar, muy, muy lentamente. Los LLM/chatbots de IA harán lo mismo, “pensando” durante mucho tiempo en sus respuestas y luego “escribiéndolas” muy lentamente. Los LLM que pueden ejecutarse en una GPU tendrán un mejor rendimiento y las soluciones basadas en la nube serán mucho más rápidas.
Sin embargo, la IA evolucionará
También es interesante que (al momento de escribir este artículo) la aplicación Procyon de UL reconoce la CPU y la GPU en el Ryzen 7040 con tecnología AMD Ryzen AI, pero no la UNP. Estamos en los primeros días de la IA, cuando ni siquiera las capacidades básicas de los propios chips son reconocidas por las aplicaciones diseñadas para utilizarlos. Esto complica aún más las pruebas.
Sin embargo, el punto es que no necesitas una NPU para ejecutar IA en tu PC, especialmente si ya tienes una computadora portátil o de escritorio para juegos. Será bueno tener NPU de AMD, Intel y Qualcomm, pero tampoco son imprescindibles.
Mark Hachman/IDG
Sin embargo, no siempre será así. Intel promete que la NPU en el próximo chip Lunar Lake previsto para finales de este año tendrá tres veces el rendimiento de NPU. No dice nada sobre el rendimiento de la CPU o la GPU. Es muy posible que, con el tiempo, el rendimiento de la NPU en varios chips de PC aumente de modo que su rendimiento de IA se vuelva enormemente desproporcionado en comparación con las otras partes del chip. Y si no, un gran cantidad de nuevas empresas de chips aceleradores de IA tienen planes de convertirse en los 3Dfx del mundo de la IA.
Por ahora, sin embargo, estamos aquí para respirar profundamente mientras comienza 2024. Las nuevas PC con IA son importantes, al igual que las nuevas NPU. Pero a los consumidores probablemente no les importe tanto como a los fabricantes de chips que la IA se esté ejecutando en su PC, en lugar de en la nube, sin importar cuán fuerte sea el revuelo. Y para aquellos a quienes sí les importa, la NPU es sólo una pieza de la solución general.