MLCommons, el consorcio detrás de la familia MLPerf de pruebas comparativas de aprendizaje automático, anuncia esta mañana que la organización desarrollará una nueva suite de pruebas comparativas de IA de escritorio bajo el lema MLPerf. Dirigido por el recién formado grupo de trabajo MLPerf Client del organismo, el grupo de trabajo desarrollará un traje de referencia de IA de cliente dirigido a PC de escritorio, estaciones de trabajo y portátiles tradicionales. Según el consorcio, la primera versión de la suite de pruebas MLPerf Client se basará en Llama 2 LLM de Meta, con un enfoque inicial en ensamblar una suite de pruebas para Windows.
MLCommons, el estándar de facto de la industria para la inferencia y el entrenamiento de IA en servidores y sistemas HPC, ha ido ampliando lentamente el Familia de puntos de referencia MLPerf a dispositivos adicionales en los últimos años. Esto ha incluido la recopilación de puntos de referencia para dispositivos móviles e incluso dispositivos periféricos de bajo consumo de energía. Ahora, el consorcio se está preparando para cubrir el “medio faltante” de su familia de puntos de referencia con una suite MLPerf diseñada para PC y estaciones de trabajo. Y si bien esto está lejos de ser el primer punto de referencia del grupo, en algunos aspectos es su esfuerzo más ambicioso hasta la fecha.
El objetivo del nuevo Grupo de trabajo del cliente MLPerf será desarrollar un punto de referencia adecuado para las PC cliente, es decir, un punto de referencia que no solo tenga el tamaño adecuado para los dispositivos, sino que sea una carga de trabajo de IA del cliente del mundo real para proporcionar resultados útiles y significativos. Dada la naturaleza cooperativa y basada en el consenso de la estructura de desarrollo del consorcio, el anuncio de hoy llega bastante temprano en el proceso, ya que el grupo apenas está comenzando a desarrollar el punto de referencia MLPerf Client. Como resultado, todavía hay una serie de detalles técnicos sobre el conjunto de pruebas finales que deben resolverse en los próximos meses, pero para comenzar, el grupo ya ha reducido algunos de los aspectos técnicos de su próximo conjunto de pruebas.
Quizás lo más crítico es que el grupo de trabajo ya decidió basar la versión inicial del punto de referencia de MLPerf Client en torno a Meta. Llama 2 modelo de lenguaje grande, que ya se utiliza en otras versiones de la suite MLPerf. Específicamente, el grupo está considerando la versión de 7 mil millones de parámetros de ese modelo (Llama-2-7B), ya que se cree que es el tamaño y la complejidad más apropiados para las PC cliente (con precisión INT8, el modelo 7B requeriría aproximadamente 7 GB de RAM). . Sin embargo, más allá de eso, el grupo aún necesita determinar los detalles del punto de referencia, y lo más importante, las tareas en las que se comparará el LLM.
Con el objetivo de implementarlo en PC de todas las formas y tamaños, desde portátiles hasta estaciones de trabajo, el grupo de trabajo de MLPerf Client va directo a la adopción masiva en el mercado apuntando primero a Windows, muy lejos de los puntos de referencia centrados en *nix que son mejores. conocido por. Sin duda, el grupo planea llevar MLPerf Client a plataformas adicionales con el tiempo, pero su primer objetivo es llegar a la mayor parte del mercado de PC donde Windows reina.
De hecho, centrarse en la informática del cliente es posiblemente la parte más ambiciosa del proyecto para un grupo que ya tiene amplia experiencia con cargas de trabajo de aprendizaje automático. Hasta ahora, las otras versiones de MLPerf han estado dirigidas a fabricantes de dispositivos, científicos de datos y similares, es decir, han sido puntos de referencia básicos. Incluso el punto de referencia MLPerf para dispositivos móviles no es muy accesible para los usuarios finales, ya que se distribuye como una versión de código fuente destinada a ser compilada en el sistema de destino. El benchmark MLPerf Client para PC, por otro lado, será un verdadero benchmark de cliente, distribuido como una aplicación compilada con una interfaz fácil de usar. Lo que significa que el grupo de trabajo de MLPerf Client tiene la tarea no solo de descubrir cuáles serán las cargas de trabajo de ML más representativas para un cliente, sino también de cómo unirlas en un punto de referencia gráfico útil.
Mientras tanto, aunque muchos de los puntos técnicos más finos del conjunto de pruebas de MLPerf Client aún están por resolverse, hablando con representantes de MLCommons, parece que el grupo tiene una dirección clara en mente sobre las API y los tiempos de ejecución en los que quieren que se ejecute el punto de referencia. : todos ellos. Dado que Windows ofrece sus propias API de aprendizaje automático (WinML y DirectML), y luego la mayoría de los proveedores de hardware ofrecen sus propias plataformas optimizadas además de eso (CUDA, OpenVino, etc.), existen numerosos backends de ejecución posibles a los que MLPerf Client debe apuntar. Y, de acuerdo con la naturaleza de laissez faire de los otros puntos de referencia de MLPerf, la expectativa es que MLPerf Client admita una gama completa de backends comunes y propietarios de proveedores.
En la práctica, entonces, esto sería muy similar a cómo funcionan hoy en día otros puntos de referencia de IA de clientes de escritorio, como el conjunto de puntos de referencia de IA Procyon de UL, que permite conectarse a múltiples backends de ejecución. El uso de diferentes backends resta un poco a las verdaderas pruebas de manzanas con manzanas (aunque siempre sería posible forzar el respaldo a una API común como DirectML), pero les da a los proveedores de hardware espacio para optimizar la ejecución del modelo. a su hardware. MLPerf adopta el mismo enfoque para sus otros puntos de referencia en este momento, esencialmente dando a los proveedores de hardware libertad para idear nuevas optimizaciones, incluida la precisión y la cuantificación reducidas, siempre y cuando no pierdan precisión de inferencia y no cumplan con los requisitos generales de precisión del punto de referencia.
Incluso el tipo de hardware utilizado para ejecutar el punto de referencia está abierto a cambios: si bien el punto de referencia está claramente dirigido a aprovechar el nuevo campo de NPU, los proveedores también son libres de ejecutarlo en GPU y CPU como mejor les parezca. Por lo tanto, MLPerf Client no será exclusivamente un punto de referencia de NPU o GPU.
De lo contrario, manteniendo a todos en pie de igualdad, el grupo de trabajo en sí es un quién es quién entre los proveedores de hardware y software. La lista incluye no sólo Intel, AMD y NVIDIA, sino también Arm, Qualcomm, Microsoft, Dell y otros. Por lo tanto, existe la aceptación de todos los principales actores de la industria (al menos en el espacio de Windows), lo que ha sido fundamental para impulsar la aceptación de MLPerf para servidores, y de manera similar será necesario para impulsar la aceptación del cliente MLPerf.
El punto de referencia MLPerf Client en sí aún está bastante lejos de su lanzamiento, pero una vez que esté disponible, se unirá a los actuales líderes del punto de referencia Procyon AI de UL y Geekbench ML de Primate Labs, los cuales ya ofrecen puntos de referencia de IA para clientes de Windows. Y aunque el desarrollo de puntos de referencia no es necesariamente un campo competitivo, MLCommons espera que su enfoque abierto y colaborativo sea algo que los distinga de los puntos de referencia existentes. La naturaleza del consorcio significa que cada miembro tiene voz (y voto) sobre los asuntos, lo que no es el caso de los índices de referencia propietarios. Pero también significa que el grupo necesita un consenso total para poder avanzar.
En última instancia, la versión inicial del benchmark MLPerf Client se está diseñando más como un comienzo que como un producto final en sí mismo. Además de expandir el punto de referencia a plataformas adicionales más allá de Windows, el grupo de trabajo eventualmente también buscará cargas de trabajo adicionales para agregar a la suite y, presumiblemente, agregará más modelos más allá de Llama 2. Entonces, si bien el grupo tiene mucho trabajo por delante, Solo para obtener el punto de referencia inicial, el plan es que MLPerf Client sea un punto de referencia de larga duración y con soporte prolongado, como lo son los otros puntos de referencia de MLPerf en la actualidad.
