¡Doh! No es raro que una empresa se deje llevar en una prueba de referencia, pero las consecuencias pueden ser vergonzosas cuando la pillan. Intel se encuentra en esta situación, ya que SPEC informa que el fabricante de chips supuestamente utilizó un compilador diseñado a medida para miles de sus puntos de referencia.
Cuando terceros comparan productos de TI, todos asumen que las pruebas se llevan a cabo en igualdad de condiciones y que los resultados mostrados no han estado sujetos a juegos de manos. El descubrimiento ocasional de que este no fue el caso puede resultar exasperante, considerando el peso que la industria y las empresas compradoras otorgan a los índices de referencia.
Prepárate para enloquecer.
La Standard Performance Assessment Corporation (SPEC) ha modificado alrededor de 2600 registros que cubren los resultados de SPEC CPU 2017 para CPU Intel con una nota que indica que los resultados de los procesadores Intel Xeon, los Los mayores principalmente – no eran válidas. Una investigación derivada de una auditoría interna del SPEC encontró que Intel había utilizado compiladores que realizaban transformaciones con aplicabilidad limitada, lo que significaba que era poco probable que los resultados fueran algo que los usuarios finales pudieran esperar experimentar.
Intel utilizó un compilador, específicamente el oneAPI DPC++/C++, optimizado para el punto de referencia SPEC CPU 2017 específico en lugar de las cargas de trabajo probadas. El punto de referencia en cuestión fue 523.xalancbmk_r / 623.xalancbmk_s. Para decirlo sin rodeos, Intel hizo trampa.
Michael Larabel en Phoronix cree que el compilador especialmente diseñado de Intel podría haber inflado el aumento de velocidad en un 9 por ciento y alrededor del 4 por ciento para la tasa SPECint.
ServeTheHome dijo que los resultados de Intel Xeon Sapphire Rapids de cuarta generación parecían haber sido los más afectados según varias verificaciones aleatorias de los registros anotados de SPEC. Se dio cuenta de que las optimizaciones estaban en el compilador de 2022, pero la última versión (2023.2.3), generalmente utilizada para el último lanzamiento de Intel Xeon Emerald Rapids de quinta generación, ya no tenía las optimizaciones.
Este engaño no es la primera vez que se cuestiona la integridad de una empresa en torno a los resultados de referencia. Hardware de Tom Señala algunos de los casos más infames, como cuando Nvidia supuestamente realizó una optimización del lado del controlador para aumentar el rendimiento de sus GPU en 3DMark 2003. Siete años después, en 2010, Nvidia acusó a AMD de utilizar una configuración de calidad de imagen diferente para mejorar los resultados de las pruebas comparativas. frente a tarjetas GeForce comparables. Los proveedores de chips móviles Qualcomm, Samsung y MediaTek supuestamente falsificado Resultados de rendimiento de Android en 2020.