Metael miércoles, presentó su Meta Training and Inference Accelerator (MTIA) de próxima generación, su familia de conjuntos de chips personalizados para inteligencia artificial (IA) cargas de trabajo. La actualización de su conjunto de chips de IA se produce casi un año después de que la compañía presentara los primeros chips de IA. Estos aceleradores de inferencia impulsarán los productos, servicios y la IA existentes y futuros del gigante tecnológico que se encuentran dentro de sus plataformas de redes sociales. En particular, Meta destacó que las capacidades del chipset se utilizarán para servir a sus modelos de clasificación y recomendación.
Hacer el anuncio a través de su entrada en el blogMeta dijo: “La próxima generación de infraestructura a gran escala de Meta se está construyendo teniendo en cuenta la IA, incluido el soporte de nuevos productos y servicios de IA generativa (GenAI), sistemas de recomendación e investigación avanzada de IA. Es una inversión que esperamos que crezca en los próximos años a medida que los requisitos informáticos para soportar los modelos de IA aumenten junto con la sofisticación de los modelos”.
El nuevo chip AI ofrece mejoras significativas tanto en generación de energía como en eficiencia debido a mejoras en su arquitectura, según Meta. La próxima generación de MTIA duplica el ancho de banda de computación y memoria en comparación con su predecesor. También puede servir a los modelos de recomendación de Meta que utiliza para personalizar el contenido para sus usuarios en sus plataformas de redes sociales.
Sobre el hardware del chipset, Meta dijo que el sistema tiene un diseño basado en rack que contiene hasta 72 aceleradores donde tres chasis contienen 12 placas y cada uno de ellos alberga dos aceleradores. El procesador funciona a 1,35 GHz, que es mucho más rápido que su predecesor a 800 MHz. También puede funcionar a una potencia superior a 90W. La estructura entre los aceleradores y el host también se actualizó a PCIe Gen5.
La pila de software es donde la empresa ha realizado mejoras importantes. El conjunto de chips está diseñado para integrarse completamente con PyTorch 2.0 y funciones relacionadas. «El compilador de nivel inferior para MTIA toma los resultados del frontend y produce código altamente eficiente y específico para el dispositivo», explicó la compañía.
Los resultados hasta ahora muestran que este chip MTIA puede manejar los modelos de clasificación y recomendación tanto de baja complejidad (LC) como de alta complejidad (HC) que son componentes de los productos de Meta. Entre estos modelos, puede haber una diferencia de ~10x-100x en el tamaño del modelo y la cantidad de cálculo por muestra de entrada. Como controlamos toda la pila, podemos lograr una mayor eficiencia en comparación con las GPU disponibles comercialmente. Lograr estas ganancias es un esfuerzo continuo y continuamos mejorando el rendimiento por vatio a medida que desarrollamos e implementamos chips MTIA en nuestros sistemas.
Con el auge de la IA, muchas empresas de tecnología se están centrando ahora en fabricar conjuntos de chips de IA personalizados que puedan satisfacer sus necesidades particulares. Estos procesadores ofrecen una enorme potencia informática sobre servidores, lo que les permite ofrecer productos como chatbots de IA generalistas y herramientas de IA para tareas específicas.
