Tiny corp., una startup que gestiona el marco de red neuronal tinygrad, ha presentado un nuevo sistema de inteligencia artificial que utiliza seis AMD Radeon RX 7900 XTX Tarjetas gráficas. La tinybox, con un precio de 15.000 dólares, tiene como objetivo democratizar el rendimiento de clase PetaFLOPS para la inteligencia artificial.
El sistema tinybox es una potencia compacta que incluye seis de AMDLas GPU para juegos más rápidas de Amazon en una caja para rack de 12U. Las GPU se conectan mediante enlaces PCIe 4.0 x16 de ‘estructura completa’ para garantizar el máximo ancho de banda. Pequeña corporación. dice que eligió la Radeon RX 7900 XTX en lugar de NVIDIA‘s GeForce RTX 4090 porque las GPU son totalmente compatibles con las interconexiones de igual a igual necesarias para los LLM.
Hardware de Tom informa que “el tinybox puede ofrecer hasta 738 FP16 TFLOPS (0,738 FP16 TFLOPS) de rendimiento junto con 96 GB de memoria GDDR6 que ofrece 21 TB/s de ancho de banda de memoria agregado. Para poner los números en contexto, una tinybox ofrece el 37% del rendimiento informático de la Nvidia H100 (FP16), pero un poco más de memoria (96 GB en lugar de 80 GB) y un ancho de banda máximo de memoria considerablemente mayor (21 TB/s en lugar de 3,35 TB/s)”.
Envío pronto
La tinybox incluye cinco SSD Western Digital SN850X de 1 TB (4 en RAID, 1 para arranque) y también cuenta con una ranura OCP 3.0 de 16x vacía para redes. Se enviará con Ubuntu 22.04 y el marco tinygrad, aunque a tinycorp le complace que los compradores ejecuten otros marcos de aprendizaje automático como PyTorch y JAX en hardware AMD. Como dice la empresa, «su hardware es su hardware… puede comprarlo para cualquier propósito».
Sin embargo, no todo el mundo está entusiasmado con la idea de la pequeña caja. Como un Hardware de Tom El lector comentó: «Oh, genial, otra startup más que hará que los precios de las GPU para juegos aumenten».
Según se informa, el coste de la lista de materiales de la máquina tinybox es de unos 10.000 dólares, pero la empresa la venderá por 15.000 dólares, un precio considerablemente inferior al de la H100 de Nvidia, que se puede vender por más de $40,000. Hasta la fecha, la compañía dice que ha recibido 583 pedidos anticipados y planea comenzar a enviar en abril. Es posible Reserva la tinybox por $100.
La compañía dice sobre el futuro de su creación: “Superaremos los límites de lo que es posible en esta caja. El hardware es sólido, pero el software supone un largo viaje. Estoy emocionado de emprender ese viaje junto con todos ustedes que pronto serán propietarios de tinybox. Al metal. Exprimiremos hasta el último fracaso de esto”.
