Slim-Llama es un procesador LLM ASIC que puede abordar 3 mil millones de parámetros mientras consume solo 4,69 mW, y muy pronto descubriremos más sobre este potencial revolucionario de la IA.
Slim-Llama reduce las necesidades de energía mediante cuantificación binaria/ternaria Logra un aumento de eficiencia de 4,59 veces y consume entre 4,69 y 82,07 mW a escala Admite modelos de parámetros 3B con latencia de 489 ms, lo que permite eficiencia...
