Aunque todo el mundo quiere participar, el despliegue de IA generativa a escala ha demostrado ser un desafío importante para las grandes empresas y los organismos gubernamentales.
A pesar de reconocer el potencial de la tecnología para agilizar los procesos, reducir costos y mejorar las cadenas de suministro, las preocupaciones sobre el costo, la complejidad, la seguridad, la privacidad de los datos, la propiedad del modelo y el cumplimiento normativo han actuado como barreras para la adopción.
En un posible avance, SambaNova Systems, financiado por Softbank, ha anunciado el lanzamiento de samba-1, el primer modelo de IA generativa de billones de parámetros. Con tecnología de SambaNova Suite, Samba-1 está diseñado para cumplir con los requisitos de rendimiento, precisión, escalabilidad y costo total de propiedad (TCO). El modelo también promete una reducción del 90% en los costos de inferencia, aunque esta afirmación debe abordarse con cautela.
Construyendo el ‘iPhone de la IA’
A diferencia de otros modelos de billones de parámetros, que se construyen como entidades únicas y monolíticas, Samba-1 utiliza una arquitectura de Composición de Expertos (CoE). Este sistema agrega múltiples modelos pequeños «expertos» en una única solución grande, que funciona como un único modelo grande. Este enfoque ofrece un conocimiento más amplio sobre diversos temas, alta precisión y multimodalidad.
Según se informa, el modelo CoE también puede proporcionar mayor conocimiento y precisión para dominios especializados que otros modelos grandes. Se pueden entrenar modelos individuales más pequeños para dominios específicos, como finanzas, derecho, física o biología, y agregarlos al CoE, brindando una alta precisión para ese dominio específico sin la necesidad de entrenar en todo el modelo de billones de parámetros.
El lanzamiento de Samba-1 sigue al anuncio de SambaNova del SN40L, un chip inteligente de IA diseñado para rivalizar con los del gigante de la IA. NVIDIA. La integración de este chip con el modelo Samba-1 representa un importante paso adelante, siendo SambaNova el primero en ofrecer un sistema integrado de hardware y software para la empresa.
“Toda la industria de la IA está hablando de construir el iPhone de IA – un sistema integrado de hardware y software – y SambaNova es el primero en ofrecer una versión de eso a la empresa”, dijo Rodrigo Liang, cofundador y director ejecutivo de SambaNova Systems. “El otoño pasado, anunciamos el SN40L, el chip de IA más inteligente, y ahora hemos integrado ese chip con el primer modelo de parámetro 1T para la empresa. Samba-1 rivaliza con GPT-4; sin embargo, es más adecuado para la empresa, ya que puede entregarse en las instalaciones o en nubes privadas para que los clientes puedan ajustar el modelo con sus datos privados sin revelarlos al dominio público. »
A pesar de las impresionantes capacidades de Samba-1, la afirmación del modelo de reducir los costos de inferencia en un 90% debe tomarse con una pizca de sal. Si bien la arquitectura CoE ofrece bajos costos de inferencia, el verdadero valor de este ahorro solo será evidente una vez que el modelo se implemente en escenarios del mundo real.
Liang nos dijo: “La IA no es una moda pasajera, estamos al comienzo de este viaje. Nuestra solución completa se centra en organizaciones gubernamentales y empresariales de gran escala, que nadie más puede ofrecer de forma local y privada. No se puede escapar de lo dominante que es Nvidia en este momento, pero podemos implementar estos modelos a escala por una fracción del costo”.
