NVIDIA se ha asociado con ServiceNow y Hugging Face para presentar una nueva familia de modelos de lenguaje grande (LLM) de acceso abierto para la generación de código.
El StarCoder2 La plataforma fue desarrollada por la comunidad BigCode teniendo en cuenta el rendimiento, la transparencia y la rentabilidad.
El amplio alcance de StarCoder2 se basa en la formación de 619 lenguajes de programación. El generador de códigos de IA viene en tres versiones: 3 mil millones, 7 mil millones y 15 mil millones de parámetros.
StarCoder2 lleva la generación de código a todos
Según el anuncio, las variantes más pequeñas se crearon para proporcionar un rendimiento sólido y al mismo tiempo gestionar los costos informáticos. El modelo más pequeño se construyó junto con ServiceNow y promete igualar el rendimiento de la opción de 15 mil millones de parámetros del StarCoder original, mientras que la opción de especificación media recibe el soporte de Hugging Face.
La opción de 15 mil millones de parámetros de StarCoder2 se entrenó en la infraestructura acelerada de Nvidia.
Las considerables mejoras significan que, si bien la opción acelerada por Nvidia puede desbloquear un mayor rendimiento, incluso la variante más básica es un avance considerable con respecto a las generaciones anteriores y requiere una infraestructura menos sofisticada.
Jonathan Cohen, vicepresidente de Investigación Aplicada de Nvidia. «La colaboración de Nvidia con ServiceNow y Hugging Face introduce modelos seguros y desarrollados de forma responsable, y respalda un acceso más amplio a una IA generativa responsable que esperamos beneficie a la comunidad global».
Además, StarCoder2 utiliza un nuevo conjunto de datos de código llamado The Stack v2, que incorpora nuevas técnicas de capacitación para comprender lenguajes de programación de bajos recursos, matemáticas y discusiones sobre códigos fuente de programas.
Además de las mejoras de rendimiento y eficiencia, las organizaciones insisten en que StarCoder2 se adhiera a prácticas éticas de IA, como el uso de datos obtenidos de manera responsable bajo licencia de los bienes comunes digitales de Software Heritage. Los desarrolladores también pueden optar por no utilizar sus datos para la formación.
