ServiceNow, Hugging Face y Nvidia han lanzado StarCoder2, la próxima generación de su software de acceso abierto y libre de regalías. modelo de lenguaje grande (LLM) capacitado para generar código, en un esfuerzo por adoptar herramientas de programación basadas en inteligencia artificial, incluido GitHub Copilot, propiedad de Microsoft, La IA Bardo de Googley Amazon CodeWhisperer.
StarCoder2 es de hecho una familia de tres LLM: un modelo de 3 mil millones de parámetros entrenado por ServiceNow, un modelo de 7 mil millones de parámetros entrenado por Hugging Face y un modelo de 15 mil millones de parámetros construido por Nvidia con la ayuda de su NeMo. estructura.
Los tres tamaños de modelo diferentes permitirán a las empresas ahorrar en costos de computación mediante el uso de modelos de menor rendimiento cuando los recursos son un problema.
Los desarrolladores pueden utilice los LLM para completar el códigoresumen de código avanzado y recuperación de fragmentos de código, entre otras capacidades.
“StarCoder2 promueve el potencial de las futuras aplicaciones de codificación impulsadas por IA, incluidas las capacidades de texto a código y de texto a flujo de trabajo. Con una formación en programación más amplia y profunda, proporciona contexto de repositorio, lo que permite predicciones precisas y conscientes del contexto”, dijeron las empresas en un comunicado conjunto.
El punto clave de diferenciación entre los LLM de primera y segunda generación es el soporte integrado para más lenguajes de programación. Mientras que la primera generación admitía 80 lenguajes de programación, los LLM de segunda generación brindan soporte para hasta 619 lenguajes de programación.
La base de StarCoder2 es un nuevo conjunto de datos de código llamado Pila v2, que es más de siete veces más grande que Stack v1. Las empresas utilizaron nuevas técnicas de formación para ayudar al modelo a manejar lenguajes como COBOL para lo cual hay pocos recursos en línea disponibles, y para manejar matemáticas y discusiones sobre el código fuente del programa. Con la capacidad de comprender COBOL, los nuevos LLM ahora pueden competir con las ofertas como el asistente de código Watsonx de IBM.
Ajuste fino para la empresa
Las empresas tendrán la opción de ajustar los modelos con sus propios datos utilizando herramientas como NeMo o Hugging Face TRL para crear chatbots personalizados o asistentes de codificación.
El primera versión de StarCoder en mayo de 2023 llamó la atención porque, a diferencia de modelos como Duet AI o CodeWhisperer, los LLM eran en su mayoría gratuitos y, al mismo tiempo, se entrenaban con datos autorizados.
ServiceNow y Hugging Face se habían combinado para formar el proyecto BigCode, cuyo objetivo era crear «sistemas de inteligencia artificial de última generación para código de manera abierta y responsable con el apoyo de la comunidad de investigación científica abierta de inteligencia artificial».
Luego, las empresas dijeron que capacitar al LLM en código fuente con licencia resolvió problemas legales relacionados con los motores de IA generativa que producen código no atribuido en respuesta a consultas en lenguaje natural.
GitHub, por ejemplo, ya enfrenta una Demanda colectiva sobre su asistente de codificación Copilot AI.
Sin embargo, los miembros de BigCode dijeron que a diferencia del software tradicional de código abierto lanzado sin restricciones de uso, la licencia de StarCoder incluye restricciones que se aplican a las modificaciones del modelo y las aplicaciones que utilizan el modelo, incluidas restricciones a la distribución de código malicioso.
El código fuente de soporte para los modelos está disponible en Página de GitHub del proyecto BigCode.
Si bien los dos modelos más pequeños se pueden descargar directamente desde Hugging Face, el modelo de 15 mil millones de parámetros solo está disponible en Catálogo de modelos AI Foundation de Nvidia.
Copyright © 2024 IDG Communications, Inc.
