El gigante tecnológico ruso Yandex ha lanzado un nuevo fuente abierta herramienta para ayudar a las empresas de IA a ahorrar dinero y recursos al entrenar nuevos modelos.
En su anuncioYandex dice que la nueva herramienta YaFSDP puede proporcionar un modelo de lenguaje grande más rápido y eficiente (LLM) capacitación y puede ayudar a ahorrar hasta un 20% de los recursos de la GPU, ahorrando dinero y tiempo.
Yandex también publicó recursos para probar YaFSDP en GitHub para que cualquiera pueda verlo y experimentar.
Cómo entrenar tu LLM
Yandex presenta muchos detalles técnicos en su publicación de anuncio, diciendo que la nueva herramienta de código abierto es «la herramienta disponible públicamente más efectiva para mejorar la comunicación de GPU y reducir el uso de memoria en la capacitación LLM», y puede ofrecer velocidades hasta un 26% más rápidas. que FSDP, la versión anterior a YaFSDP.
«La formación LLM es un proceso que requiere mucho tiempo y recursos», dice Yandex. «Los ingenieros de aprendizaje automático y las empresas que desarrollan sus propios LLM invierten mucho tiempo y recursos de GPU (lo que equivale a dinero) en el entrenamiento de estos modelos. Cuanto más grande sea el modelo, mayor será el tiempo y los gastos asociados con su entrenamiento».
La compañía estima que usar YaFSDP para entrenar un modelo con 70 mil millones de parámetros puede ahorrar los recursos de aproximadamente 150 GPU, lo que se traduce en alrededor de $0,5 a $1,5 millones (dependiendo del proveedor o plataforma de GPU virtual) en ahorros mensuales, si todo va bien.
Usando Meta’s Llama modelsque han sido elogiados por estar a la vanguardia y adoptar el código abierto, Yandex dice que la «aceleración final» es del 21% y 26% en Llama 2 70B y Llama 3 70B, respectivamente.
YaFSDP no es la primera incursión de Yandex en las herramientas de IA, ya que lanzó CatBoost, YTsaurus, AQLM y Petals, todos los cuales manejan un nicho diferente dentro del desarrollo de IA.
La medida de Yandex se produce después de que tuvo que desprenderse de su empresa tras la invasión rusa de Ucrania. vendiendo su negocio nacional a su anterior gestión en el país.
Muchas grandes empresas de tecnología también están haciendo que la IA sea fundamental para sus productos, más recientemente con Manzana liberando su Inteligencia de Apple servicios como parte del próximo iOS 18 actualizar.
