Google en Google Cloud Next 24 presentó tres proyectos de código abierto para su construcción y ejecución IA generativa modelos. La compañía también presentó nuevos grandes modelos de lenguaje a su Texto máximo proyecto de LLM construidos por JAX.
Los nuevos modelos LLM en MaxText incluyen Gemma, GPT-3, Llama 2 y Mistral, que son compatibles tanto con las TPU de Google Cloud como con las GPU de Nvidia, dijo la compañía.
Los proyectos de código abierto recientemente presentados son MaxDifusión, JetStreamy TPU óptimo.
MaxDiffusion es una colección de implementaciones de referencia escalables y de alto rendimiento para modelos de difusión como Stable Diffusion. Al igual que los modelos MaxText, los modelos MaxDiffusion se basan en jaxque es un marco para la computación numérica de alto rendimiento y el aprendizaje automático a gran escala.
JAX, a su vez, está integrado con el compilador OpenXLA, que optimiza las funciones numéricas y ofrece un excelente rendimiento a escala, lo que permite a los creadores de modelos centrarse en las matemáticas y dejar que el software impulse la implementación más efectiva.
«Hemos optimizado en gran medida el rendimiento de JAX y OpenXLA en Cloud TPU y nos hemos asociado estrechamente con Nvidia para optimizar el rendimiento de OpenXLA en grandes clústeres de GPU en la nube», dijo Google.
La compañía también presentó Jetstream, que es un motor de inferencia LLM optimizado de código abierto que admite compiladores XLA.
“A medida que los clientes llevan sus cargas de trabajo de IA a producción, existe una demanda cada vez mayor de una pila de inferencia rentable que ofrezca un alto rendimiento. JetStream ayuda con esta necesidad y ofrece soporte para modelos entrenados con JAX y PyTorch/XLA, e incluye optimizaciones para modelos abiertos populares como Llama 2 y Gemma”, dijo Mark Lohmeyer, gerente general de infraestructura informática y ML en Google Cloud.
Finalmente, los anuncios de código abierto de Google incluyeron el lanzamiento de Optimum-TPU para PyTorch usuarios en el abrazando la cara comunidad. Optimum-TPU ofrece optimizaciones de rendimiento de Google Cloud TPU tanto para entrenamiento como para inferencia. Ahora es compatible con el modelo Gemma 2b y pronto con Llama y Mistral, dijo Google.
Copyright © 2024 IDG Communications, Inc.