Google ha lanzado una API experimental que permite que modelos de lenguaje grandes se ejecuten completamente en el dispositivo en plataformas web, iOS y Android.
Introducido el 7 de marzo, la API de inferencia LLM de MediaPipe se diseñó para optimizar la integración de LLM en el dispositivo para desarrolladores web y es compatible con plataformas web, Android e iOS. La API proporciona soporte inicial para cuatro LLM: Gema, fi 2, Halcóny LM estable.
Google advierte que la API es experimental y aún está en desarrollo activo, pero brinda a los investigadores y desarrolladores la capacidad de crear prototipos y probar modelos disponibles abiertamente en el dispositivo. Para Android, Google señaló que las aplicaciones de producción con LLM pueden usar Gemini API o Gemini Nano en el dispositivo a través de Android AICore, una capacidad a nivel de sistema introducida en Android 14 que proporciona soluciones impulsadas por Gemini para dispositivos de alta gama, incluidas integraciones con aceleradores. filtros de seguridad y adaptadores LoRA.
Los desarrolladores pueden probar la API de inferencia MediaPipe LLM a través de un demostración web o construyendo aplicaciones de demostración de muestra. Una muestra oficial está disponible en GitHub. La API permite a los desarrolladores incorporar LLM al dispositivo en unos pocos pasos, utilizando SDK específicos de la plataforma. A través de optimizaciones significativas, la API puede ofrecer latencia de última generación en el dispositivo, centrándose en la CPU y la GPU para admitir múltiples plataformas, dijo Google. La compañía planea expandir la API a más plataformas y modelos durante el próximo año.
Copyright © 2024 IDG Communications, Inc.
