Google tiene desvelado su último modelo de IA, Gemini 1.5, que presenta lo que la compañía llama una ventana de contexto «experimental» de un millón de tokens.
La nueva capacidad permite a Gemini 1.5 procesar pasajes de texto extremadamente largos (hasta un millón de caracteres) para comprender el contexto y el significado. Esto eclipsa a los sistemas de IA anteriores como Claude 2.1 y GPT-4 Turbo, que alcanzan un máximo de 200.000 y 128.000 tokens respectivamente:
“Gemini 1.5 Pro logra una recuperación casi perfecta en tareas de recuperación de contexto largo en todas las modalidades, mejora el estado del arte en control de calidad de documentos largos, control de calidad de videos largos y ASR de contexto largo, e iguala o supera a Gemini 1.0 Ultra. rendimiento de última generación en un amplio conjunto de puntos de referencia”, dijeron investigadores de Google en un documento técnico (PDF).
La eficiencia del último modelo de Google se atribuye a su innovadora arquitectura de Mezcla de Expertos (MoE).
«Mientras que un Transformer tradicional funciona como una gran red neuronal, los modelos MoE se dividen en redes neuronales ‘expertas’ más pequeñas», explicó Demis Hassabis, director ejecutivo de Google DeepMind.
“Dependiendo del tipo de información proporcionada, los modelos MoE aprenden a activar selectivamente sólo las vías expertas más relevantes en su red neuronal. Esta especialización mejora enormemente la eficiencia del modelo”.
Para demostrar el poder de la ventana de contexto de tokens de 1 millón, Google mostró cómo Gemini 1.5 podía ingerir la transcripción completa del vuelo del Apolo 11 de 326,914 tokens y luego responder con precisión preguntas específicas al respecto. También resumió detalles clave de una película muda de 684.000 fichas cuando se le solicitó.
Inicialmente, Google proporciona a los desarrolladores y empresas acceso gratuito a una vista previa limitada de Gemini 1.5 con una ventana de contexto de un millón de tokens. Más adelante se publicará un lanzamiento general de 128.000 tokens para el público, junto con detalles de precios.
Por ahora, la capacidad de un millón de tokens sigue siendo experimental. Pero si cumple con su promesa inicial, Gemini 1.5 podría establecer un nuevo estándar para la capacidad de la IA para comprender textos complejos del mundo real.
Los desarrolladores interesados en probar Gemini 1.5 Pro pueden inscribirse en Estudio de IA. Google dice que los clientes empresariales pueden comunicarse con su equipo de cuentas de Vertex AI.
(Crédito de la imagen: Google)
Ver también: Amazon entrena LLM de parámetros 980M con ‘habilidades emergentes’
¿Quiere aprender más sobre IA y big data de la mano de los líderes de la industria? Verificar Exposición de IA y Big Data que tendrá lugar en Amsterdam, California y Londres. El evento integral comparte ubicación con otros eventos importantes, incluidos bloquex, Semana de la Transformación Digitaly Exposición de seguridad cibernética y nube.
Explore otros próximos eventos y seminarios web de tecnología empresarial impulsados por TechForge aquí.
