Basado en la nube almacén de datos compañía Copo de nieve ha desarrollado un modelo de lenguaje grande (LLM) de código abierto, Arctic, para enfrentarse a empresas como Meta’s Llama 3la familia de modelos Mistral, Grok-1 de xAIy DBRX de ladrillos de datos.
Arctic está dirigido a tareas empresariales como la generación de SQL, la generación de código y el seguimiento de instrucciones, dijo Snowflake el miércoles.
Se puede acceder a través del servicio de IA y aprendizaje automático administrado de Snowflake, Cortex, para inferencia sin servidor a través de su Oferta de nube de datos y entre proveedores de modelos como Hugging Face, Lamini, AWS, Azure, Nvidia, Perplexity y Together AI, entre otros, dijo la compañía. Los usuarios empresariales pueden descargarlo desde abrazando la cara y obtener inferencias y recetas de ajuste fino de Repositorio Github de Snowflakedijo la empresa.
Snowflake Arctic frente a otros LLM
Fundamentalmente, Arctic de Snowflake es muy similar a la mayoría de los otros LLM de código abierto, que también utilizan la arquitectura de mezcla de expertos (MoE) y esto incluye DBRX. Grok-1, y Mixtral entre otros.
La arquitectura MoE construye un modelo de IA a partir de modelos más pequeños entrenados en diferentes conjuntos de datos y luego estos modelos más pequeños se combinan en un modelo que destaca en la resolución de diferentes tipos de problemas. Arctic es una combinación de 128 modelos más pequeños.
Una excepción entre los modelos de código abierto en el mercado es Llama 3 de Meta, que tiene una arquitectura de modelo transformador, una evolución de la arquitectura codificador-decodificador desarrollada por Google en 2017 con fines de traducción.
La diferencia entre las dos arquitecturas, según Scott Rozen-Levy, director de práctica tecnológica de la firma de servicios digitales West Monroe, es que un modelo MoE permite una capacitación más eficiente al ser más eficiente en computación.
«Aún no se sabe cuál es la forma correcta de comparar la complejidad y sus implicaciones en la calidad de los LLM, ya sean modelos MoE o modelos totalmente densos», dijo Rozen-Levy.
Snowflake afirma que su modelo Ártico supera a la mayoría de los modelos de código abierto y a algunos de código cerrado con menos parámetros y también utiliza menos potencia informática para entrenar.
«Arctic activa aproximadamente un 50% menos de parámetros que DBRX y un 75% menos que Llama 3 70B durante la inferencia o el entrenamiento», dijo la compañía, y agregó que utiliza sólo dos de su combinación de modelos expertos a la vez, o alrededor de 17 mil millones. de sus 480 mil millones de parámetros.
DBRX y Grok-1, que tienen 132 mil millones de parámetros y 314 mil millones de parámetros respectivamente, también activan menos parámetros en una entrada determinada. Mientras que Grok-1 utiliza dos de sus ocho modelos MoE en cualquier entrada determinada, DBRX activa sólo 36 mil millones de sus 132 mil millones de parámetros.
Sin embargo, el analista jefe de la firma de investigación de semiconductores Semianalysis, Dylan Patel, dijo que Llama 3 sigue siendo significativamente mejor que Arctic en al menos una medida.
«En términos de costos, el modelo Arctic de 475 mil millones de parámetros es mejor en FLOPS, pero no en memoria», dijo Patel, refiriéndose a la capacidad de computación y la memoria que requiere Arctic.
Además, dijo Patel, Arctic es muy adecuado para la inferencia fuera de línea en lugar de la inferencia en línea.
La inferencia fuera de línea, también conocida como inferencia por lotes, es un proceso en el que las predicciones se ejecutan, almacenan y luego se presentan a pedido. Por el contrario, la inferencia en línea, también conocida como inferencia dinámica, genera predicciones en tiempo real.
Comparación de los puntos de referencia
Arctic supera a los modelos de código abierto como DBRX y Mixtral-8x7B en pruebas de codificación y generación de SQL como HumanEval+, MBPP+ y Spider, según Snowflake, pero no supera a muchos modelos, incluido Llama 3-70B, en comprensión general del lenguaje ( MMLU), MATH y otros puntos de referencia.
Los expertos afirman que aquí es donde los parámetros adicionales de otros modelos como el Llama 3 probablemente sumen beneficios.
«El hecho de que Llama 3-70B funcione mucho mejor que Arctic en los puntos de referencia GSM8K y MMLU es un buen indicador de dónde Llama 3 usó todas esas neuronas adicionales y dónde podría fallar esta versión de Arctic», dijo Mike Finley, CTO de Answer. Rocket, un proveedor de software de análisis.
«Para comprender qué tan bien funciona realmente Arctic, una empresa debe poner a prueba uno de sus propios modelos en lugar de depender de pruebas académicas», dijo Finley, y agregó que vale la pena probar si Arctic funcionará bien en esquemas específicos y dialectos SQL para una empresa específica, aunque obtiene buenos resultados en el punto de referencia Spider.
Los usuarios empresariales, según el analista jefe de Omdia, Bradley Shimmin, no deberían centrarse demasiado en los puntos de referencia para comparar modelos.
“La única puntuación relativamente objetiva que tenemos en este momento es Tabla de clasificación de la arena LMSYS, que recopila datos de interacciones reales de los usuarios. La única medida verdadera sigue siendo la evaluación empírica de un modelo in situ dentro del contexto de su caso de uso en perspectiva”, dijo Shimmin.
¿Por qué Snowflake ofrece Arctic bajo la licencia Apache 2.0?
Snowflake ofrece Arctic y sus otros modelos de incrustación de texto junto con plantillas de código y pesos de modelo bajo la licencia Apache 2.0, que permite el uso comercial sin ningún costo de licencia.
Por el contrario, la familia de modelos Llama de Meta tiene una licencia más restrictiva para uso comercial.
La estrategia de pasar a ser de código completamente abierto podría ser beneficiosa para Snowflake en muchos frentes, dijeron los analistas.
“Con este enfoque, Snowflake logra mantener la lógica que es verdaderamente patentada y al mismo tiempo permite que otras personas modifiquen y mejoren los resultados del modelo. En IA, el modelo es un resultado, no un código fuente”, dijo Hyoun Park, analista jefe de Amalgam Insights.
«Los verdaderos métodos y datos propietarios para la IA son los procesos de entrenamiento para el modelo, los datos de entrenamiento utilizados y cualquier método propietario para optimizar el hardware y los recursos para el proceso de entrenamiento», dijo Park.
La otra ventaja que podría ver Snowflake es un mayor interés de los desarrolladores, según Paul Nashawaty, líder de práctica de modernización y desarrollo de aplicaciones en The Futurum Research.
«Los componentes de código abierto de su modelo pueden atraer contribuciones de desarrolladores externos, lo que lleva a mejoras, correcciones de errores y nuevas características que benefician a Snowflake y sus usuarios», explicó el analista, añadiendo que ser de código abierto podría añadir más cuota de mercado a través de «pura buena voluntad”.
Rozen-Levy de West Monroe también estuvo de acuerdo con Nashawaty, pero señaló que ser profesional del código abierto no significa necesariamente que Snowflake publicará todo lo que construye bajo la misma licencia.
“Quizás Snowflake tenga modelos más potentes que no planean lanzar en código abierto. Lanzar LLM de forma totalmente de código abierto es quizás un juego moral y/o de relaciones públicas contra la concentración total de IA por parte de una institución”, explicó el analista.
Otros modelos de Snowflake
A principios de este mes, la empresa lanzó una familia de cinco modelos sobre incrustaciones de texto con diferentes tamaños de parámetrosafirmando que estos funcionaron mejor que otros modelos de incrustación.
Los proveedores de LLM lanzan cada vez más variantes de modelos para permitir a las empresas elegir entre latencia y precisión, según los casos de uso. Si bien un modelo con más parámetros puede ser relativamente más preciso, el que tiene menos parámetros requiere menos cálculo, tarda menos tiempo en responder y, por lo tanto, cuesta menos.
“Los modelos brindan a las empresas una nueva ventaja al combinar conjuntos de datos propietarios con LLM como parte de un recuperación de generación aumentada (RAG) o búsqueda semántica servicio”, escribió la compañía en una publicación de blog, y agregó que estos modelos fueron el resultado de la experiencia técnica y el conocimiento que obtuvo del Adquisición de Neeva el pasado mes de mayo.
Los cinco modelos de integración también son de código abierto y están disponibles en abrazando la cara para uso inmediato y su acceso a través de Cortex se encuentra actualmente en versión preliminar.
Copyright © 2024 IDG Communications, Inc.
