Se informa que Microsoft está trabajando en un nuevo modelo de lenguaje grande (LLM) Hacerse cargo Tomar Cargo Géminis de Google y GPT-4 de OpenAI.
Con el nombre en clave MAI-1, el nuevo LLM se encuentra actualmente en la fase de desarrollo y está dirigido por Mustafa Suleyman, cofundador de Google DeepMind e Inflection AI. La información reportada citando dos fuentes.
Suleyman se unió a Microsoft en marzo junto con Karen Simonyan, la otra cofundadora de Inflection AI, para liderar el esfuerzo copiloto de la compañía, según un entrada en el blog escrito por el director ejecutivo de Microsoft, Satya Nadella.
Microsoft también había pagado 650 millones de dólares a Inflection AI para obtener la licencia de su software. Suleyman y Simonyan, junto con otros miembros del personal de Inflection AI que se unen a Microsoft, son parte del mismo acuerdo.
Si bien las fuentes citadas por Information no revelaron el propósito detrás de la construcción del LLM de 500 mil millones de parámetros, dijeron que el nuevo LLM podría presentarse en la conferencia Build de la compañía a finales de este mes.
Según se informa, la empresa está dedicando una gran cantidad de recursos informáticos para entrenar el modelo, incluido el uso de datos de Internet y datos generados a partir de GPT-4.
Para poner las cosas en contexto, se informa que el GPT-4 de OpenAI tiene 1,76 billones de parámetros y la compañía gastó más de 100 millones de dólares en recursos informáticos para entrenarlo.
Si bien Microsoft puede estar trabajando en el modelo gigante, la compañía lanzó el mes pasado una nueva familia de modelos de lenguaje pequeño (SLM): familia phi-3 – como parte de su plan para hacer que sea liviano pero de alto rendimiento IA generativa Tecnología disponible en más plataformas, incluidos dispositivos móviles.
La familia Phi-3 consta de tres modelos: el Phi-3 Mini de 3.800 millones de parámetros, el Phi-3 Small de 7 mil millones de parámetros y el Phi-3 Medium de 14 mil millones de parámetros.
En los últimos meses, varios proveedores han anunciado una avalancha de LLM, como Snowflake, Databricks, Cohere, Mistral, Anthropic, Meta, Google y AWS.
Mientras Snowflake lanzó su LLM ÁrticoDatabricks lanzó su DBRX modelo. Por otra parte, Meta había lanzado su Llama 3 modelo. Apenas unos días después, Cohere había lanzado versiones de su Dominio familia de modelos.
Copyright © 2024 IDG Communications, Inc.