El martes, Anthropic’s Cerrar 3 Trabajo El modelo de lenguaje grande (LLM) superó al GPT-4 de OpenAI (que impulsa ChatGPT) por primera vez en Arena de chatbotsun popular crowdsourcing tabla de clasificación utilizado por investigadores de IA para medir las capacidades relativas de los modelos de lenguaje de IA. «El rey esta muerto,» tuiteó El desarrollador de software Nick Dobos en una publicación comparando GPT-4 Turbo y Claude 3 Opus que ha estado dando vueltas en las redes sociales. «RIP GPT-4».
Desde que GPT-4 se incluyó en Chatbot Arena alrededor del 10 de mayo de 2023 (la tabla de clasificación se lanzó 3 de mayo de ese año), las variaciones de GPT-4 han estado consistentemente en la cima de la lista hasta ahora, por lo que su derrota en la Arena es un momento notable en la relativamente corta historia de los modelos de lenguaje de IA. Uno de los modelos más pequeños de Anthropic, Haiku, también ha llamado la atención con su desempeño en la clasificación.
«Por primera vez, los mejores modelos disponibles (Opus para tareas avanzadas, Haiku para costo y eficiencia) son de un proveedor que no es OpenAI», dijo a Ars Technica el investigador independiente de IA Simon Willison. «Eso es tranquilizador: todos nos beneficiamos de una diversidad de proveedores importantes en este espacio. Pero GPT-4 tiene más de un año en este momento, y le tomó ese año a alguien más ponerse al día».
Chatbot Arena está dirigido por Organización de sistemas de modelos grandes (LMSYS ORG), una organización de investigación dedicada a modelos abiertos que opera como una colaboración entre estudiantes y profesores de la Universidad de California, Berkeley, UC San Diego y la Universidad Carnegie Mellon.
Nosotros perfiló cómo funciona el sitio en diciembre, pero brevemente, Chatbot Arena presenta al usuario que visita el sitio web un cuadro de entrada de chat y dos ventanas que muestran el resultado de dos LLM sin etiquetar. La tarea del usuario es calificar qué resultado es mejor en función de cualquier criterio que el usuario considere más adecuado. A través de miles de estas comparaciones subjetivas, Chatbot Arena calcula los «mejores» modelos en conjunto y completa la tabla de clasificación, actualizándola con el tiempo.
Chatbot Arena es importante porque tanto los investigadores como los usuarios a menudo se sienten frustrados al tratar de medir el rendimiento de los chatbots de IA, cuyos resultados tan variables son difíciles de cuantificar. De hecho, escribimos sobre lo notoriamente difícil que es comparar objetivamente los LLM en nuestro noticia sobre el lanzamiento de Claude 3. Para esa historia, Willison enfatizó el importante papel de las «vibraciones» o sentimientos subjetivos, a la hora de determinar la calidad de un LLM. «Otro caso más de ‘vibraciones’ como concepto clave en la IA moderna», dijo.
El sentimiento de «vibraciones» es común en el espacio de la IA, donde los proveedores frecuentemente seleccionan puntos de referencia numéricos que miden el conocimiento o la capacidad para tomar exámenes para que sus resultados parezcan más favorables. «Acabo de tener una larga sesión de codificación con Claude 3 opus y aplasta por completo a gpt-4. No creo que los puntos de referencia estándar le hagan justicia a este modelo». tuiteó El desarrollador de software de inteligencia artificial Anton Bacaj el 19 de marzo.
El ascenso de Claude puede hacer reflexionar a OpenAI, pero como mencionó Willison, la familia GPT-4 en sí (aunque actualizada varias veces) tiene más de un año. Actualmente, Arena enumera cuatro versiones diferentes de GPT-4, que representan actualizaciones incrementales del LLM que se congelan en el tiempo porque cada una tiene un estilo de salida único, y algunos desarrolladores que las usan con la API de OpenAI necesitan coherencia para que sus aplicaciones creadas sobre Las salidas del GPT-4 no se interrumpen.
Estos incluyen GPT-4-0314 (la versión «original» de GPT-4 de marzo 2023), GPT-4-0613 (una instantánea de GPT-4 del 13 de junio de 2023, con «soporte de llamadas de funciones mejorado», de acuerdo a OpenAI), GPT-4-1106-preview (la versión de lanzamiento de GPT-4 Turbo desde noviembre de 2023) y vista previa de GPT-4-0125 (el último modelo GPT-4 Turbo, destinado a reducir casos de «pereza» a partir de enero de 2024).
Aún así, incluso con cuatro modelos GPT-4 en la clasificación, los modelos Claude 3 de Anthropic han ido subiendo en las listas de manera constante desde su lanzamiento a principios de este mes. El éxito de Claude 3 entre los usuarios de asistentes de IA ya ha hecho que algunos usuarios de LLM reemplacen a ChatGPT en su flujo de trabajo diario, lo que potencialmente reduce la participación de mercado de ChatGPT. En X, el desarrollador de software Pietro Schirano escribió«Honestamente, lo más extraño de todo este Claude 3 > GPT-4 es lo fácil que es simplemente… ¿¿cambiar??»
Google tiene una capacidad similar Géminis Avanzado También ha ido ganando terreno en el espacio de asistentes de IA. Esto puede poner a OpenAI en guardia por ahora, pero a largo plazo, la compañía está preparando nuevos modelos. Es se espera que se publique un nuevo sucesor importante del GPT-4 Turbo (ya sea llamado GPT-4.5 o GPT-5) en algún momento de este año, posiblemente en el verano. Está claro que el espacio LLM estará lleno de competencia por el momento, lo que puede generar cambios más interesantes en la clasificación de Chatbot Arena en los meses y años venideros.