que bien lo haces herramientas de inteligencia artificial escribir código? Durante el último año, he estado sometiendo grandes modelos de lenguaje a una serie de pruebas para ver qué tan bien manejan algunos desafíos de programación bastante básicos.
También: Los mejores cursos gratuitos de IA (y si los ‘microtítulos’ y certificados de IA valen la pena)
La idea es simple: si no pueden manejar estos desafíos básicos, probablemente no valga la pena pedirles que hagan algo más complejo. Por otro lado, si pueden manejar estos desafíos básicos, podrían convertirse en asistentes útiles para los programadores que buscan ahorrar algo de tiempo.
Para establecer este punto de referencia, he estado usando tres pruebas (y acabo de agregar una cuarta). Ellos son:
- Escribir un complemento de WordPress:Esto prueba el desarrollo web básico utilizando el lenguaje de programación PHP, dentro de WordPress. También requiere un poco de creación de interfaz de usuario. Si un chatbot con IA pasa esta prueba, puede ayudar a crear código rudimentario como asistente para los desarrolladores web. Originalmente documenté esta prueba en «Le pedí a ChatGPT que escribiera un complemento de WordPress que necesitaba. Lo hizo en menos de 5 minutos.«.
- Reescribiendo una función de cadena: Esta prueba evalúa cómo un chatbot de IA actualiza una función de utilidad para una mejor funcionalidad. Si un chatbot de IA pasa esta prueba, podría ayudar a crear herramientas para programadores. Si falla, los estudiantes de programación de primer año probablemente puedan hacer un mejor trabajo. Originalmente documenté esta prueba en «Bien, entonces ChatGPT acaba de depurar mi código. Verdadero«.
- Encontrar un error molesto: Esta prueba requiere un conocimiento profundo de cómo funciona WordPress porque la respuesta obvia es incorrecta. Si un chatbot de IA puede responder esto correctamente, entonces su base de conocimientos es bastante completa, incluso con marcos como WordPress. Originalmente documenté esta prueba en «Bien, entonces ChatGPT acaba de depurar mi código. Verdadero«.
- Escribir un guión: Esta prueba le pide a un chatbot de IA que programe utilizando dos herramientas de programación bastante especializadas que muchos usuarios no conocen. Básicamente, prueba el conocimiento del chatbot de IA más allá de los grandes idiomas. Originalmente documenté esta prueba en «Google presenta Gemini Code Assist y soy cautelosamente optimista de que ayudará a los programadores«.
Lo guiaré a través de cada prueba y compararé los resultados con los de otros chatbots de IA que he probado. De esa manera, podrá evaluar mejor en qué se diferencian los chatbots de IA en lo que respecta al rendimiento de la codificación.
Esta vez, estoy poniendo a prueba la nueva Meta AI de Meta. Empecemos.
1. Escribir un complemento de WordPress
Aquí está la interfaz generada por Meta AI a la izquierda, en comparación con la interfaz generada por ChatGPT a la derecha:
Ambos chatbots de IA generaron los campos requeridos, pero la presentación de ChatGPT fue más limpia e incluyó encabezados para cada uno de los campos. ChatGPT También colocó el botón Aleatorizar en una ubicación más apropiada dada la funcionalidad.
También: Cómo empezar con Meta AI en Facebook, Instagram y más
En términos de operación, ChatGPT tomó un conjunto de nombres y produjo resultados aleatorios, como se esperaba. Desafortunadamente, Meta IA Tomó un conjunto de nombres, mostró algo y luego presentó una pantalla blanca. Esto se describe comúnmente en el mundo de WordPress como «La pantalla blanca de la muerte».
Aquí están los resultados agregados de esta y de pruebas anteriores:
- Meta IA: Interfaz: adecuada, funcionalidad: falla
- Meta Code Llama: Fallo completo
- Google Géminis Avanzado: Interfaz: buena, funcionalidad: falla
- ChatGPT: Interfaz: buena, funcionalidad: buena
2. Reescribir una función de cadena
Esta prueba está diseñada para probar conversiones de dólares y centavos. Meta AI tenía cuatro problemas principales: hacía cambios para corregir valores cuando no debería haberlos hecho, no probaba adecuadamente los números con múltiples puntos decimales, fallaba completamente si una cantidad en dólares tenía menos de dos decimales (en otras palabras, falla con $5 o $5.2 como entradas), y rechazó los números correctos una vez que se completó el procesamiento porque formateó esos números incorrectamente.
También: Cómo utilizar ChatGPT
Esta es una tarea bastante simple y que la mayoría de los estudiantes de informática de primer año deberían poder completar. Es decepcionante que Meta AI haya fallado, especialmente porque Code Llama de Meta tuvo éxito con la misma prueba.
Aquí están los resultados agregados de esta y de pruebas anteriores:
- Meta IA: Fallido
- Meta Code Llama: Tuvo éxito
- Google Géminis Avanzado: Fallido
- ChatGPT: Tuvo éxito
3. Encontrar un error molesto
Esta no es una tarea de programación. Esta prueba incluye algunos fragmentos de código preexistentes, junto con datos de error y una descripción del problema. Luego le pide al chatbot de IA que averigüe qué está mal en el código y recomiende una solución.
El desafío aquí es que hay una respuesta obvia, que es incorrecta. El problema requiere un conocimiento profundo de cómo funciona la API de WordPress, así como comprender la interacción entre varios componentes del programa que se está escribiendo.
Meta AI pasó este con gran éxito. No sólo identificó el error correctamente, sino que incluso hizo una sugerencia que, aunque no era necesaria, mejoraba la eficiencia del código.
Después de fallar tan estrepitosamente al reescribir una función de cadena simple, no esperaba que Meta AI tuviera éxito en un problema sustancialmente más desafiante. Esto demuestra que los chatbots de IA no son necesariamente consistentes en sus respuestas.
Aquí están los resultados agregados de esta y de pruebas anteriores:
- Meta IA: Tuvo éxito
- Meta Code Llama: Fallido
- Google Géminis Avanzado: Fallido
- ChatGPT: Tuvo éxito
4. Escribir un guión
Esta prueba requiere conocimientos de codificación de la herramienta de secuencias de comandos de MacOS. Maestro del tecladoel lenguaje de secuencias de comandos de Apple, AppleScript, y el comportamiento de secuencias de comandos de Chrome.
Keyboard Maestro es una herramienta increíblemente poderosa (es una de las razones por las que uso Mac como mi principal máquina de trabajo), pero también es un producto bastante oscuro escrito por un programador solitario en Australia. Si un chatbot de IA puede codificar con esta herramienta, es probable que tenga conocimientos de codificación decentes en todos los idiomas. AppleScript es el lenguaje de programación MacOS de Apple, pero también es bastante oscuro.
También: Los mejores generadores de imágenes con IA: probados y revisados
Tanto Meta AI como Code Llama de Meta fallaron exactamente de la misma manera: no recuperaron datos de Keyboard Maestro como se les indicó. Ninguno de los dos parecía conocer la herramienta en absoluto. Por el contrario, Tanto Gemini como ChatGPT sabían que era una herramienta independiente.y recuperó los datos correctamente.
Aquí están los resultados agregados de esta y de pruebas anteriores:
- Meta IA: Fallido
- Meta Code Llama: Fallido
- Google Géminis Avanzado: Tuvo éxito
- ChatGPT: Tuvo éxito
Resultados totales
Aquí están los resultados generales de las cuatro pruebas:
He usado ChatGPT para ayudar con proyectos de codificación durante aproximadamente seis meses. Nada en los resultados aquí me ha convencido de cambiar a un chatbot de IA diferente. De hecho, si usara alguno de estos chatbots de IA, me preocuparía dedicar más tiempo a comprobar y encontrar errores que a realizar el trabajo.
Estoy decepcionado con los otros modelos de lenguaje grandes. Mis pruebas muestran que ChatGPT sigue siendo el campeón indiscutible en codificación, al menos por ahora.
¿Has probado a codificar con Meta AI, Gemini o ChatGPT? ¿Cuál ha sido tu experiencia? Háganos saber en los comentarios a continuación.
Puedes seguir las actualizaciones diarias de mi proyecto en las redes sociales. Asegúrate de suscribirte a mi boletín de actualización semanaly sígueme en Twitter/X en @DavidGewirtzen Facebook en Facebook.com/DavidGewirtzen Instagram en Instagram.com/DavidGewirtzy en YouTube en YouTube.com/DavidGewirtzTV.
