A veces, la mejor manera de examinar algo es en el contexto de cosas que ya sabes un poco. O, al menos, eso crees.
Con ese espíritu, recientemente probé El chatbot Géminis de Googleanteriormente Bard, contra ChatGPT-4 de OpenAI. Esta prueba fue parte de una discusión sobre un elemento clave en las formas modernas de aprendizaje profundo de inteligencia artificial (AI). Este elemento es el tipo de IA que subyace tanto a ChatGPT como a Gemini. Ese elemento se llama «descenso de gradiente estocástico» (SGD).
También: ChatGPT vs. Microsoft Copilot vs. Gemini: ¿Cuál es el mejor chatbot con IA?
Los escritores, especialmente los periodistas, tienden a apoyarse en metáforas y analogías para explicar cosas complejas. Los conceptos abstractos, como el SGD, son difíciles de entender para un profano. Entonces, pensé que explicar un concepto científico muy difícil mediante metáforas era una buena prueba para ambos programas.
Le hice a Gemini y ChatGPT una pregunta simple que podrías hacer cuando intentas comprender un área a través de una analogía:
¿Existe una buena analogía o metáfora para el descenso de gradiente estocástico?
En cuanto a cumplir el objetivo de explicar el SGD mediante analogías, Google ganó sin lugar a dudas. Google pudo manejar solicitudes repetidas que buscaban perfeccionar la solución. ChatGPT de OpenAI, por el contrario, se atascó, simplemente repitiendo fragmentos de información de diferentes maneras sin avanzar en la solución.
Una razón para esa diferencia podría ser que Gemini de Google fue capaz de abordar un «¿por qué?» pregunta en lugar de un «¿qué?». Cuando se le preguntó: «¿Por qué utilizó esa solución?», ChatGPT produjo un resultado insatisfactorio, y esa es una conclusión importante.
También: Cómo Google y OpenAI impulsaron a GPT-4 a brindar respuestas más oportunas
Pero primero, algo de contexto. El descenso de gradiente estocástico es un método matemático utilizado en el entrenamiento de redes neuronales. A veces se la denomina «regla de aprendizaje», el mecanismo central mediante el cual el procedimiento de capacitación refina el programa.
Una red neuronal produce resultados, y el entrenamiento implica comparar ese resultado con un resultado bueno conocido y alterar la red neuronal hasta que se acerque lo más posible al resultado bueno conocido. Para cerrar la brecha entre el resultado real y el ejemplo de oro, se realizan una serie de cambios en la configuración de la red neuronal.
Esa serie de cambios se produce de forma casi aleatoria (o estocástica) en un espacio abstracto de posibles soluciones, o gradiente. Los científicos se refieren a este proceso como un intento de encontrar el mínimo de diferencia entre la salida real y la deseada: el punto más bajo del gradiente.
La analogía clásica para esta situación es una hormiga que intenta encontrar el camino cuesta abajo hasta el punto más bajo cruzando el terreno al azar, cuando la hormiga no puede ver todo el terreno.
Tanto Gemini como ChatGPT-4 dieron resultados decentes y similares en respuesta a mi pregunta original. Géminis utilizó la analogía de encontrar un tesoro en el fondo de un valle, siendo el tesoro una metáfora para reducir la diferencia entre el resultado deseado y el resultado real:
OpenAI, por otro lado, utilizó la analogía de un excursionista que deambula en una densa niebla por una montaña y que no puede ver muy lejos cuando intenta llegar al fondo de un valle:
Ambos resultados fueron bastante justos. Pero luego introduzco indicaciones más desafiantes. Y ahí es donde los resultados divergieron.
Reté a Géminis a que explicara por qué el tesoro de la analogía estaba en el fondo de un valle. ¿Por qué no colocar el tesoro en lo alto de un pico? «Tienes razón», respondió Gemini, «esconder un tesoro en un punto más alto podría ser incluso más lógico desde una perspectiva de seguridad».
Géminis luego se ofreció a ajustar la analogía con una historia de un tesoro escondido en una cámara secreta en ruinas arqueológicas, para que «intuitivamente» tuviera más sentido, según Géminis. Pensé que ese enfoque era una buena manera de incorporar el «¿Por qué?» desde el mensaje para avanzar la analogía.
De manera similar, escribí en ChatGPT-4: «Esa es una analogía bastante buena, pero ¿por qué el excursionista intenta llegar al fondo del valle? También podría estar intentando llegar a la cima».
También: GPT-4 se está volviendo significativamente más tonto con el tiempo, según un estudio
El resultado de ChatGPT-4 a esta pregunta fue una sorpresa. En lugar de buscar mejorar la analogía, como lo hizo Gemini, ChatGPT-4 simplemente produjo una explicación de por qué la analogía se formuló de esta manera. El resultado fue una explicación precisa y detallada, pero no avanzó en la tarea de reformular el resultado para producir una mejor solución:
Por supuesto, hay muchas maneras de modificar todas las indicaciones para condicionar ambos programas a fin de que produzcan diferentes tipos de respuestas.
Sin embargo, desde un comienzo en frío, el resultado de Gemini mostró la capacidad de seguir una tarea hasta la siguiente solución cuando se le solicitaba. El programa OpenAI perdió la trama y simplemente reiteró información sobre la respuesta que ya había generado.
Y como los SGD son un elemento clave de IA de aprendizaje profundoes justo concluir que Géminis gana este desafío.