Con ingenieros ágiles entre los trabajadores más demandados tras la llegada de la IA generativa a la empresa, era inevitable que alguien investigara si su función también podría ser automatizada, o al menos facilitada, por la IA.
Y, efectivamente, un estudio reciente Centrado en cómo escribir las mejores indicaciones para que una IA con un modelo de lenguaje grande (LLM) resuelva problemas matemáticos, descubrió que otra IA obtiene mejores resultados que un humano. El estudio buscó determinar si los estímulos del “pensamiento positivo” generados por humanos, como “¡esto será divertido!” o “respire hondo y piense”: produzca mejores respuestas. Los resultados fueron mixtos cuando se utilizaron diferentes LLM.
Las indicaciones optimizadas por IA ganan
Sin embargo, el uso de indicaciones optimizadas por IA «igualó o superó consistentemente la efectividad de nuestras indicaciones de ‘pensamiento positivo’ generadas manualmente en casi todos los casos», escribieron los investigadores Rick Battle y Teja Gollapudi de VMware.
Su conclusión: es fácil conseguir que un LLM encuentre nuevas respuestas dándole diferentes indicaciones. Es más difícil producir respuestas consistentemente excelentes a través de indicaciones generadas por humanos.
«Afectar el rendimiento es trivial», escribieron. «Mejorar el rendimiento al ajustar el indicador manualmente es laborioso y computacionalmente prohibitivo cuando se utilizan procesos científicos para evaluar cada cambio».
Battle y Gollapudi citan un estudio 2023, de Chengrun Yang de Google DeepMind y otros investigadores, llegando a una conclusión similar. Las indicaciones optimizadas por IA pueden ser específicas del modelo de IA y de la tarea, mientras que indicaciones similares generadas por humanos pueden producir un «rendimiento drásticamente diferente», dice el estudio de Yang.
Su investigación, junto con la de Yang, «destaca la capacidad superior» de Ais para optimizar sus propias indicaciones.
«Participar en el proceso iterativo de refinar las indicaciones y monitorear la progresión de la puntuación posterior puede ser una tarea agradable», escriben Battle y Gollapudi. «Sin embargo, este enfoque resulta muy ineficiente en términos de tiempo, especialmente cuando se evalúan sistemáticamente todas las modificaciones desde un punto de vista científico».
Probablemente no debería sorprender que la IA produzca los mejores resultados, incluso si el concepto de «mejor» puede ser subjetivo, dijo Daniel Freeman, consultor senior y experto en IA de Scotwork International, una empresa global de capacitación y habilidades de negociación.
«Ya estamos abordando los sesgos inherentes a los modelos de IA, por lo que quizás el ‘mejor’ mensaje sea aquel que produzca resultados no deseados para el usuario», afirmó.
A artículo reciente en Business Insider sugirió que la IA está llegando a los trabajos de ingeniería de IA bien remunerados, y Freeman planteó preocupaciones similares a medida que los investigadores y desarrolladores de IA exploran los límites de la IA.
Consideraciones éticas
«Cuando llegamos a un punto en el que le pedimos a la IA que se impulse a sí misma, surge la pregunta: ¿estamos priorizando inadvertidamente la reducción de costos sobre consideraciones éticas más amplias?» él dijo. “¿Realmente queremos dejar de lado la participación humana?”
Los estudios recientes sugieren la posibilidad de sacar a los humanos de la IA y del entrenamiento, pero ese es un «camino precario a seguir», añadió. «Confiamos en el toque humano para guiar con sensatez el desarrollo de esta tecnología emergente».
Se necesita orientación humana para evitar que los chatbots de IA proporcionen información inexacta, reducir el plagio en el mundo académico y resolver dilemas étnicos en el arte generado por IA, por ejemplo, señaló Freeman.
Freeman ha visto cómo la IA se integra cada vez más en los procesos de capacitación en negociación con su trabajo en Scotwork. «Es previsible que la IA siga ampliando su papel en futuras negociaciones comerciales y más allá, pero lograr el equilibrio adecuado entre la IA y las capacidades humanas será fundamental para una integración exitosa y la preservación de la negociación como una forma de arte», afirmó.
Copyright © 2024 IDG Communications, Inc.