Una patata caliente: Los servicios de IA generativa se pueden utilizar para generar fragmentos de texto genérico, imágenes asombrosas o incluso secuencias de comandos en varios lenguajes de programación. Pero cuando se emplean LLM para falsificar informes de errores reales, el resultado puede ser en gran medida perjudicial para el desarrollo de un proyecto.
Daniel Stenberg, el autor original y desarrollador principal del software de rizo, escribió recientemente sobre los efectos problemáticos que los LLM y los modelos de IA están teniendo en el proyecto. El codificador sueco señaló que el equipo tiene un programa de recompensas por errores que ofrece dinero real como recompensa a los piratas informáticos que descubren problemas de seguridad, pero los informes superficiales creados a través de servicios de inteligencia artificial se están convirtiendo en un problema real.
La recompensa por errores de Curl ha pagado hasta ahora 70.000 dólares en recompensas, dijo Stenberg. El programador recibió 415 informes de vulnerabilidad, 77 de ellos «informativos» y 64 que finalmente se confirmaron como problemas de seguridad. Un número significativo de los problemas reportados (66%) no fueron ni un problema de seguridad ni un error normal.
Los modelos de IA generativa se utilizan (o proponen) cada vez más como una forma de automatizar tareas de programación complejaspero los LLM son bien conocidos por su capacidad excepcional para «alucinar» y proporcionar resultados sin sentido mientras suena absolutamente confiado en su producción. En palabras del propio Stenberg, los informes basados en IA se ven mejor y parecen tener razón, pero «mejor basura» sigue siendo una basura.
Cuanto mejor sea la basura, dijo Stenberg, más tiempo y energía tendrán que gastar los programadores en el informe antes de cerrarlo. La basura generada por la IA no ayuda en absoluto al proyecto, ya que le quita tiempo y energía al desarrollador de algo productivo. El equipo de curl necesita investigar adecuadamente cada informe, mientras que los modelos de IA pueden reducir exponencialmente el tiempo necesario para escribir un informe sobre un error que, en última instancia, podría quedar en el aire.
Stenberg citó dos informes falsos que probablemente fueron creados por IA. El primer informe afirmaba describir una vulnerabilidad de seguridad real (CVE-2023-38545) incluso antes de que fuera divulgado, pero apestaba a «alucinaciones típicas del estilo de la IA». Se mezclaron y combinaron hechos y detalles de viejos problemas de seguridad para crear algo nuevo que «no tenía conexión» con la realidad, dijo Stenberg.
Otro informe presentado recientemente en HackerOne describió una posible falla de desbordamiento de búfer en el manejo de WebSocket. Stenberg intentó publicar algunas preguntas sobre el informe, pero finalmente concluyó que la falla no era real y que probablemente estaba hablando con un modelo de IA en lugar de con un ser humano real.
El programador dijo que la IA puede hacer «muchas cosas buenas», pero también puede ser explotada para cosas equivocadas. En teoría, los modelos LLM podrían entrenarse para informar problemas de seguridad de manera productiva, pero todavía tenemos que encontrar «buenos ejemplos» de esto. A medida que los informes generados por IA se vuelvan más comunes con el tiempo, dijo Stenberg, el equipo tendrá que aprender cómo activar mejor las señales «generadas por IA» y descartar rápidamente esas presentaciones falsas.
