Este artículo de Axios afirma lo que ya sabemos: las respuestas provenientes de muchos IA generativa (genAI) son engañosos, no son lo que los usuarios pidieron o simplemente están equivocados. El problema público es que el líder de ingeniería de software de Microsoft, Shane Jones cartas enviadas a la presidenta de la FTC, Lina Khan, y a la junta directiva de Microsoft el 6 de marzo, diciendo que el generador de imágenes de IA de Microsoft creó imagenes violentas y sexuales y utilizó imágenes con derechos de autor cuando se le dieron indicaciones específicas.
Por supuesto, el enorme y accesible públicamente grandes modelos de lenguaje (LLM) reciben la atención más negativa. ¿Qué pasa con las aplicaciones empresariales que aprovechan la IA generativa? Sin duda, un menor enfoque generará respuestas de mejor calidad. No.
Donde falla la IA generativa
Muchos me dicen que pensaban que se suponía que la IA generativa proporcionaría la mejor oportunidad de obtener una respuesta útil e informativa. Parece que la tecnología no está a la altura de esas expectativas. ¿Qué diablos está pasando?
La IA generativa tiene las mismas limitaciones que todos los sistemas de IA: depende de los datos utilizados para entrenar el modelo. Los datos deficientes crean modelos de IA deficientes. Peor aún, obtienes respuestas erróneas o respuestas que pueden llevarte a problemas legales. Es importante reconocer las limitaciones inherentes a estos sistemas y comprender que, en ocasiones, pueden exhibir lo que razonablemente podría llamarse «estupidez». Esta estupidez puede sacarte del negocio o hacer que te demanden hasta la Edad de Piedra.
Los modelos de IA generativa, incluidos modelos como GPT, funcionan en función de patrones y asociaciones aprendidos de vastos conjuntos de datos. Aunque estos modelos pueden generar respuestas coherentes y contextualmente relevantes, carecen de comprensión y conciencia adecuadas, lo que conduce a resultados que pueden parecer desconcertantes o sin sentido.
Puede pedirle a un modelo de lenguaje público grande que cree un artículo de historia y obtenga uno que explique que Napoleón luchó en la Guerra Civil de los Estados Unidos. Este error se detecta fácilmente, pero los errores cometidos en un nuevo sistema de optimización de la cadena de suministro basado en genAI pueden no ser tan fáciles de detectar. Y estos errores pueden generar millones de dólares en pérdidas de ingresos.
Estoy descubriendo que los usuarios de estos sistemas toman la respuesta como un evangelio, más que otros sistemas. Los errores a menudo no se detectan hasta que causan mucho daño, a veces meses después.
Son los datos, estúpido.
La mayoría de los problemas empresariales con la IA generativa se deben a datos insuficientes. Las empresas dedican todo su tiempo a elegir herramientas de IA, incluidos los servicios de nube pública, pero no dedican suficiente tiempo a mejorar sus datos para proporcionar datos de entrenamiento sólidos para estos modelos de IA. Los sistemas consumen «datos sucios» y terminan con todo tipo de problemas debido a estos LLM o modelos de lenguaje pequeño (SLM) recién construidos.
Las empresas comprenden este problema, pero les parece bien seguir adelante con sistemas de inteligencia artificial generativos sin corregir los datos que se ingieren. A menudo asumen que las herramientas de inteligencia artificial encontrarán datos defectuosos y erróneos y los eliminarán de la consideración.
Los sistemas de inteligencia artificial pueden hacer esto, siempre y cuando se realice un proceso de verificación antes de que los datos se vean desde un modelo específico en el que no se puede confiar. Un proceso de verificación puede encontrar y eliminar datos que están fuera de lugar, pero no todos los datos insuficientes parecen datos incorrectos. Si los datos erróneos se ingiere como datos de entrenamiento, su sistema de IA generativa se volverá cada vez más tonto.
La mayoría de los problemas que tienen las empresas con la IA generativa están relacionados con datos de mala calidad o con datos que no deberían haberse utilizado en primer lugar. Aunque se podría pensar que solucionar los problemas de datos es fácil, para la mayoría de las empresas, se necesitan millones de dólares y meses o años para obtener los datos en un estado impecable. En cambio, el dinero se gasta en IA, no en datos. ¿Cómo podría ser diferente el resultado?
Además, los sistemas de IA generativa son susceptibles a sesgos. Si sus datos de entrenamiento contienen sesgos o imprecisiones, el modelo puede perpetuarlos o amplificarlos sin darse cuenta en el contenido generado o proporcionar consultas automatizadas con otras aplicaciones y/o humanos. Se necesita trabajo para eliminar el sesgo una vez que se ha incorporado a los modelos. Diferentes partes del modelo pueden estar envenenadas y ser difíciles de aislar y eliminar.
Otros problemas con la IA generativa
Falta de sentido común es un factor principal que contribuye a la percepción de «estupidez» de la IA generativa. A diferencia de los humanos, estos sistemas no poseen conocimiento innato sobre el mundo; se basan en patrones estadísticos aprendidos durante el entrenamiento. Este resultado podría ser respuestas que pueden necesitar una comprensión más profunda del mundo real.
Otro aspecto a considerar es el sensibilidad de la IA generativa al fraseo de entrada. El sistema genera respuestas basadas en la información que recibe de humanos a través de un mensaje o de aplicaciones que utilizan API. Pequeños cambios en la redacción pueden conducir a resultados drásticamente diferentes. Debido a esta sensibilidad, los usuarios pueden encontrar que la IA ocasionalmente produce respuestas inesperadas o irrelevantes. Gran parte del valor de la IA sólo puede desbloquearse haciendo las preguntas adecuadas y utilizando los métodos adecuados.
Además, el incapacidad para distinguir datos comerciales de datos que pueden estar sujetos a derechos de autor o salen a la luz problemas de propiedad intelectual. Por ejemplo, una carta abierta del Authors Guild firmada por más de 8.500 autores insta a las empresas de tecnología responsables de aplicaciones de IA generativa, como OpenAI (ChatGPT) y Google (Gemini, antes conocido como Bard), a dejar de utilizar sus obras sin la autorización adecuada. o compensación. He hecho preguntas a grandes LLM públicos y me han repetido fragmentos de mi propio trabajo varias veces. Estoy seguro de que mis libros y miles de artículos (quizás de este sitio) se utilizaron como datos de capacitación para estos LLM.
Las empresas que utilizan estos LLM para partes de su procesamiento comercial podrían exponerse a una demanda si la propiedad intelectual de otra persona se utiliza para un propósito comercial valioso. Por ejemplo, el LLM puede utilizar, sin saberlo, procesos para la gestión de la cadena de suministro que se describen en un texto con derechos de autor para optimizar su cadena de suministro, incluidos los algoritmos publicados. Es por eso que la mayoría de las empresas prohíben el uso de sistemas públicos de IA generativa con fines comerciales. Es un riesgo importante.
A medida que continuamos en este viaje hacia la búsqueda del nirvana de la IA generativa, estoy convencido de que primero tendremos que aprender a abordar estos y otros problemas. Lamento ser un tonto.
Copyright © 2024 IDG Communications, Inc.