En un fallo legal reciente contra Air Canada en un tribunal de reclamos menores, la aerolínea perdió porque su chatbot impulsado por inteligencia artificial proporcionó información incorrecta sobre las tarifas de duelo. El chatbot sugirió que el pasajero podría solicitar retroactivamente tarifas de duelo, a pesar de que la política de tarifas de duelo de la aerolínea contradice esta información. ¡Vaya! Por supuesto, el enlace a la política se proporcionó en la respuesta del chatbot; sin embargo, el tribunal determinó que la aerolínea no explicó por qué el pasajero no debería confiar en la información proporcionada por el chatbot de la compañía.
El caso ha llamado la atención sobre la intersección entre la IA y la responsabilidad legal y es un ejemplo convincente de las posibles implicaciones legales y financieras de la desinformación y el sesgo de la IA.
La punta del iceberg
He descubierto que a los humanos no les gusta mucho la IA, sobre todo cuando se les ocurre una respuesta con la que no están de acuerdo. Esto puede ser tan simple como el caso de Air Canada, que se resolvió en un tribunal de reclamos menores, o tan serio como un sesgo sistémico en un modelo de IA que niega beneficios a carreras específicas.
En el caso de Air Canada, el tribunal lo calificó de “tergiversación negligente”, lo que significa que la aerolínea no había tomado las precauciones razonables para garantizar la precisión de su chatbot. El fallo tiene implicaciones importantes y plantea dudas sobre la responsabilidad de las empresas por el rendimiento de los sistemas impulsados por IA, que, en caso de que viva bajo una roca, están llegando rápido y furioso.
Además, este incidente pone de relieve la vulnerabilidad de las herramientas de IA a las imprecisiones. Esto suele deberse a la ingesta de datos de entrenamiento que contienen información errónea o sesgada. Esto puede generar resultados adversos para los clientes, que son bastante buenos para detectar estos problemas y hacérselo saber a la empresa.
El caso destaca la necesidad de que las empresas reconsideren el alcance de las capacidades de la IA y su posible exposición legal y financiera a la desinformación, lo que provocará malas decisiones y resultados de los sistemas de IA.
Revise el diseño del sistema de IA como si estuviera testificando ante el tribunal
¿Por qué? Porque lo más probable es que lo seas.
Les digo esto a mis alumnos porque realmente creo que muchas de las llamadas de diseño y arquitectura que se requieren para construir e implementar un sistema de IA generativa algún día serán cuestionadas, ya sea en un tribunal de justicia o por otros que están intentando descubrir si hay algún problema con la forma en que funciona el sistema de IA.
Regularmente me aseguro de que mi trasero esté cubierto de datos de seguimiento y registro de pruebas, incluida la detección de sesgos y cualquier alucinación que pueda ocurrir. Además, ¿hay un especialista en ética de la IA en el equipo para hacer las preguntas correctas en el momento adecuado y supervisar las pruebas de parcialidad y otros problemas que podrían llevarlo a los tribunales?
¿Solo los sistemas genAI están sujetos a escrutinio legal? No en realidad no. Nos hemos ocupado de la responsabilidad del software durante años; esto no es diferente. Lo que es diferente es la transparencia. Los sistemas de IA no funcionan mediante código; Trabajan a través de modelos de conocimiento creados a partir de una tonelada de datos. Al encontrar patrones en estos datos, pueden encontrar respuestas similares a las humanas y continuar con el aprendizaje continuo.
Este proceso permite que el sistema de IA se vuelva más innovador, lo cual es bueno. Pero también puede introducir sesgos y malas decisiones basadas en la ingesta de datos de entrenamiento deficientes. Es como un sistema que se reprograma cada día y genera diferentes enfoques y respuestas basados en esa reprogramación. A veces funciona bien y agrega una enorme cantidad de valor. A veces da la respuesta equivocada, como le ocurrió a Air Canada.
Cómo protegerse a sí mismo y a su organización
En primer lugar, debes practicar el diseño defensivo. Documente cada paso en el proceso de diseño y arquitectura, incluido el motivo por el que se seleccionaron las tecnologías y plataformas.
Además, es mejor documentar las pruebas, incluida la auditoría para detectar sesgos y errores. No se trata de si los encontrarás; siempre están ahí. Lo que importa es su capacidad para eliminarlos de los modelos de conocimiento o de los grandes modelos de lenguaje y documentar ese proceso, incluida cualquier nueva prueba que deba realizarse.
Por supuesto, y lo más importante, es necesario considerar el propósito del sistema de IA. ¿Qué se supone que haga? ¿Qué cuestiones deben considerarse? ¿Cómo evolucionará en el futuro?
Vale la pena plantear la cuestión de si deberías usar IA en primer lugar. Hay muchas complejidades a la hora de aprovechar la IA en la nube o en las instalaciones, incluidos más gastos y riesgos. Las empresas a menudo se meten en problemas porque utilizan la IA para casos de uso incorrectos y, en cambio, deberían haber optado por tecnología más convencional.
Todo esto no le mantendrá fuera de los tribunales. Pero le ayudará si sucede.
Copyright © 2024 IDG Communications, Inc.
