Un tribunal civil de Canadá ordenó a Air Canada pagar por un error cometido por un chatbot de servicio al cliente, destacando la necesidad de que las empresas capaciten y supervisen mejor sus herramientas de inteligencia artificial (IA).
Jake Moffatt, residente de Columbia Británica, visitó el sitio web de Air Canada en noviembre de 2022 para reservar un vuelo para el funeral de su abuela en Ontario. El chatbot del sitio web le dijo que le podrían reembolsar una parte del billete del día siguiente y el billete de vuelta, si solicitaba el descuento en un plazo de 90 días.
Esa información era incorrecta; La política de Air Canada, disponible en su sitio web, es ofrecer descuentos por duelo si el cliente lo solicita con anticipación. Después de que Air Canada se negara a ofrecer el descuento, un tribunal canadiense ordenó a la aerolínea pagar alrededor de 600 dólares en reembolsos por duelo y costos judiciales, aproximadamente la mitad de lo que Moffatt pagó por los boletos.
Las empresas que utilizan chatbots y otras herramientas de IA generativa (genAI) deben invertir en esfuerzos de monitoreo «para ahorrar dinero gracias a las ganancias de productividad de los chatbots», dijo Avivah Litan, distinguido vicepresidente analista centrado en IA en Gartner. «De lo contrario, terminarán gastando más en honorarios legales y multas de lo que ganan por el aumento de la productividad».
En el caso Air Canada, Christopher Rivers, miembro del Tribunal de Resolución Civil de Columbia Británica, del lado de Moffatt y rechazó la afirmación de la aerolínea de que el chatbot es «una entidad jurídica independiente que es responsable de sus propias acciones».
Air Canada no pudo explicar por qué la información sobre descuentos por duelo en su sitio web era más confiable que la proporcionada por el chatbot, escribió Rivers en su fallo del 14 de febrero. “Air Canada le debía al señor Moffatt un deber de diligencia”, añadió. «En general, el estándar de atención aplicable requiere que una empresa tenga un cuidado razonable para garantizar que sus declaraciones sean precisas y no engañosas».
Tres analistas que se centran en el mercado de la IA coincidieron en que las empresas que utilizan chatbots y otras herramientas de IA deben comprobar su producción. Aproximadamente el 30% de la genAI las respuestas son ficticiasuna producción llamada “alucinación”, dijo Litan.
«Las empresas que utilizan chatbots deben utilizar barreras de seguridad que destaquen anomalías en los resultados, como alucinaciones, información inexacta e ilegal, y establecer operaciones de revisión humana que investiguen y bloqueen o aprueben estos resultados antes de que se difundan», dijo. «Deben garantizar que los resultados, especialmente en las aplicaciones orientadas al cliente, sean precisos y que no lleven a los clientes ni a la organización que gestiona el chatbot por el camino equivocado».
Los chatbots GenAI no están listos para las interacciones de servicio al cliente a menos que las empresas que los utilizan inviertan en confiabilidad, seguridad y controles de protección, argumentó. Las empresas que utilizan chatbots deberían configurar nuevas operaciones para revisar manualmente las respuestas imprevistas destacadas por las herramientas de detección de anomalías.
Se destacan los casos en los que los chatbots proporcionan información incorrecta la necesidad de que las empresas se centren en la IA responsable, dijo Hayley Sutherland, gerente de investigación para descubrimiento de conocimiento e IA conversacional en IDC. Las empresas deben invertir en probar y capacitar las herramientas de inteligencia artificial que utilizan, recomendó.
“Independientemente del formato o interfaz de usuario [AI is] Cuando se entregan, las empresas tienden a ser consideradas responsables de la información que brindan a los clientes, por lo que es aconsejable proceder con precaución”, dijo.
Sutherland recomendó que las empresas que estén considerando chatbots y otras herramientas de inteligencia artificial los utilicen primero para casos internos menos sensibles, como la asistencia técnica a los empleados, en lugar de saltar directamente al servicio al cliente.
Las alucinaciones de IA pueden parecer plausibles, incluso aunque proporcionen información incorrecta, señaló. Para combatir el problema, «los sistemas de IA generativa deben incluir un ‘humano en el circuito’ y otros mecanismos para vincular, conectar y validar la salida del chatbot durante la fase de entrenamiento, así como con pruebas continuas», dijo Sutherland.
Otro problema es que los chatbots actuales sólo pueden realizar unas pocas tareas simples, dijo David Truog, vicepresidente y analista principal de Forrester. «Desafortunadamente, las empresas que implementan chatbots a menudo confían demasiado en su efectividad», dijo. “Subestiman la complejidad de crear un bot eficaz; lo que más a menudo y desastrosamente descuidan es la muy necesaria experiencia en diseño centrado en el ser humano y en diseño de conversación”.
Las empresas no deberían esperar que los chatbots obtengan un estatus legal especial, afirmó.
«Los chatbots son software, como el resto del sitio web o la aplicación de una empresa», dijo Truog. “Y cualquier organización que implemente software para interactuar con sus clientes en su nombre es responsable de todo lo que haga ese software. Es común que los clientes antropomorficen un poco a los chatbots ya que utilizan lenguajes humanos, pero eso no es excusa para que las empresas hagan lo mismo hasta el punto de lavarse las manos de cualquier responsabilidad cuando su bot se porta mal”.
Copyright © 2024 IDG Communications, Inc.
