El personal del organismo de transporte realizó “extensas simulaciones” en la estación Willesden Green durante la prueba para recopilar más datos de entrenamiento, dicen los documentos. Estos incluyeron miembros del personal que cayeron al suelo, y algunas de estas pruebas se realizaron cuando la estación estaba cerrada. “Verás el BTP [British Transport Police] oficial sosteniendo un machete y una pistola en diferentes lugares dentro de la estación”, dice una leyenda en los documentos, aunque las imágenes están redactadas. Durante el juicio, dicen los expedientes, no hubo alertas de incidentes con armas en la comisaría.
La mayoría de las alertas se emitieron para personas que potencialmente evitaban pagar sus viajes saltando o arrastrándose por debajo de las puertas de entrada cerradas, empujando las puertas para abrirlas, caminando a través de puertas abiertas o siguiendo a alguien que pagó. La evasión de tarifas cuesta hasta £130 millones por año, TfL dicey hubo 26.000 alertas de evasión de tarifas durante la prueba.
Durante todas las pruebas, las imágenes de los rostros de las personas aparecían borrosas y los datos se conservaban durante un máximo de 14 días. Sin embargo, seis meses después del inicio del juicio, el TfL decidió difuminar las imágenes de rostros cuando se sospechaba que las personas no pagaban, y conservó esos datos por más tiempo. Originalmente se planeó, dicen los documentos, que el personal respondiera a las alertas de evasión de tarifas. «Sin embargo, debido a la gran cantidad de alertas diarias (en algunos días, más de 300) y la alta precisión en las detecciones, configuramos el sistema para que reconozca automáticamente las alertas», dicen los documentos.
Birtwistle, del Instituto Ada Lovelace, dice que la gente espera una “supervisión y gobernanza sólidas” cuando se implementan tecnologías como estas. «Si se van a utilizar estas tecnologías, sólo deberían utilizarse con la confianza, el consentimiento y el apoyo del público», afirma Birtwistle.
Gran parte de la prueba tuvo como objetivo ayudar al personal a comprender lo que estaba sucediendo en la estación y responder a los incidentes. Las 59 alertas de sillas de ruedas permitieron al personal de la estación Willesden Green, que no cuenta con instalaciones de acceso para sillas de ruedas, “brindar la atención y asistencia necesarias”, dicen los archivos. Mientras tanto, hubo casi 2.200 alertas por personas que sobrepasaron las líneas amarillas de seguridad, 39 por personas inclinadas sobre el borde de la pista y casi 2.000 alertas por personas sentadas en un banco durante períodos prolongados.
«A lo largo de la PoC hemos visto un enorme aumento en el número de anuncios públicos realizados por el personal, recordando a los clientes que se alejen de la línea amarilla», dicen los documentos. También dicen que el sistema generó alertas para «personas que duermen a la intemperie y mendigos» en las entradas de la estación y afirman que esto permitió al personal «monitorear remotamente la situación y brindar la atención y asistencia necesarias». TfL afirma que el sistema se probó para intentar ayudarlo a mejorar la calidad del personal en sus estaciones y hacerlo más seguro para los pasajeros.
Los archivos no contienen ningún análisis sobre la precisión del sistema de detección de IA; sin embargo, en varios puntos hubo que ajustar la detección. «La detección de objetos y la detección de comportamientos son generalmente bastante frágiles y no son infalibles», dice Leufer, de Access Nows. En un caso, el sistema creó alertas diciendo que había personas en un área no autorizada cuando en realidad los conductores del tren estaban saliendo del tren. La luz del sol que incide sobre la cámara también la hace menos efectiva, dicen los documentos.