En una palabra: Los estudiantes de Texas estarán entre los primeros en recibir pruebas obligatorias del estado calificadas mediante una plataforma impulsada por inteligencia artificial. La parte escrita del examen de Evaluaciones de Preparación Académica del Estado de Texas (STAAR), que mide los niveles de habilidad en lectura, escritura, ciencias y estudios sociales, se calificará utilizando un «motor de puntuación automatizado».
La prueba fue rediseñada en 2023. El examen revisado ahora presenta menos preguntas de opción múltiple y más preguntas abiertas, que se denominan elementos de respuesta construida. Las nuevas pruebas tienen hasta siete veces más preguntas abiertas que antes.
De acuerdo con la Tribuna de Texasel enfoque de procesamiento del lenguaje natural podría ahorrarle al estado más de $20 millones por año, dinero que de otro modo se habría gastado en contratar evaluadores humanos de un contratista externo.
José Ríos, director de evaluación estudiantil de TEA, dijo que querían mantener la mayor cantidad posible de respuestas abiertas, pero señaló que se necesita una cantidad increíble de tiempo para calificarlas.
Las máquinas no están reemplazando por completo a los anotadores humanos, al menos no todavía. El año pasado, la Agencia de Educación de Texas (TEA) contrató aproximadamente 6.000 evaluadores humanos temporales. Este año, necesitarán menos de 2.000.
Una cuarta parte de todas las respuestas construidas inicialmente calificadas por la IA serán reevaluadas por humanos, al igual que las pruebas en las que la computadora no confía en su puntuación. Las respuestas escritas en un idioma distinto del inglés y aquellas con jerga también se transmitirán a los evaluadores humanos.
El motor de puntuación automatizado se entrenó con 3000 respuestas que primero pasaron por dos rondas de puntuación humana. Las muestras permitieron a la IA evaluar las características comunes de las respuestas y le indicaron cómo dar la misma puntuación que daría un humano.
Chris Rozunick, director de la división de desarrollo de evaluaciones de TEA, dijo que siempre han tenido procesos de control de calidad muy sólidos con humanos y que es similar con un sistema informático. Simplemente no lo llames IA.
«Estamos muy lejos de algo que sea autónomo o que pueda pensar por sí solo», afirmó Rozunick. Por ejemplo, la solución de puntuación no «aprende» de una respuesta a la siguiente; más bien, siempre tomará como referencia su formación original.
Credito de imagen: Pixabay, Katerina Holmes