La Agencia de Educación de Texas (TEA) está probando la Inteligencia Artificial Generativa (Generación de IA) en su sistema de puntuación. La nueva técnica de calificación empleará chatbots como ChatGPT de OpenAI comprender y comunicarse con los usuarios.
Texas contratará muchos menos evaluadores humanos este año, ya que los reemplazará con un nuevo sistema de puntuación impulsado por inteligencia artificial. Los exámenes de Evaluaciones de Preparación Académica del Estado de Texas (STAAR) podrían ser un banco de pruebas para reemplazar a la mayoría de los calificadores humanos con Gen AI.
Texas entrena el sistema de puntuación Gen AI para reemplazar a los evaluadores humanos
La Agencia de Educación de Texas ha según se informa confirmó que lo es, “implementando un motor de puntuación automatizado para preguntas abiertas en la Evaluación de Preparación Académica del Estado de Texas para lectura, escritura, ciencias y estudios sociales”.
Los exámenes obligatorios del estado de Texas de este año serán históricos. Los estudiantes que se presenten a sus exámenes STAAR esta semana tendrán muchos menos calificadores humanos que el año pasado. Un motor de procesamiento del lenguaje natural, comúnmente llamado IA generativa, evaluará la mayoría de sus respuestas.
La prueba STAAR mide la comprensión de los estudiantes del plan de estudios básico exigido por el estado. El estado de Texas lo rediseñó el año pasado. Curiosamente, el examen ahora tiene muchas menos preguntas de opción múltiple. Texas las ha reemplazado con “preguntas abiertas” o “elementos de respuesta construida”.
Texas está implementando un “motor de puntuación automatizado” para calificar el examen STAAR. La tecnología, que utiliza procesamiento de lenguaje natural, un componente básico de los chatbots de IA, le ahorrará al estado entre 15 y 20 millones de dólares. Pero algunos educadores están preocupados.
Nuevo en @TexasTribune https://t.co/Tu36tmF5B7
– Keaton Peters (@KeatonPeters) 10 de abril de 2024
De acuerdo con la Tribuna de Texaslas preguntas abiertas recientemente introducidas tendrían «seis a siete veces más elementos de respuesta construidos».
En pocas palabras, estas preguntas abiertas tienen varias respuestas aceptables, en comparación con una sola respuesta en una pregunta de opción múltiple. En consecuencia, este tipo de preguntas necesitan mucho más tiempo y más evaluadores para calificar, afirmó José Ríos, director de evaluación estudiantil de la Agencia de Educación de Texas.
En otras palabras, estas preguntas aumentan significativamente la complejidad de la calificación. Y aquí es donde La generación AI realmente brilla. Plataformas como ChatGPT tienen una Historial probado de respondiendo consultas complejas en múltiples niveles de simplicidad y profundidad.
Texas estima que la Generación AI ahorrará entre 15 y 20 millones de dólares cada año
La TEA ha entrenado el sistema de puntuación Gen AI utilizando 3000 respuestas. Como medida de seguridad, la Gen AI está expuesta a respuestas que han pasado por dos rondas de puntuación humana. Según se informa, el motor de puntuación de IA ha aprendido las características de las respuestas y está programado para asignar las mismas puntuaciones que habría dado un humano.
Los niños de Texas que toman el examen STAAR aparentemente serán calificados por una IA. Si no está de acuerdo con la puntuación de su hijo, con gusto la calificarán nuevamente con un evaluador humano, por $50.#STAAR#Texashttps://t.co/6Qr36uCYaU
— no, esto es solo sopa para mi familia🐀 (@SeanxTyler) 10 de abril de 2024
Los calificadores humanos reevaluarán una cuarta parte de todos los resultados calificados por computadora. Además, algunas respuestas que pueden confundir el sistema de puntuación de la IA, como la jerga o las respuestas que no están en inglés, se transmitirían a evaluadores humanos.
La TEA ha estimado que ahorrará entre 15 y 20 millones de dólares al año al reducir la necesidad de evaluadores humanos temporales. Estadísticamente hablando, Texas planea contratar menos de 2.000 calificadores humanos este año. En 2023, Lone Star State había contratado a unos 6.000 evaluadores para el mismo examen. No hace falta decir que varios educadores han expresado su preocupación por la nueva técnica de evaluación.
La era digital ha amanecido en Texas #STAAR prueba. En diciembre de 2023 salieron a la luz los resultados de las primeras respuestas escritas calificadas por ordenador. Con el nuevo sistema de calificación, el 79% de los evaluadores obtuvo un cero. Sólo el 8% de los evaluadores obtuvieron un cero en una prueba anterior con evaluadores humanos.#TxEd pic.twitter.com/Kwj7FYUh16
– LevantaTuManoTexas (@RYHTexas) 10 de abril de 2024