No es ningún secreto que Internet tiene una buena cantidad de usuarios que menosprecian a otros, comparten comentarios inútiles y, en algunos casos, son abiertamente abusivos. Rompecabezas, filial de Google los lunes liberado nuevas herramientas para abordar aún más el diálogo negativo en línea.
La API Perspective de Jigsaw, que se puede integrar en sistemas de comentarios, sitios web, aplicaciones y otras plataformas existentes, utiliza IA para detectar comentarios tóxicos y elevar los comentarios de los usuarios que son útiles, positivos y, en general, contribuyen a la conversación. La compañía ahora ha mejorado su API agregando «atributos puente experimentales». Estos incluyen una serie de nuevos puntos de evaluación, incluido si un comentario tiene matices o muestra curiosidad. El modelo también puede analizar comentarios para determinar si cuentan una historia personal, intentan razonar para comprender algo o «muestran deferencia o aprecio hacia los demás».
También: El enfoque de Facebook sobre la moderación de contenidos criticado por los comisarios de la UE
Cuando Perspective ingiere un comentario, la herramienta evalúa el contenido a través de una variedad de atributos, incluido su nivel de toxicidad, si es insultante, si el comentario tiene blasfemias, si es sexualmente explícito y, ahora, si provoca curiosidad o tiene matices, entre otros. . Luego, Perspective asigna una puntuación a cada uno de esos atributos para determinar si una persona encontraría un comentario tóxico, profano o abusivo.
«Por ejemplo, un comentario como ‘Eres un idiota’ puede recibir una puntuación de probabilidad de 0,8 para la toxicidad del atributo, lo que indica que 8 de cada 10 personas percibirían ese comentario como tóxico», escribió Jigsaw.
Una vez que se le ha asignado una puntuación al comentario, los usuarios de la API deben determinar qué hacer con él. Jigsaw imagina un escenario en el que los moderadores elevan o reducen los comentarios en función de sus puntuaciones. La API Perspective de Jigsaw también permite a los usuarios crear umbrales de puntuación para filtrar automáticamente los comentarios que la IA considera abusivos.
Los sitios web, incluidas las plataformas de redes sociales, a menudo se convierten en pozos negros de usuarios que participan en desagradables debates, comentarios profanos y más. Si bien muchos servicios han intentado durante años abordar el problema con herramientas como votos a favor de los usuarios, filtros o incluso desactivar los comentarios, ha habido pocos avances en reducir el acoso en línea.
No está claro si las nuevas herramientas de Jigsaw pueden ayudar a avanzar en esta área. Si bien los investigadores de Jigsaw han promocionado durante mucho tiempo su tecnología, los problemas persisten en el discurso en línea. Es más, Jigsaw reconoce en su documentación que su herramienta aún carece de la capacidad de comprender el contexto. Si bien Perspective puede analizar objetivamente un comentario para determinar si es abusivo, en muchos casos el contexto importa más.
«En el futuro, esperamos utilizar esto para mejorar el análisis del comentario», escribió Jigsaw. «Actualmente, nuestros atributos no utilizan el contexto, por lo que enviar contexto no cambiará las puntuaciones de un atributo».
Los nuevos atributos agregados a la API de perspectiva son disponible ahora a los desarrolladores.