Un equipo de la UPNA desarrolla una herramienta basada en IA para detectar y clasificar mensajes xenófobos en la red social X

El proyecto "Xenometer", que se originó en la Universidad de Cornell liderado por la profesora Beth Lyon, pretende diseñar y entrenar algoritmos capaces de evaluar, por país, el nivel de xenofobia de diferentes mensajes en X, según una escala de siete categorías, que van de menos tres a más tres. Sin embargo, la visión a largo plazo es disponer de una suerte de mapa global de la xenofobia online, dividido por países y regiones, que utilice una muestra representativa de redes sociales y cuentas personales e institucionales y mensajes dentro de esas áreas geográficas y que genere mapas en tiempo real. Para avanzar en esta línea, el siguiente paso es conseguir hacer el etiquetado automáticamente en X (a través de un algoritmo entrenado por el equipo investigador, que clasifica los mensajes manualmente) y dentro de una muestra representativa de cuentas de un país. El seguimiento de los cambios en tiempo real proporcionaría un sistema de "alerta temprana" que exigiría intervenciones políticas y validaría las experiencias vividas por las comunidades de inmigrantes destinatarias.

Según apunta el equipo investigador, el estudio demuestra la importancia de la conformación de grupos interdisciplinares para realizar este tipo de análisis, ya que cuando la IA se utiliza de manera acrítica para realizar investigación social, introduce sesgos que crecen al utilizar algoritmos que se entrenan con los datos que ellos mismos crean. Por otro lado, cuando el análisis social se realiza sin una comprensión sólida de cómo funciona la IA, suele ser superficial y no explota todas las posibilidades que esta ofrece. Otra de las conclusiones del estudio es que cada equipo que analice mensajes de un país determinado debe ser nacional, puesto que la interpretación de los textos está ligada a la cultura, especialmente en lo que respecta a la ironía y al humor.

Además de este equipo de la UPNA, el proyecto cuenta ya con otras unidades nacionales funcionando (UCA en El Salvador; Cornell en EEUU; Universidad Cooperativa de Colombia) y con otras que están próximas a comenzar (Universidad Nur en Bolivia; Universidad Varsovia en Polonia; y Universidad de Johannesburgo en Sudáfrica). Como se explica desde la UPNA, el Xenometer no es un proyecto con un fin en sí mismo, sino un medio para capacitar y entrenar a un equipo multidisciplinar, con sede en el instituto I-COMMUNITAS, para utilizar herramientas de IA y ciencia de datos para la investigación social.

Metodología de trabajo: descarga y clasificación de mensajes

La metodología de trabajo ha consistido en la descarga de cerca de 5.000 mensajes en X relacionados con la migración y las personas extranjeras (o percibidas como tales) y su clasificación en categorías por parte del equipo investigador, como ya se ha descrito. En el proyecto han trabajado de forma constante, en la UPNA, cerca de 12 personas, entre estudiantes y profesorado de distintos grados (sociología, derecho, educación o IA). Se llevó a cabo la descarga de estos mensajes para, posteriormente, repartirlos entre el equipo investigador, que ponía en común sus clasificaciones en reuniones de calibración y refinado. Para obtener estos mensajes, se utilizaron cuatro criterios: las cuentas de los políticos más influyentes de España según la plataforma de la Moncloa, primero; palabras clave usadas normalmente a favor o en contra de la migración; cuentas que suelen hablar positiva o negativamente de dicho fenómeno; y mensajes sintéticos. Posteriormente, este material se utilizó para entrenar un algoritmo, con el fin de que este realice el etiquetado de forma automática.

Como explica el equipo de trabajo, una de los principales obstáculos del estudio ha sido consolidar un equipo interdisciplinar y establecer un buen ritmo de etiquetado, además del tiempo que ello requiere y las dificultades intrínsecas que presenta alcanzar consensos en cuanto al etiquetado.

Retos de futuro

El equipo apunta a que los pasos futuros del proyecto pueden organizarse en torno al alcance o la escala, la representatividad y la automatización del etiquetado en términos de redes sociales y cuentas, la generación de mapas, el análisis audiovisual y la aplicación del enfoque metodológico general a otros fenómenos sociales relacionados, que entran en la categoría que usan de "antagonismo relacional" aparte de la xenofobia, tales como la polarización y la radicalización. Además, es necesario continuar perfeccionando el algoritmo, que todavía no etiqueta con la suficiente precisión. Por otro lado, no está todavía claro cómo proceder al etiquetado de los contenidos audiovisuales.

"Una vez que el enfoque metodológico general para la xenofobia es sólido, existen otros fenómenos sociales que podrían evaluarse de forma similar, algunos de los cuales son de gran interés para la policía española, como el discurso de odio en línea, el enaltecimiento del terrorismo y el auto adoctrinamiento. La polarización es otro fenómeno que podría abordarse desde un enfoque similar", apunta Sergio García Magariño, investigador principal del Xenómetro en la UPNA.