Monitor de Odio - Hatemedia.
Proyecto PID2020-114584GB-I00, financiado por la Agencia Estatal de Investigación - Ministerio de Ciencia e Innovación.
Metodología empleada para el desarrollo del Monitor de Odio, del proyecto Hatemedia
En el desarrollo del proyecto Hatemedia se han aplicado diferentes técnicas de investigación cuantitativas. Como por ejemplo, la CRISP-DM (Cross-Industry Standard Process for Data Mining). Esta ha permitido el desarrollo interactivo e iterativo de un proceso de minería de datos sobre los textos usados para el diseño progresivo de los diferentes algoritmos que atienden a la clasificación diferenciada de mensajes tendentes al odio, en medios informativos digitales españoles, según intensidad y tipo de odio.
Para el desarrollo del Monitor de Odio, se han tomado los cinco medios informativos digitales, considerados en el proyecto Hatemedia (PID2020-114584GB-I00), financiado por la Agencia Estatal de Investigación – Ministerio de Ciencia e Innovación: 20 Minutos, ABC, El Mundo, La Vanguardia, y El País.
La selección de los medios informativos digitales tomados para el desarrollo de este Monitor de Odio se hizo en vista que:
Solo se toman dentro del proyecto Hatemedia, las noticias y comentarios publicados en español dentro de cada uno de estos medios estudiados. |
El proyecto Hatemedia tiene dos objetivos generales:
- Analizar cómo se difunden las expresiones de odio en los entornos digitales asociados a los medios informativos profesionales en España
- Favorecer la detección y monitoreo de este tipo de expresiones en los entornos digitales asociados a los medios informativos profesionales en España
Es en el segundo objetivo general que el Monitor de Odio que se presenta intenta avanzar en brindar a los medios informativos digitales en España, pero también a las instituciones públicas y del Tercer Sector, comunidad científica y profesionales interesados en el estudio y desarrollo de acciones destinado a la lucha de expresiones tendentes al odio en los escenarios digitales actuales, una herramienta orientada al seguimiento en tiempo real del fenómeno abordado.
Lo expuesto en el párrafo anterior desde los siguientes principios:
- El sector de la comunicación, sus instituciones y profesionales, necesitan herramientas que le ayuden a un control más proactivo de este fenómeno.
- La comunidad científica, requiere contar con datos fiables que les ayude al seguimiento y comprensión de este fenómeno.
- Las entidades del Tercer Sector, necesitan también contar con herramientas que sirvan al monitoreo de este fenómeno, que les ayude a ser más acertivos en las acciones impulsados por sus miembros.
El Monitor de Odio busca brindar a todos los actores potencialmente interesados en la diseminación de expresiones tendentes al odio, a medir la presencia de estas desde los escenarios digitales usados por los medios informativos digitales españoles.
Como paso previo al desarrollo del Monitor de Odio, se recolectaron durante el mes de enero de 2021 un total de 1.100.742 mensajes asociados a medios informativos digitales en España, de los cuales se excluyeron un total de 776.356 mensajes por estar duplicados o repetidos; quedando un total de 324.395 mensajes de Twitter y portales institucionales de los medios informativos digitales estudiados. Mensajes que fueron recolectados a través de técnicas automáticas de web scraping (portales web) y el API de Twitter, basado en Python.
El etiquetado se realizó durante los meses de febrero y abril de 2022, por un equipo integrado por:
- Investigadores:
- Max Römer Pieretti – Universidad Camilo José Cela.
- Alberto De Lucas – Universidad Internacional de la Rioja.
- Dámaso Izquierdo – Universidad de Navarra.
- Elias Said-Hung – Universidad Internacional de La Rioja.
- Julio Montero-Díaz – Universidad Internacional de La Rioja.
- Equipo etiquetador:
- Dos profesionales contratados para el desarrollo de estas labores.
El etiquetado de los mensajes, que sirvieron de base para lo hasta ahora expuesto, requirió:
- La elaboración de un manual de etiquetado de mensajes tendentes de odio en medios digitales, elaborado por De Lucas et al. (2022)1.
- Capacitación de profesionales contratados para las labores iniciales de etiquetado, destinada a la revisión y etiquetado oportuno de mensajes analizados, por parte de los miembros del equipo.
- Etiquetado de mensajes tendentes al odio, según lo establecido en el manual de etiquetado.
- Aclaraciones requeridas durante proceso de etiquetado.
- Validación y control de calidad de la labor de etiquetado realizada.
1 Durante el proceso de construcción del algoritmo de detección de odio el nivel de intensidad de odio, inicialmente pautado, tuvo que ser revisado, quedando finalmente en el proyecto Hatemedia: intensidad 1 (conformado por la intensidad 0 y 1 original), enmarcado en lo que hemos llamado Discurso excluyente o Exclusionary discourse; intensidad 2 (conformado por la intensidad 2 y 3 original), enmarcado en lo que hemos llamado Discurso violento o Violent discourse; e intensidad 3 (conformado por la intensidad 4 y 5 original), enmarcado en lo que hemos llamado Discurso amenazante o Threatining discourse. |
El trabajo de etiquetado que sirvió de base para el desarrollo de la versión de prueba del Monitor de Odio, se desarrolló de acuerdo con lo expuesto en la figura 1:
Figura 1. Ciclo de trabajo del equipo a cargo del etiquetado de mensajesd
Cada una de estas etapas del ciclo de trabajo, siguieron el esquema de ejecución que muestra la figura 2, con el fin de asegurar la validez del proceso de etiquetado realizado para el diseño de los modelos de algoritmos de clasificación de mensajes con términos tendentes al odio en medios informativos digitales en España.
Figura 2. Ciclo de trabajo de procedimiento de etiquetado de mensajes recabados
Este proceso permitió identificar el total de los mensajes etiquetados y distinguir características de estos a partir de las siguientes categorías:
- Presencia o no de expresiones tendentes de odio.
- Tipo de odio detectado (religioso, xenofobia, racista, misoginia, sexual, ideológico y otro), según el manual de etiquetado elaborado.
- Nivel de intensidad del odio observado en mensaje (nivel 0 al 5), según el manual de etiquetado elaborado.
La validación de cada uno de los 10 paquetes de mensajes empleados para el etiquetado del total de mensajes que conformaron la muestra usada para el desarrollo del modelo de aprendizaje automático de odio, tomó como referente el procedimiento aplicado en otros estudios (Basile et al., 2018), añadiendo otros pasos adoptados por el equipo a cargo de este trabajo:
- Cada paquete de mensajes fue revisado por cada uno de los profesionales de apoyo, formados para dicha tarea.
- Los paquetes revisados por cada profesional, se consolidaba en un único archivo. Así se identificaron los mensajes clasificados de forma diferente por estos. Dichos mensajes eran revisados por ambos profesionales, en un encuentro coordinado para tal fin, con el apoyo de uno de los expertos participante. Este último aclaraba las dudas conceptuales que motivaron las diferencias observadas. Si no llegaban a un acuerdo, se dejaba evidencia de los diferentes criterios aplicados.
- El documento resultado de la evaluación individual y de esta revisión grupal se remitía a los expertos que acompañaban el proceso. Llegado este punto, se hacían dos procesos de validación o control de calidad interna del documento:
- Se cuantificaba el porcentaje de mensajes etiquetados con diferencia entre pares dentro del paquete. Si el porcentaje de mensajes era mayor del 10% del total de los mensajes etiquetados con términos tendentes de odio, se devolvía al equipo de profesionales, para una nueva fase de revisión grupal, y se repetía el procedimiento señalado. Si el porcentaje era igual o menor del 10%, se daba por válido en esta primera fase de control.
- Los paquetes validados en el apartado anterior luego pasaban a uno de los miembros del equipo de expertos a cargo de este trabajo, y se hacía una verificación aleatoria del 10% de la totalidad de mensajes con congruencia de etiquetado. En este proceso el experto asumía el papel de etiquetador, revisando ese porcentaje de mensaje. Solo se daba por válido cada paquete que tuviese 10% o menos de incongruencia del total validado aleatoriamente, a nivel de lo hecho por los profesionales de apoyo y el experto a cargo de esta tarea. Si el porcentaje de incongruencias era mayor al porcentaje indicado, se volvía a pasar el paquete a profesionales para una tercera revisión, con el apoyo de los expertos, quienes aclaraban dudas conceptuales requeridas, y se repetía de nuevo los pasos, cuantitativos y de verificación cualitativa del trabajo pautado.
- Los mensajes validados en cada paquete que presentaron congruencia de clasificación, se separaban de los que habían presentado algún tipo de incongruencia. Estos últimos, como se ha dicho, volvían a re-etiquetarse y una vez realizado el proceso se integraban con el resto ya validado.
El resultado del proceso de etiquetado sirvió de base para la construcción de una Librería de de expresiones tendentes al odio en medios informativos digitales, con 7.210 lemas simples y compuestos más repetidos (Said-Hung et al., 2023). Lemas que fueron usados como referentes para el desarrollo de lo mostrado en el Monitor de Odio desarrollado desde el proyecto Hatemedia, con el financiamiento de la Agencia Estatal de Investigación – Ministerio de Ciencia e Innovación.
Una vez finalizado el proceso de etiquetado de mensajes con expresiones tendentes al odio, se procedió a emplear tanto los mensajes como los lemas identificados para identiticar el resto de mensajes recabados desde enero 2021 hasta julio de 2022, a partir del cumplimiento de los siguientes pasos:
- Identificación de los datos relevantes.
- Desarrollo de limpieza de datos, destinado a:
- La eliminación de mensajes nulos y/o duplicados, para evitar el sobre-dimencionamiento de la presencia de estas expresiones.
- La eliminación de URLs, emojis y menciones a los propios medios tomados como base de desarrollo de este monitor.
- La eliminación de filas vacías generadas durante el proceso de recolección de los datos.
- La conversión de la totalidad del texto a minúscula
- La eliminación de signos de puntuación
- La eliminación de espacios en blanco adicionales
- La eliminación de palabras con longitud menor a 2 caracteres (eg. ¨el¨, ¨la¨).
- La eliminación de Stopwords.
- La tokenización de los mensajes.
- La lematización de las palabras para una mayor precisión del proceso de detección de mensajes con expresiones tendentes al odio.
El procedimiento antes descrito siguió los pasos indicados por Zhang et al. (2018), mostrados en la figura 3.
Figura 3. Diagrama de proceso de limpieza de mensajes recabados en medios informativos digitales en España
El Monitor de Odio presentado solo muestra los datos que se hace en tiempo real, de los últimos 7 días, desde el momento de la consulta hecha por cada usuario.
Inicialmente se concebió en Hatemedia la extracción de la totalidad de mensajes provenientes de los casos estudiados, en Facebook, Twitter y sus portales web.
Por problemas asociados a la dificultad de extraer datos directamente de Facebook, lo mostrado en el Monitor de Odio se hace aparte del general de los datos mostrados, a través de la sección ¨Facebook (Muestra)¨. Ello a modo de ejemplo de los datos totales recopilados y los mensajes con expresiones tendentes al odio detectados durante el período mostrado, en general.
Por tanto, el Monitor de Odio solo se muestran los datos generales extraídos, a partir de todos los mensajes con expresiones tendentes al odio identificados desde los usuarios en Twitter y portales institucionales, del conjunto de medios informativos digitales estudiados.
La opción por Twitter respondió a que:
La selección de Facebook se basó en que:
Más información, acceder a la memoria del proyecto aprobado por la Agencia Estatal de Investigación – Ministerio de Ciencia e Innovación. |
La detección de expresiones tendentes al odio, fue realizado también desde un proceso de extracción de características que fueron tenidas en consideración, para el entrenamiento del modelo de aprendizaje automático empleado, para la detección del porcentaje de odio detectado desde los escenarios de comunicación empleados a nivel de medios informativos digitales estudiados:
- Conteo de palabras positivas.
- Conteo de palabras negativas.
- Conteo de bigrams más comunes.
- Conteno de menciones de otros usuarios.
El objetivo final de esta extracción es determinar patrones útiles que sirviesen al entrenamiento del modelo de aprendizaje empleado para la puesta en marcha de la primera versión de este Monitor de Expresiones Tendentes al Odio.
El algoritmo que ayuda a la detección de expresiones tendente de odio, se basa en un modelo de aprendizaje automático elaborado a partir del método Gradient Boosting, el cual fue el que mejor rendimiento presentó, respecto a otros métodos considerados, como mostramos a continuación:
- Accuracy: 90%
- Precisión: 0.9001
- Recall: 0.9001
- F1-Score: 0.9001
CONOCE LOS TÉRMINOS ASOCIADOS Para facilitar la comprensión de estos resultados, se explican a continuación lo que implica cada uno de estos indicadores:
|
—
