Mesa #2 Exclusión social automatizada. ¿Cómo evitarla?

Los sistemas de Inteligencia Artificial pueden reproducir e incluso perpetuar modelos injustos. Esto puede deberse a errores en diferentes estratos de su diseño y a ideas o prejuicios preconcebidos. Para evitar sesgos es imprescindible reclamar y asegurar la transparencia de todos los pasos de la creación de los algoritmos, desde su definición a la rendición de cuentas de sus resultados, pasando por su diseño y puesta en marcha.

En la segunda mesa de la jornada Inteligencia Artificial y DDHH: Riesgos y Oportunidades contamos con las intervenciones de Gabriel González, de Fundación Esplai Ciudadanía Comprometida, Javier Sánchez, investigador de la Universidad de Córdoba y Data Justice Lab;  con Sara Suárez-Gonzalo, investigadora en la Universitat Pompeu Fabra; y con Irene Parra, responsable de comunicación de m4Social.

¿Es posible decir que la Inteligencia Artificial es un agente de cambio?

“Lanzar una moneda al aire tiene la misma capacidad predictiva que la Inteligencia Artificial haciendo predicciones de comportamiento individual en base a datos estadísticos”, afirmaba Javier Sánchez. 

En efecto, la estadística ofrece garantías para describir y predecir con mayor o menor precisión un comportamiento determinado a nivel de población, pero no a nivel individual. “Actualmente, se usan herramientas poblacionales para analizar casos individuales, lo cual es erróneo”, recordaba Sánchez. Y, además, añadió una cuestión importante como es a quién van dirigidas estas herramientas de predicción. “Se tiende a vigilar a personas migrantes o racializadas, comunidades en riesgo de exclusión social o familias con bajos ingresos. Raramente se usan para localizar y monitorizar la delincuencia financiera y a criminales de cuello blanco”.

¿Cómo evitar los problemas de sesgo e injusticia en los sistemas con IA?

“Usar tecnologías como la IA no resuelve cualquier tipo de problema, y, por otro lado, a menudo la introducción de la IA supone restar otros recursos económicos y técnicos, pero también reducir la atención humana a estos problemas”, aseguraba Sara Suárez-Gonzalo. Además, la investigadora recalcaba que “no es bueno que el criterio que prevalezca en un estado del bienestar, y en concreto en relación a los servicios sociales, sea la eficiencia”.

Para evitar los efectos indeseados de los sistemas de IA que comentaba Sánchez, Sara Suárez-Gonzalo propone a las organizaciones sociales y el conjunto de la ciudadanía que se centren en:

  1. Entender la lógica básica del funcionamiento de la IA
  2. Desmitificar y deselitizar la IA 
  3. Fomentar la participación social de la ciudadanía

¿Para qué sirve introducir algoritmos en el ámbito de los servicios sociales? Ante esta pregunta, Suárez-Gonzalo alertó que actualmente su uso responde a una motivación por aumentar la eficiencia de los procesos en los que se inserta, y obtener cierto ahorro económico, además de guiarse por la supuesta objetividad de la técnica. 

¿Cómo conjugar la eficiencia y la empatía cuando usamos IA en el servicio social?

“Es necesaria una gran dosis de empatía que asegure que se incluyen criterios de imparcialidad para un trato equitativo, de confiabilidad y seguridad, privacidad y gobernanza inclusividad para no dejar a nadie al margen, y transparencia que asegure que se conozca la finalidad de los objetivos de la IA, su funcionamiento y sus limitaciones”. Así resumía Gabriel González los retos de la integración de los algoritmos y tecnologías en el sector social. 

González también resaltó que el sector se va dando cuenta de que se puede beneficiar de la tecnología digital y la atención a las personas debe incluirla en sus procesos, especialmente cuando el mundo está en plena aceleración de la transformación digital. Hacen falta recursos, formación -o aprendizaje-, y sobre todo acompañamiento en este proceso estratégico 

Enlaces relacionados de interés comentados durante la mesa

¡No te pierdas el resumen de la primera mesa de la jornada, sobre securitización y fonteras!

¿Quieres recibir la agenda de Societat Oberta a tu correo?

Suscríbete