Mesa #1 Discriminación automatizada

¿Qué piensa Marta Peirano sobre la discriminación automatizada? Encuentro moderado por Carlos Delclós

La primera mesa de la Jornada Inteligencia artificial y Derechos Humanos: ¿utopía o realidad? se centró principalmente en tecnología y poder. Para hacerlo, contamos con Marta Peirano, autora del libro de Marta El enemigo conoce el sistema. Una lectura clave para conocer los retos a los cuales los afrontamos como sociedad en materia tecnológica. 

¿Qué es un algoritmo y por qué está tan presente este término en la agenda pública?, le pregunta Delclós a Peirano. “Se trata de un conjunto de decisiones, operaciones sistemáticas que permiten que la máquina resuelva problemas sin la intervención de una persona”. Hasta ahí seguramente mucha gente ya sabía qué era un algoritmo. La cuestión, según Peirano, es que hay varios tipos de algoritmos según cómo se programen.

Los que se han programado estableciendo decisiones de antemano y los que lo han hecho a través de machine learning. Es decir, no señalar al algoritmo lo que tiene que hacer sino enseñarlo como si fuera una criatura. Ambas metodologías presentan un problema común: “Los algoritmos que hemos adaptado para que tomen decisiones que nos parecen difíciles están entrenados por un historial de decisiones anteriores llenos de clasismo, machismo, racismo… “, recuerda Peirano. 

“Con los algoritmos se están justificando actitudes discriminatorias y excusándose de comportamientos racistas, clasistas o machistas como si fueran justos por haberlos hecho máquinas”, advierte Peirano. Y es que la automatización de procesos evidencia su propia naturaleza. En este punto del debate surgió el concepto Mathswashing, que hace referencia a la creencia de que debido a que las matemáticas están involucradas en ciertas decisiones, los algoritmos son neutrales. El término, popularizado por Cathy O’Neil sirvió a Peirano para sentar un ejemplo bastante cotidiano. “Cómo no discriminar en una frontera cuya razón de ser de ésta es discriminar. Un algoritmo lo que hará es sentar las reglas para discriminar”, recuerda. 

En este sentido, tanto Delclós como Peirano estuvieron de acuerdo en que el algoritmo lo que hace es poner sobre la mesa una discriminación ya existente. “Los algoritmos están disfrazando procesos de discriminación, los repiten y además parece que no discrimines porque las decisiones las está tomando, aparentemente, la máquina”, comenta Peirano. 

Redes adversarias, contact tracing, Ley de protección de datos, Injusticias en el sistema, COMPAS (Correctional Offender Management Profiling for Alternative Sanctions)… El encuentro entre Delclós y Peirano sigue con muchas más cuestiones que podéis ver en el vídeo completo. Fue un debate lleno de aportaciones e iniciativas interesantísimas que os animamos a escuchar tranquilamente. 

Además, compartimos aquí algunos de los enlaces que se comentan durante la sesión y que surgieron también en el chat. ¡No os los perdáis!

¿Quieres recibir la agenda de Societat Oberta a tu correo?

Suscríbete