Como explicamos en artículos anteriores, a finales de mayo co-organizamos las JornadasDAR Democracia, Algoritmos y Resistencias junto a Algorace, Algorights y Lafede.cat. Durante los tres días que duraron las jornadas tuvimos la oportunidad de escuchar ponencias y charlas alrededor de una inteligencia artificial más democrática, decolonial y respetuosa con los derechos humanos. En este caso compartimos los resúmenes de las sesiones que tuvieron lugar en Barcelona y aquí puedes recuperar el vídeo completo.
¿Por qué y cómo involucrar a las comunidades más afectadas por la Inteligencia Artificial?
Una mesa con Safia Oulmane de GHETT’UP, Anna Colom de Democratic Society y Judith Membrives i Llorens del grupo de trabajo de IA en Barcelona y del colectivo Algorights. Estuvo moderada por el periodista Moha Gerehou.
Durante la conversación, Safia Oulmane recalcó la importancia de trabajar en comunidad y encontrar un equipo con el que luchar y no desistir. “Hay que seguir, seguir y seguir. La generación más joven se fija en nosotros y podemos ser un ejemplo para una tecnología más diversa e inclusiva», dijo.
Anna Colom compartió el concepto de “lotería cívica” que se usa en democracia deliberativa y consiste en la participación en asambleas de una muestra representativa de la población (barrio, ciudad, país). Supuestamente este sistema ofrecería las mismas oportunidades a todo el mundo de participar y dar su opinión en procesos ya que se escogen personas al azar de unas listas pero Colom pone en duda la inclusividad real de este sistema.
En relación con esto y más específicamente delante de la duda de cómo evitar que las políticas públicas nos devuelvan discriminación, Colom respondió: «Se deben integrar los principios de justicia en la implementación de estas políticas y que haya un espacio de seguimiento«.
Membrives i Llorens hizo énfasis en que en la tecnología debe haber diversidad, es algo imprescindible para que haya representación. Y también añadió que la formación es muy importante para entender las implicaciones de la IA, pero también es imprescindible entender los marcos narrativos.
Participación ciudadana en la implementación de la inteligencia artificial en el sector público
Esta sesión contó con la participación de Divij Joshi de la Alianza OGP, Aidan Peppin de Ada Lovelace Institute y Gemma Galdón de Fundación Éticas, y estuvo moderada por Gala Pin.
Divij Joshi hizo un repaso por diferentes experiencias en las que el uso de la IA había supuesto discriminación y exclusión como:
- el uso de un algoritmo para determinar las ayudas sociales por parte del gobierno holandés
- el caso del gobierno británico para eliminar la selectividad y permitir el acceso a la universidad generando una nota de corte a partir de diversas variables
- el uso del reconocimiento facial por parte de los cuerpos de seguridad que desveló el movimiento Black Lives Matter
Joshi apuntó dos deficiencias que se dan de manera recurrente a la hora de aplicar la transparencia en procedimientos de inteligencia artificial. Por un lado está la cuestión técnica, bien de dificultad o bien de conocimientos. Por otro, la economía política de cómo se implementa un algoritmo. La pregunta es, según Joshi, cómo la ciudadanía puede participar en esos espacios. Para ello enfatiza la necesidad de involucrar a la ciudadanía desde el inicio, en los espacios de rendición de cuentas, pero también de diseño.
En el caso del ejemplo explicado por Aidan Peppin, el Citizen Biometric Council, se trata de una práctica para abordar la cuestión del reconocimiento facial. Peppin explicó que los miembros del consejo fueron elegidos de manera aleatoria siguiendo diversos parámetros para garantizar la diversidad del consejo. Se trataba de evaluar cuándo el uso de datos biométricos es adecuado y cuándo no.
Del trabajo del consejo emergieron diferentes recomendaciones y necesidades:
- una regulación nueva más contundente, fuerte
- tener un cuerpo legal independiente que supervise su uso
- tener estándares sobre el uso de este tipo de datos
En el caso de Éticas, la primera entidad que propone auditar algoritmos en el Estado español, se desarrolla una guía de auditabilidad externa de algoritmos ante la dificultad de cerrar un acuerdo con el gobierno para auditar algoritmos como el del programa VioGén. En el desarrollo de la auditoría externa de este sistema sacaron conclusiones como que la policía delega en el algoritmo la evaluación de un posible caso de violencia machista.
Una idea potente que surgió en la mesa es que el tecnosolucionismo no es la solución a los problemas de las comunidades en situación de vulnerabilidad. Y se puso énfasis en la resistencia como forma de actuación.
Ante la pregunta de cómo cómo debería ser la Agencia estatal de supervisión de inteligencia artificial ideal para su buen funcionamiento, Joshi, Peppin y Galdón respondieron:
- Debe cumplir aquello que se prometa tras su creación.
- Debe tener un punto de vista técnico-social y una visión holística sobre el algoritmo.
- Es importante saber a quién hay que dirigirse para poder formalizar una queja.
- Debería rendir cuentas a las personas y a las comunidades que la IA perjudica.
- Debería ser supervisada por un ente externo.
- Debería ser participativa y democrática.
- Que la agencia pueda inspeccionar e imponer sanciones.
- La agencia debe tener competencias para poder operar de manera efectiva.
Recuerda que puedes ver los vídeos de las #JornadasDAR en nuestro canal de Youtube y leer los resúmenes de las jornadas aquí.
