Políticas públicas transparentes y auditabilidad

Esta sesión de las #JornadasDAR contó con la participación de Divij Joshi de la Alianza OGP, Aidan Peppin de Ada Lovelace Institute y Gemma Galdón de Fundación Éticas, y estuvo moderada por Gala Pin. 

Divij Joshi hizo un repaso por diferentes experiencias en las que el uso de la IA había supuesto discriminación y exclusión como:

  • el uso de un algoritmo para determinar las ayudas sociales por parte del gobierno holandés
  • el caso del gobierno británico para eliminar la selectividad y permitir el acceso a la universidad generando una nota de corte a partir de diversas variables
  • el uso del reconocimiento facial por parte de los cuerpos de seguridad que desveló el movimiento Black Lives Matter 

Joshi apuntó dos deficiencias que se dan de manera recurrente a la hora de aplicar la transparencia en procedimientos de inteligencia artificial. Por un lado está la cuestión técnica, bien de dificultad o bien de conocimientos. Por otro, la economía política de cómo se implementa un algoritmo. La pregunta es, según Joshi, cómo la ciudadanía puede participar en esos espacios. Para ello enfatiza la necesidad de involucrar a la ciudadanía desde el inicio, en los espacios de rendición de cuentas, pero también de diseño.

En el caso del ejemplo explicado por Aidan Peppin, el Citizen Biometric Council, se trata de una práctica para abordar la cuestión del reconocimiento facial. Para ello, se impulsó la creación de este consejo ciudadano formado por 50 miembros (en Manchester y Bristol). Peppin explicó que fueron elegidos de manera aleatoria pero siguiendo diversos parámetros para garantizar más que su representatividad, la diversidad del consejo. Se trataba de evaluar cuándo el uso de datos biométricos es adecuado y cuándo no. 

Del trabajo del consejo emergieron diferentes recomendaciones y necesidades: 

  • una regulación nueva más contundente, fuerte
  • tener un cuerpo legal independiente que supervise su uso
  • tener estándares sobre el uso de este tipo de datos 

En el caso de Éticas, la primera entidad que propone auditar algoritmos en el Estado español, se desarrolla una guía de auditabilidad externa de algoritmos ante la dificultad de cerrar un acuerdo con el gobierno para auditar algoritmos como el del programa VioGén. En el desarrollo de la auditoría externa de este sistema sacaron conclusiones como que la policía delega en el algoritmo la evaluación de un posible caso de violencia machista.

Asimismo, se habló sobre políticas de rendición de cuentas y la dificultad de la ciudadanía para participar en la implementación de estas políticas. Transparencia, acceso a la información, participación. Los ponentes se preguntaron ¿cómo auditamos algoritmos y vamos a las organizaciones públicas para que nos los confíen? Escuchamos los casos de RisCanvi o InfoJobs, por ejemplo.

Una idea potente que surgió en la mesa es que el tecnosolucionismo no es la solución a los problemas de las comunidades en situación de vulnerabilidad. Y se puso énfasis en la resistencia como forma de actuación. 

Ante la pregunta de cómo cómo debería ser la Agencia estatal de supervisión de inteligencia artificial ideal para su buen funcionamiento, Joshi, Peppin y Galdón respondieron:

  • Debe cumplir aquello que se prometa tras su creación, cosa que requiere poder y recursos para poder hacerlo. 
  • Tecnología y sociedad deberían ir de la mano y no separadamente ya que hablamos de mejorar los servicios sociales, el estado de bienestar, etc. Por lo tanto, debe tener un punto de vista técnico-social. La necesidad de tener una visión holística sobre el algoritmo. 
  • Se deben crear mecanismos que acerquen a las personas afectadas por la IA a la agencia. Es importante saber a quién hay que dirigirse para poder formalizar una queja.
  • Debería rendir cuentas a las personas y a las comunidades que la IA perjudica. Además, debería ser supervisada por un ente externo.
  • Debería ser participativa y democrática.
  • Que contenga registros algorítmicos y su evaluación, y crear estándares de cómo deberían ser y trabajarse los datos.
  • Que la agencia pueda inspeccionar e imponer sanciones.
  • La agencia debe tener consistencia y competencias para poder operar de manera efectiva.

¡Lee todos los resúmenes de las #JornadasDAR aquí!

¿Quieres recibir la agenda de Societat Oberta a tu correo?

Suscríbete