Aquesta sessió de les JornadasDAR va comptar amb la participació de Divij Joshi de l’Aliança OGP, Aidan Peppin de l’Ada Lovelace Institute, i Gemma Galdón de Fundación Éticas, i va estar moderada per Gala Pin.
Divij Joshi va fer un repàs per diferents experiències en les quals l’ús de la IA havia suposat discriminació i exclusió com:
- l’ús d’un algorisme per a determinar les ajudes socials per part del govern holandès
- el cas del govern britànic per a eliminar la selectivitat i permetre l’accés a la universitat generant una nota de tall a partir de diverses variables
- l’ús del reconeixement facial per part dels cossos de seguretat que va revelar el moviment Black Lives Matter
Joshi va apuntar dues deficiències que es donen de manera recurrent a l’hora d’aplicar la transparència en procediments d’intel·ligència artificial. D’una banda està la qüestió tècnica, bé de dificultat o bé de coneixements. Per una altra, l’economia política de com s’implementa un algorisme. La pregunta és, segons Joshi, com la ciutadania pot participar en aquests espais. Per a això emfatitza la necessitat d’involucrar a la ciutadania des de l’inici, en els espais de rendició de comptes, però també de disseny.
En el cas de l’exemple explicat per Aidan Peppin, el Citizen Biometric Council, es tracta d’una pràctica per a abordar la qüestió del reconeixement facial. Peppin va explicar que els membres del consell van ser triats de manera aleatòria seguint diversos paràmetres per a garantir la diversitat del consell. Es tractava d’avaluar quan l’ús de dades biomètriques és adequat i quan no.
Del treball del consell van emergir diferents recomanacions i necessitats:
- una regulació nova més contundent, fort
- tenir un cos legal independent que supervisi el seu ús
- tenir estàndards sobre l’ús d’aquesta mena de dades
En el cas d’Éticas, la primera entitat que proposa auditar algorismes en l’Estat espanyol, es desenvolupa una guia d’auditabilitat externa d’algorismes davant la dificultat de tancar un acord amb el govern per a auditar algorismes com el del programa VioGén. En el desenvolupament de l’auditoria externa d’aquest sistema van treure conclusions com que la policia delega en l’algorisme l’avaluació d’un possible cas de violència masclista.
Així mateix, es va parlar sobre polítiques de rendició de comptes i la dificultat de la ciutadania per a participar en la implementació d’aquestes polítiques. Transparència, accés a la informació, participació. Els ponents es van preguntar com auditem algorismes i anem a les organitzacions públiques perquè ens els confiïn? Vam escoltar els casos de RisCanvi o InfoJobs, per exemple.
Una idea potent que va sorgir en la taula és que el tecnosolucionisme no és la solució als problemes de les comunitats en situació de vulnerabilitat. I es va posar èmfasi en la resistència com a forma d’actuació.
Davant la pregunta de com com hauria de ser l’Agència estatal de supervisió d’intel·ligència artificial ideal per al seu bon funcionament, Joshi, Peppin i Galdón van respondre:
- Ha de complir allò que es prometi després de la seva creació
- Ha de tenir un punt de vista tècnic-social i una visió holística sobre l’algorisme.
- És important saber a qui cal dirigir-se per a poder formalitzar una queixa.
- Hauria de rendir comptes a les persones i a les comunitats que la *IA perjudica.
- Hauria de ser supervisada per un ens extern.
- Hauria de ser participativa i democràtica.
- Que l’agència pugui inspeccionar i imposar sancions.
- L’agència ha de tenir competències per a poder operar de manera efectiva.
Llegeix tots els resums de les #JornadasDAR aquí!
