Discriminació i vigilància: Pot la UE arreglar la injustícia?

A continuació compartim un resum del que va ser la jornada ‘Discrimination and surveillance: Can the EU fix injustice?’ organitzada per l’Open Society Foundations i l’European Digital Rights (EDRi).

Panell 1: Vigilància discriminatòria en l’aplicació de la llei i la justícia penal

En aquesta xerrada, Diana Sardjoe va explicar la seva experiència i la de la seva família amb la perfilació racial en Països Baixos (un terç de les persones afectades és d’origen marroquí). Es va comentar que és important conèixer com funcionen aquests programes per a poder-los prohibir. L’ús de la perfilació racial per a reduir la criminalització no resol aquests problemes, només en causa més, segons la panelista. Cal prohibir la vigilància per part dels cossos policials d’unes certes comunitats i aconseguir més transparència i rendició de comptes d’aquests mecanismes, a més de desafiar-los el més ràpid possible.

D’altra banda, en paraules de Sardjoe les persones afectades voldrien conèixer tota la informació que els ens públics tenen sobre les seves famílies i que s’esborrin aquests registres, encara que reconeixen que aquesta última part és impossible. Advoquen, així, per una transparència en la qual les famílies puguin tenir accés als informes dels seus fills i filles.

Es va discutir també de les diferències que tenen en parlar del Reglament General de Protecció de Dades GDPR els partits de l’esquerra i els de centre dreta europeus. Mentre que els d’esquerres volen tractar els temes més polèmics relacionats amb les llibertats civils i la discriminació a uns certs col·lectius, els conservadors centren el seu discurs en el mercat.

Panell 2: Vigilant la classe treballadora – Vigilància i gestió algorítmica dels treballadors en l’economia de plataforma

Des del sindicat creat pels treballadors d’Uber al Regne Unit van lluitar per obtenir drets bàsics com un salari mínim, vacances i drets de no-discriminació. Allí, el 94% dels treballadors d’Uber són d’origen racialitzat (va utilitzar el terme BAME = Black, Asian and Middle East).

A això se li suma també una opaca deshumanització de la gestió dels treballadors que es realitza de manera algorítmica. A aquests treballadors se’ls vigilen les emocions, el seu acompliment en el treball i fins als descansos que fan. El monitoratge de les seves activitats influeix en com es comporten (els persuadeix de treballar o per on circular o a quina hora) i en els diners que rebran o l’augment de sou. En l’opinió de Yaseen Aslam, hauria de protegir-se a totes aquelles persones que treballen sota les ordres de la IA, sense importar si provenen de plataformes digitals o no. Confien que algun dia puguin treballar conjuntament moviments socials, sindicats i empreses tecnològiques per a un millor desenvolupament de la IA.

Molts dels treballadors d’Uber van voler treballar allí per a ser ells mateixos els seus propis caps, però al final van acabar sent controlats per una màquina i tenen dificultats per a obtenir ingressos. Aquestes persones no acostumen a tenir gaire temps per saber com funcionen aquestes plataformes i com els afecta, així que col·laboren amb ONGs que els parlen sobre els seus drets, la protecció de les seves dades i altres temes que puguin ser del seu interès.

Gràcies als moviments locals coneixem què és el que passa. Perquè això continuï passant cal empoderar-los i fer que se sumin més treballadors d’aquesta plataforma al sindicat. De tota manera, saben que encara que la IA funcionés a la perfecció, això no significaria que es deixessin de vulnerar els seus drets.

Uber i un altre tipus de plataformes presumeixen que ofereixen feines flexibles i que ajuden a trobar persones en situació de vulnerabilitat, però que amb la seva regulació moltes ocupacions podrien perdre’s. Precisament, segons Aslam, aquestes empreses es fixen en les persones vulnerables, ja que són les que mai qüestionaran el funcionament de les seves plataformes ni generaran problemes.

D’altra banda, el futur de molts d’aquests treballs depèn dels programes socials que el govern pugui secundar, com el crèdit universal. En aquests casos, si la informació generada per aquests sistematitzats fos la correcta, la gent que més ho necessités es beneficiaria d’aquestes ajudes. Per aquest motiu, és important que aquests sistemes comptin amb la major informació possible, perquè ningú quedi fora del sistema.

Panell 3: Automatització de l’Europa fortalesa: La IA en la migració i el control de fronteres

Hem de revisar l’impacte que la IA té en les persones migrants i sol·licitants d’asil. Des del punt de vista d’Alyna Smith, hauria d’haver-hi una avaluació d’aquests sistemes i remeis per a parar o mitigar els errors. A més, demanava més transparència i rendició de comptes.

Obtenir més dades no sempre és una cosa bona perquè quantes més dades es tenen i es creuen amb diferents administracions, més problemes hi ha amb les conclusions que es poden extreure de les persones i pot interpretar-se diferent depenent de qui ho llegeixi.

Van explicar que a Alemanya, per exemple, s’està utilitzant un programari per a detectar el dialecte dels migrants i els sol·licitants d’asil per a assegurar-se que la persona està dient la veritat quan se li pregunta per la seva nacionalitat. D’aquesta manera, s’estableix que aquesta persona no té credibilitat i que una màquina és totalment objectiva.

Es va comentar també que la responsabilitat que pugui tenir el sector privat és totalment diferent de la del sector públic. Es va parlar que per a poder buscar solucions i mitigar els problemes produïts per la IA cal identificar bé el problema, incloent-hi les persones afectades en la discussió.

Panell 4: La vigilància discriminatòria i la Llei d’Intel·ligència Artificial de la UE: Cap a un enfocament de drets i justícia

En aquesta sessió va sorgir la pregunta de què fer quan s’identifica un sistema d’“alt risc”. Es va dir que se li hauria de fixar una sèrie d’obligacions alhora que sol·licitar que aquest tipus d’identificacions siguin flexibles perquè amb el pas del temps les qualificacions, els seus usos i els seus riscos poden canviar. Ha d’haver-hi un sistema d’avaluació transparent i s’ha de crear un marc d’ocupacions nocives de l’AI i establir unes línies vermelles.

Es va comentar també que no sols cal culpar la tecnologia dels danys, sinó també a l’ús que la societat està fent d’ella. D’altra banda, també va sorgir la idea de no seríem capaços d’entendre la utilització de la IA sense conèixer el context en què s’ha utilitzat. La IA no ha de fer mal a cap comunitat i, en el cas que una comunitat pugui veure’s afectada, els creadors d’aquest sistema han de rendir comptes.

Es va insistir a incloure negociadors, representants del govern, sindicats i persones afectades i a obrir l’espai a persones racialitzades. Es va parlar també de la necessitat de més inversions, més formació i adaptació. Els objectius pels quals cal lluitar són:

  • tenir més accessibilitat a aquests sistemes
  • que tothom pugui entendre’ls
  • la disponibilitat de poder lluitar col·lectivament amb més persones afectades

Per finalitzar aquesta sessió, es va voler enfocar la conversa en les possibles solucions que es podrien dur a terme per redirigir els sistemes d’IA. Una de les conclusions a les quals es va arribar va ser la de modificar-la per a un bon ús depenent del context de la discriminació i, per una altra banda, la necessitat que aquests sistemes estiguin al servei de la gent en comptes d’estar al servei del poder.

Aquí pots veure el vídeo amb totes les sessions i també escoltar els podcasts.

Vols rebre l'agenda de Societat Oberta al teu correu?

Subscriu-te