Discriminación y vigilancia: ¿Puede la UE arreglar la injusticia?

A continuación compartimos un resumen de la que fue la jornada ‘Discrimination and surveillance: Can the EU fix injustice?’ organizada por la Open Society Foundations y el European Digital Rights (EDRi).

Panel 1: Vigilancia discriminatoria en la aplicación de la ley y la justicia penal

En esta charla, una de las participantes explicó su experiencia y la de su familia con la perfilación racial en Países Bajos (un tercio de las personas afectadas es de origen marroquí). Se comentó que es importante conocer cómo funcionan estos programas para poderlos prohibir. El uso de la perfilación racial para reducir la criminalización no resuelve estos problemas, solo causa más. Hay que prohibir la vigilancia por parte de los cuerpos policiales de ciertas comunidades y conseguir más transparencia y rendición de cuentas de estos mecanismos, además de desafiarlos lo más rápido posible.

Por otro lado, las personas afectadas quisieran conocer toda la información que los entes públicos tienen sobre sus familias y sus hijos y que se borren estos registros, aunque reconocen que esta última parte es imposible. Abogan por una transparencia en la cual los padres puedan tener acceso a los informes de sus hijos. 

Se habló de las diferencias que tienen al hablar del GDPR los partidos de la izquierda y los de centroderecha europeos. Mientras que los de izquierdas quieren tratar los temas más polémicos relacionados con las libertades civiles y la discriminación a ciertos colectivos, los conservadores centran su discurso en el mercado. 

Panel 2: Vigilando a la clase trabajadora: Vigilancia y gestión algorítmica de los trabajadores en la economía de plataforma

Desde el sindicato creado por los trabajadores de Uber en el Reino Unido lucharon por obtener derechos básicos como un salario mínimo, vacaciones y derechos de no-discriminación. Allí, el 94% de los trabajadores de Uber son de origen racializado (utilizó el término BAME = Black, Asian and Middle East). 

A esto se le suma también una opaca deshumanización de la gestión de los trabajadores que se realiza de forma algorítmica. A estos trabajadores se les vigilan las emociones, su desempeño en el trabajo y hasta los descansos que toman. El monitoreo de sus actividades influye en cómo se comportan (les persuade de trabajar o por dónde circular o a qué hora) y en el dinero que recibirán o el aumento de sueldo. En su opinión, debería protegerse a todas aquellas personas que trabajan bajo las órdenes de la IA, sin importar si provienen de plataformas digitales o no. Confían en que algún día puedan trabajar conjuntamente movimientos sociales, sindicatos y empresas tecnológicas para un mejor desarrollo de la IA.

Muchos de los trabajadores de Uber quisieron trabajar allí para ser ellos mismos sus propios jefes, pero al final acabaron siendo controlados por una máquina y tienen dificultades para obtener ingresos. Estas personas no tienen mucho tiempo en general en saber cómo funcionan estas plataformas y cómo les afecta, así que colaboran con ONGs que les hablan sobre sus derechos, la protección de sus datos y otros temas que puedan ser de su interés.

Gracias a los movimientos locales conocemos qué es lo que sucede. Para que esto continúe pasando hay que empoderarlos y hacer que se sumen más trabajadores de esta plataforma. De todas maneras, saben que aunque la IA funcionara a la perfección, eso no significaría que se dejaran de vulnerar sus derechos.

Uber y otro tipo de plataformas presumen de que ofrecen trabajos flexibles y que ayudan a encontrar uno a personas en situación de vulnerabilidad, pero que con su regulación muchos empleos podrían perderse. Precisamente, se fijan en las personas vulnerables, ya que son las que nunca cuestionarán el funcionamiento de sus plataformas ni generarán problemas.

Por otro lado, el futuro de muchos de estos trabajos depende de los programas sociales que el gobierno pueda apoyar, como el crédito universal. En estos casos, si la información vertida por estos sistematizados fuera la correcta, la gente que más lo necesitara se beneficiaría de estas ayudas. Por este motivo, es importante que estos sistemas cuenten con la mayor información posible, para que nadie se quede fuera del sistema.

Panel 3: Automatización de la Europa fortaleza: La IA en la migración y el control de fronteras

Debemos revisar el impacto que la IA tiene en las personas migrantes y solicitantes de asilo. Debería haber una evaluación de estos sistemas y remedios para parar o mitigar los errores. Además, se pide transparencia y rendición de cuentas.

Obtener más datos no siempre es algo bueno porque cuantos más datos se tienen y se cruzan con diferentes administraciones, más problemas hay con las conclusiones que se pueden sacar de las personas y puede interpretarse diferente dependiendo de quien lo lea.

Explicaron que en Alemania, por ejemplo, se está utilizando un software para detectar el dialecto de  los migrantes y los solicitantes de asilo para asegurarse de que la persona está diciendo la verdad cuando se le pregunta por su nacionalidad. De esta manera, se establece que esa persona no tiene credibilidad y que una máquina es totalmente objetiva. 

Se comentó también que la responsabilidad que pueda tener el sector privado es totalmente diferente de la del sector público. Se habló que para poder buscar soluciones y mitigar los problemas producidos por la IA hay que identificar bien el problema, incluyendo a las personas afectadas en la discusión.

Panel 4: La vigilancia discriminatoria y la Ley de Inteligencia Artificial de la UE: Hacia un enfoque de derechos y justicia

En este panel salió la pregunta de qué hacer cuando se identifica un sistema de “alto riesgo”. Se dijo que se le tendría que fijar una serie de obligaciones a la vez que solicitar que este tipo de identificaciones sean flexibles porque con el paso del tiempo las calificaciones, sus usos y sus riesgos pueden cambiar. Debe haber un sistema de evaluación transparente y se debe crear un marco de empleos dañinos de la AI y establecer unas líneas rojas.

Se comentó que no solo hay que culpar a la tecnología de los daños que está haciendo, sino que también al uso que la sociedad está haciendo de ella. Por otro lado, no seríamos capaces de entender la utilización de la IA sin conocer el contexto en que se ha utilizado. La IA no debe dañar a ninguna comunidad y, en el caso que una comunidad pueda verse afectada, los creadores de este sistema deben de rendir cuentas.

Se insistió en incluir a negociadores, representantes del gobierno, sindicatos y personas afectadas y en abrir el espacio a personas racializadas. Hablaron también de que se necesitan más inversiones, más formación y adaptación.

Los objetivos por los que hay que luchar son en tener más accesibilidad a estos sistemas, que todos podamos entenderlos y la disponibilidad de poder luchar juntos con más personas afectadas. La solución sobre cómo redirigir un sistema de IA depende mucho del contexto de la discriminación. La IA se está empleando al servicio del poder, cuando debería estar al servicio de la gente.

Aquí puedes ver el vídeo con todas las sesiones y también escuchar los podcasts.

¿Quieres recibir la agenda de Societat Oberta a tu correo?

Suscríbete