#DFF Cuidados automatizados: Desafiando evaluaciones de sistemas informáticos en Arkansas

Imagen © Ivan Samkov de Pexels

La Digital Freedom Fund, a través del ciclo Taking Digital Welfare Systems, ha organizado un encuentro entre Kevin De Liban, Director de Advocacy en el Legal Aid of Arkansas, y Shannon Vallor, titular de la Cátedra Baillie Gifford de Ética de los Datos e Inteligencia Artificial en el Edinburgh Futures Institute de la Universidad de Edimburgo. Esta nueva conversación está centrada en el sistema de ayudas a los cuidados en el estado de Arkansas, al sur de los Estados Unidos. 

El programa Medicaid brinda servicios a domicilio a las personas dependientes que lo necesiten. Es habitual que éstas sean visitadas por un evaluador que les entrevista para conocer y decidir la frecuencia con la que necesitarán a alguien que les cuide en sus casas. En 2016, el estado de Arkansas aprobó la implementación de un algoritmo que determinaba, a partir de una evaluación previa, el número de horas que cada beneficiario debía percibir. Como consecuencia de este criterio nuevo, muchas personas dependientes vieron reducidas drásticamente sus ayudas.

Argumentos para invalidar el algoritmo

A través de unas preguntas muy sencillas, el algoritmo era capaz de clasificar a cada uno de los pacientes y a partir de ahí decidir cuántas horas de asistencia se le otorgaban a cada uno de ellos. Esta nueva forma de evaluación fue puesta en marcha sin el conocimiento de sus beneficiarios y no había forma de entender qué factores influían en las decisiones. Una vez conocidos los numerosos testimonios que confirmaban esta situación, se decidió llevar a juicio este sistema informatizado. Fue entonces cuando se confirmó la presencia de un algoritmo matemático que decidía, en base a 60 parámetros, la atención domiciliaria que debían recibir las personas en sus casas.  

Según Kevin De Liban, los servicios sociales se han instrumentalizado bajo la idea de que la digitalización incrementará la eficiencia de las ayudas prestadas, cuando en realidad limita el presupuesto de estos departamentos en época de austeridad y recortes. En este caso, por un lado, se racionalizó la asistencia sanitaria y, por otro, surgió el deseo de detectar aquellos casos que podían ser fraudulentos. Con la automatización de tareas, se ofrecían menos horas de asistencia en el hogar, cuando en realidad lo que debería haber sucedido es que se incrementaran las horas de supervisión a la automatización.

En 2017, el Tribunal Supremo de Arkansas, gracias a la demanda interpuesta por el Legal Aid, invalidó el algoritmo al considerar que las personas afectadas no habían sido avisadas de su implantación y que hubo poco tiempo para cuestionar su funcionamiento. Por otro lado, desde el Legal Aid se llegó a la conclusión de que se debían hacer más actividades educativas respecto a este tema, con el objetivo de que las personas que dependían de este tipo de asistencia médica conocieran cómo funcionan los sistemas automatizados, por qué se utilizan y con qué instrumentos cuentan para luchar contra ellos. 

El papel de la sociedad civil en esta problemática

De Liban también comentó que vio que las personas nunca habían sido empoderadas para cuestionar el algoritmo que estaba decidiendo su bienestar. No se testeó previamente para saber si funcionaba correctamente y además, resultaba bastante chocante que a ningún trabajador de la agencia del Departamento de Sanidad y Servicios Humanos le importara que este sistema fuera injusto.

De Liban considera importante quitar las barreras a la participación ya que, a largo plazo, una mayor educación pública, los testimonios de las personas afectadas y la ayuda para organizarse serán clave para una mejor defensa de sus derechos. De hecho, lo que hizo que esta litigación tuviera éxito es que hubo una buena alineación entre los diferentes actores. La rápida movilización y organización de las personas ayudó a que la situación se pudiera revertir.

Además, tras la sentencia judicial, algunos trabajadores del Departamento de Sanidad y Servicios  Humanos empezaron a cuestionarse cómo funcionan los algoritmos y a hacer preguntas sobre éstos previo a su introducción. Por otro lado, animó a que los trabajadores de la administración hicieran preguntas a los proveedores durante las presentaciones que hacen de sus productos en reuniones y conferencias.

Sin duda, la rápida detección de estas desigualdades junto a la acción de organizaciones como el Legal Aid ayudaron a obtener una respuesta clara del Tribunal Supremo, haciendo de esta victoria un ejemplo para todo el país.

Aquí tenéis disponible este conversatorio entre Kevin de Liban y Shannon Vallor.evin De Liban i Shannon Vallor.

¿Quieres recibir la agenda de Societat Oberta a tu correo?

Suscríbete