La inteligencia artificial como mecanismo de racializac… — Transcript

Buenos días a todos, bienvenidos de nuevo a este espacio dos, vamos a continuar con la programación de esta mañana. Tenemos con nosotros a Paula Guerra Cáceres, que viene del colectivo Algorace, de Racializando la Inteligencia Artificial, que es un proyecto de investigación, de formación, de educación, que trabaja por poner en la agenda pública cómo la inteligencia artificial tiene también una incidencia en las personas racializadas.

Y nos parecía interesante traer este tema que puede parecer muy alejado de la cultura como es la inteligencia artificial, porque es un mecanismo de tomas de decisiones que cada vez está ocupando más espacio en el ámbito público, en esta esfera de de gestión pública, también en el ámbito de la cultura. Por ello queríamos contar con con Algorace, que nos que ellos trabajan por desmontar ese mito de la neutralidad en torno a la inteligencia artificial, que bueno, debido otra vez al desconocimiento que nos produce, a lo difícil que es desentrañar qué hay exactamente detrás de estos mecanismos, pero que en realidad están reproduciendo determinados sesgos que tienen que ver con el antirracismo, con la discriminación.

Entonces, sin más, os voy a dejar con con Paula Guerra Cáceres, que ella además de ser miembro de del colectivo Algorace.

Ella es comunicadora social, trabaja para medios como la revista Píkara, el diario .es o el periódico, ha sido también, bueno, es activista antirracista, ha sido presidenta de de Sorracismo y Paula, como experta, te lo dejamos en tus manos. Muchas gracias.

Vale, perfecto, muchas gracias. Se me escucha bien, ¿verdad? Se oye bien, vale. A ver, bueno, primero que todo, gracias por la invitación a participar en este evento, gracias a todas las personas que están aquí presentes, el la temática de la relación entre inteligencia artificial y racismo no es no es muy conocida.

Por lo tanto, a veces vemos que este tema no convoca lo suficiente, así que me alegro de ver varias caras aquí presentes el día de hoy. Eh, bueno, como bien decía la persona que me presentó, yo soy Paula Guerra Cáceres, formo parte de un de un colectivo que se llama Algorace, Desracializando la IA.

Eh, somos un equipo multidisciplinar compuesto por personas que investigan la inteligencia artificial, personas científicas en el ámbito de la inteligencia artificial y personas que provenimos del ámbito del periodismo, las comunicaciones y el antirracismo. Entonces, nos reunimos en este proyecto para empezar a visibilizar la forma en que la inteligencia artificial reproduce desigualdades sociales, entre ellas, opresión racial, discriminación racial.

Eh, voy a hacer una ponencia que intentaré que sea breve y lo más, digamos, práctica posible, o sea, no voy a no voy a entrar en tecnicismos, ¿no? Para para no complicar la la temática, sino hacerlo lo más lo más simple posible. A ver, le he puesto a la ponencia la IA como mecanismo de racialización.

Porque voy a ir explicando a lo largo de la ponencia cómo la inteligencia artificial termina actuando como un mecanismo de racialización que hace que determinadas personas estén en una situación de jerarquía social superior que otras. Si puedes pasar la siguiente, por favor.

Creo que no me escucha.

Puedes pasar la siguiente.

Gracias.

A ver, lo primero, ¿qué es la inteligencia artificial? O sea, hay que partir como de de nociones básicas, ¿no? Eh, el lenguaje sencillo, bueno, la inteligencia artificial se define como ese conjunto o esa combinación de algoritmos que se instalan en un en un ordenador, en una máquina, eh para reproducir los procesos cognitivos de la mente humana. Eso es a grandes rasgos y muy resumidamente lo que es la inteligencia artificial, eh que es un conjunto de algoritmos.

¿Y qué es un algoritmo? Pues un conjunto de reglas y pasos ordenados que se utilizan para procesar datos, para resolver un problema. Entonces, un conjunto de algoritmos instalados en un ordenador para resolver un problema o procesar datos es lo que vendríamos a llamar inteligencia artificial.

¿Cómo se nos ha vendido?

Creo que es la primera.

Me parece.

Eh, compañera.

Creo que es la.

Perdona.

Es la.

La que viene después del título.

Eso es.

¿Cómo se nos ha vendido hasta ahora la inteligencia artificial? Bueno, se nos ha vendido como una herramienta objetiva que produce resultados neutrales. ¿Por qué objetiva? Porque son operaciones matemáticas, ¿no? Es lo que se nos dice.

Una operación matemática tiene que producir por fuerza un resultado objetivo porque son algoritmos y los algoritmos, como dicen suelen decir las personas que se trabajan en este ámbito, no piensan ni sienten.

Por lo tanto, la inteligencia artificial es una herramienta objetiva que produce resultados neutrales. Esto es así, o sea, tenemos todas todas esa idea en la cabeza de que la inteligencia artificial es una herramienta objetiva que produce resultados neutrales.

Probablemente sí, ¿no?

O sea, yo creo que si aquí hiciéramos una una encuesta y preguntáramos a las personas que estamos aquí si creen que la inteligencia artificial es objetiva y neutral, probablemente nos digan que sí por este motivo, ¿no?

Porque no hay intervención humana.

Bueno, eso se descarta de manera muy muy rápida y muy sencilla por una razón muy simple, porque los algoritmos no se crean por generación espontánea.

La inteligencia artificial no surge por generación espontánea, hay personas de carne y hueso detrás de cada algoritmo que se crea y para crear un algoritmo.

Tú tienes que decidir qué información vas a tomar en cuenta, qué información vas a dejar fuera, cómo vas a clasificar esa información, qué parámetros vas a utilizar para para procesarla.

Eh, qué variables vas a tomar en cuenta, cuáles no, por lo tanto, hay ahí una mirada, un punto de vista al momento en que se crea cada algoritmo.

Que normalmente tiene que ver con el perfil endogámico de los desarrolladores de algoritmos, que suelen ser hombres, hombres blancos, de clase media, media alta.

Quienes por lo general se han formado en las mismas universidades y se mueven por los mismos círculos sociales.

La IA no es neutral, representa el punto de vista del desarrollador.

Reproduce patrones de poder y privilegio y perjudica a grupos históricamente discriminados por clase, género, raza, etcétera.

¿Qué es un sesgo algorítmico?

Sesgo algorítmico: hace referencia a errores sistemáticos y repetidos que crean resultados injustos.

Por ejemplo, un algoritmo de puntuación de crédito puede negar sistemáticamente un préstamo a un grupo de población en particular.

Basándose en criterios no estrictamente económicos, sino sociales (código postal donde viven las personas, apellidos extranjeros, etc.).

Una de las primeras denuncias públicas: 1988 en Reino Unido.

La Comisión de Igualdad Racial acusó a la Escuela de Medicina de St. George de discriminar por sexo y raza en sus pruebas de admisión.

Desde los años 70 utilizaban programa que analizaba el nombre o el lugar de nacimiento de los postulantes (descartaron durante décadas a mujeres y personas racializadas en general).

Motores de búsqueda que relacionan palabras con el género masculino (abogado, médico) y otras con el femenino (hogar, familia, limpieza, hijos).

(entrevistas de trabajo, becas...) Fallos de Ley Rider.

A partir de 2021 obligación para empresas.

Ejemplos de sesgo algorítmico.

VeriPol: La Policía Nacional dispone desde 2018 en todas sus comisarías de VeriPol.

Cuya función es determinar la veracidad de las denuncias por robo.

Se basa en un algoritmo entrenado con 1.122 denuncias.

Analiza el lenguaje empleado por los denunciantes.

¿Qué pasa con las personas no nativas? ¿La ansiedad, el nerviosismo?

VioGén: Registro Central para la Protección de las Víctimas de Violencia Doméstica.

Herramienta de IA que recoge y administra las denuncias por violencia de género.

Desde 2019 incluye predicciones proporcionadas por dos algoritmos.

Uno que estima el riesgo de reincidencia y otro el riesgo de que los hechos denunciados puedan terminar en feminicidio.

EuroCop: Empresa que desarrolló una herramienta de patrullaje predictivo basándose en multas, atestados, videovigilancia.

Ofrece servicios a municipios como Leganés y Alcorcón en Madrid.

Policía predictiva: En EE.UU. muchas ciudades utilizan el sistema Pred-Pol.

Ha llevado a la sobrepresencia policial en barrios de personas negras y latinas.

Refuerza los sesgos racistas y clasistas de la policía.

La ciudad de L.A. decidió dejar de usarlo.

StarUp SANAS: occidentaliza el acento de los teleoperadores de call center. EE.UU.

Los errores en los algoritmos de reconocimiento facial.

Google en 2015: Tuvo que pedir disculpas tras demostrarse que su aplicación Google Photos etiquetaba a personas negras como gorilas.

Facebook en 2021: También tuvo que pedir disculpas.

Estos errores ya habían sido denunciados por Joy Buolamwini, en el marco de un trabajo que realizaba para el MIT.

Su rostro no era leído por los algoritmos a menos que se pusiera una máscara blanca.

Creó la "Liga de justicia algorítmica" (impacto de la IA/ voz de comunidades afectadas).

2019: Instituto Nacional de Estándares y Tecnología de EE.UU.

189 algoritmos de 99 desarrolladores.

Más de 18 millones de imágenes.

Fallos rostros no caucásicos (falsos positivos y falsos negativos).

La "frontera inteligente".

En 2017 el Parlamento Europeo aprueba un nuevo modelo fronterizo con el nombre de EES (Entry/Exit System).

Desde 2003 ya existe Eurodac, base de datos comunitaria que almacena las huellas de las personas solicitantes de asilo.

(trasladan a las personas de un país a otro contra su voluntad - Reglamento de Dublín).

En 2020, en el marco de este nuevo modelo fronterizo, los Estados miembros de la UE acuerdan invertir 302.500 millones de euros.

Para el diseño e implementación del control biométrico en las fronteras exteriores de la UE.

Este año se va a implementar en 2022 la llamada "frontera inteligente" en los pasos fronterizos de Ceuta y Melilla.

Tecnología de reconocimiento facial (posibilidad de errores, vulneración de derechos).

La Comisión Europea, en su propuesta de regulación sobre inteligencia artificial presentada en 2021, califica estos sistemas como de "alto riesgo".

Pero deja la puerta abierta a su uso en áreas vinculadas a la seguridad y la lucha contra el terrorismo.

Recogida de datos biométricos (4 huellas digitales) e información personal como nombre, tipo de identificación, etc.

Eurodac: Base de datos solo a solicitantes de asilo.

EES: a todas las personas que entren.

Justificación: procedimientos más expeditos y lucha contra el terrorismo.

La IA racializa.

La racialización es el proceso mediante el cual el sistema nos asigna características/cualidades positivas o negativas.

En base a la categoría étnico-racial con la que se nos identifica (negros/as, gitanos/as, blancos/as, latinos/as, indígenas, asiáticos/as, árabes).

El lugar que ocupamos en el mundo va a depender de si somos racializados en la superioridad o en la inferioridad.

Al existir un entrenamiento del algoritmo con datos sesgados, incompletos o tendenciosos, la IA hace desaparecer a la persona real.

Y la reemplaza por un conjunto de atribuciones positivas o negativas (igual que hace el proceso de racialización) que van a determinar sus posibilidades de futuro.

La IA reproduce patrones históricos de marginación, exclusión y criminalización al actuar como un mecanismo de racialización.

Hace que colectivos de personas con privilegios vuelven a ser privilegiados y que comunidades y pueblos de personas que sufren discriminación vuelven a ser discriminados.