Gabriela Arriagada y la ética en la ciencia de datos

Los usos de la inteligencia artificial en la vida cotidiana siguen avanzando y creciendo cada vez más rápido.

Un ejemplo de funciones en las que ha adquirido cada vez más protagonismo son la toma de decisiones y solución de problemas que se dejan a cargo de los algoritmos. Pero ¿qué son? Se pueden definir como un conjunto de reglas y operaciones que se encargan de procesar datos para la resolución de diferentes problemáticas que se les encarguen.

En el marco de la Semana de las Mujeres y Niñas en la Ciencia, queremos compartir con ustedes la entrevista que nos concedió Gabriela Arriagada Bruneau, candidata a Doctor en la Universidad de Leeds, Inglaterra. Trabaja en Ética de las ciencias de datos e Inteligencia Artificial en el Instituto de Análisis de Datos (LIDA) y el Centro Interdisciplinario de Éticas Aplicadas (IDEA), es directora de Éticas Aplicadas en el think tank PENSAR EN RED, donde se trabajan ideas y acciones para el avance de la sociedad digital y es, además, embajadora de la World Data Ethical Fundation (WEDF).

Gabriela abarca en sus investigaciones distintos temas sobre los sesgos algorítmicos, cómo se presenta este fenómeno, lo que puede llevar a ello y las consecuencias que trae en un mundo donde la inteligencia artificial avanza cada vez más rápido.

- ¿Qué es un sesgo algorítmico?

Los sesgos algorítmicos deben entenderse como errores sistemáticos en un sistema computacional que pueden crear resultados injustos, como por ejemplo, privilegiar a ciertos grupos sobre otros o estigmatizar a minorías sociales. Estas pueden ser minorías étnicas como lo son las minorías raciales, sexuales, de género o personas neurodivergentes.

La característica más interesante de los sesgos algorítmicos es que, a diferencia de otros errores estadísticos o computacionales que existen en la inteligencia artificial, aprendizaje profundo o el machine learning, es que la idea de sesgo algorítmico se ha tratado a nivel académico o a nivel de políticas públicas.

En este sentido hay una importante asociación de normatividad moral. Porque estamos cuestionando lo que es bueno y malo y eso se establece como un criterio evaluativo, es decir, toda esta idea de los sesgos algorítmicos nos lleva a cuestionarnos qué tan apropiado puede ser un algoritmo, qué valores queremos proteger o qué queremos para la aplicación de un sistema tecnológico de esta envergadura en nuestra sociedad.

Yo tengo mis propias perspectivas respecto a esto. Creo que, si bien ha sido importante el tema de los sesgos algorítmicos para comenzar un debate profundo, esto no solo ha ayudado a generar posturas críticas sobre cómo desarrollamos la tecnología, sino que también nos invita a mirar la estructura de inequidad sistémica que tenemos en las sociedades.

- ¿En qué momento del desarrollo de un algoritmo se genera un sesgo?

Esta es una pregunta interesante, pero la respuesta es bastante desalentadora: en todo momento.

Los sesgos los encontramos en la ciencia de datos de una manera multifactorial e incluyen sesgos cognitivos propios de los humanos en el loop. Esto también se llama como human involucred, que en inglés se refiere a los humanos que están involucrados en diferentes partes del desarrollo y la implementación algorítmica.

También hay sesgos técnicos que son propios del quehacer estadístico, pues hay sesgos sociales que de alguna manera se introducen al algoritmo mediante bases de datos que se utilizan para el entrenamiento en lo que se conoce como sesgos históricos, y es por esto por lo que los sesgos pueden entrar al sistema debido a expectativas o discriminaciones culturales, políticas y morales preexistentes en la sociedad.

Los algoritmos no tienen la capacidad de ejercer moralidad o ser agentes morales como nosotros los humanos. Podríamos decir que son pacientes morales y de alguna manera funcionan como entidades que pueden tener en su interior contenido moral y lo mueven en diferentes esferas o transmiten en diferentes contextos, pero ellos no pueden ser injustos.

- ¿Qué incidencia tienen los prejuicios históricos, como el racismo, el sexismo o la xenofobia en la generación de un sesgo en algoritmos?

Bueno, lo mencioné anteriormente. Los prejuicios que están instalados en la sociedad pueden traspasarse a un algoritmo de muchas maneras.

Partamos considerando ejemplos concretos donde se evidencian casos de prejuicios históricos que abundan en la sociedad que se han traspasado a algoritmos, como el caso de Google, donde marcaba imágenes de individuos afroamericanos como gorilas. O cuando en realidad uno buscaba chica o mujer latina y se asociaba ese contenido a contenido explícito para adultos, a pornografía básicamente.

Todo esto sucede porque las bases de datos que se utilizaron para entrenar al algoritmo reflejan prejuicios sociales y sesgos que tenemos como sociedad. Muchos de estos ejemplos han buscado abrir el entrenamiento algorítmico al público. Dijeron “bueno, tratemos de hacerlos más diversos, más representativos, hagamos que el público de alguna manera entrene a estos algoritmos”. Sin embargo, en la búsqueda de diversificar esta perspectiva, todo terminó en grandes problemas con las interacciones con connotaciones homofóbicas, racistas, misóginas y nacionalistas.

Por ende, los prejuicios históricos están de alguna manera influenciando todo lo que tenga que ver con el desarrollo de la tecnología. Una vez que decidimos integrar a los algoritmos en la toma de decisiones y en áreas que son inherentemente reflejo de valores sociales, los exponemos no solo a que repliquen esos sesgos, sino que también los exacerben.

Por suerte, la tecnología podría ayudarnos a instaurar narrativas críticas que tengan que ver con una perspectiva feminista que, por ejemplo, es una que sigo yo, y que tiene que ver con la evaluación de todas estas discriminaciones inherentes a nuestras interacciones sociales.

- ¿Cuál es el avance de los algoritmos a la hora de reemplazar tareas que históricamente han sido realizadas por personas?

Sin duda, yo creo que los avances computacionales nos permiten establecer asociaciones que excedan las posibilidades humanas.

Los avances algorítmicos tienen ventajas epistemológicas, porque pueden procesar a mayor rapidez y en mayor volumen y pueden “aprender” en poco tiempo usando mucha información disponible. Y digo “aprender” porque el aprendizaje de un algoritmo es completamente diferente al aprendizaje de un ser humano.

Aunque esta idea deba ser tomada con cautela, ha llevado a que se desarrollen muchas soluciones algorítmicas que reemplazan y mejoran tareas monótonas que impliquen clasificaciones que antes hacíamos como seres humanos.

Los algoritmos han traspasado la barrera del laboratorio, por así decirlo, y se han establecido como la base de nuestras sociedades tecnificadas. Lo que antes se anunciaba por correo postal, como los telegramas, ahora todo eso lo hace un algoritmo. Los correos electrónicos funcionan a partir de clasificaciones algorítmicas y es algo que se da por sentado y que utilizamos en la vida diaria.

Por suerte, esto abre nuevos debates y nuevas formas de pensar que también tienen que ver con políticas públicas y con el bienestar de la sociedad. Quizás, como última nota en esto, cabe preguntarse si la integración de estas soluciones digitalizadas de automatización serán a largo plazo una opción que realmente sea sustentable con el medio ambiente. ¿Qué es lo que deberíamos automatizar? ¿Hasta qué punto? ¿Vale la pena invertir en ese tipo de automatización a largo plazo?

Bueno, uno de los casos ya más conocidos tiene que ver con las sentencias judiciales en Wisconsin, Estados Unidos. Allí se aplicó legalmente por primera vez algo que se llamaba el algoritmo de compass y que evaluaba el riesgo de los condenados a reincidir, es decir, que vuelvan a cometer crímenes.

Lamentablemente, aunque hubo un extenso debate sobre si el algoritmo era defectuoso o no, los resultados eran claros: los individuos negros eran incorrectamente considerados como riesgosos dos veces más por sobre los individuos blancos utilizando los mismos algoritmos.

La compañía que diseñó este algoritmo acusaba que técnicamente no había problema, ya que había paridad y la medición no contemplaba sesgo en la medición. Trataban de probar que no podía ser un algoritmo racista, pero el problema era otro.

Supongamos que el algoritmo no estaba siendo injusto técnicamente hablando. Si vamos al mundo real, los datos utilizados para predecir, que eran los disponibles para cada individuo, eran injustos. El tipo de arrestos a individuos negros por faltas menores era superior al de individuos blancos, además de vivir en zonas que tenían más alto patrullaje policial. Los cuestionarios que se utilizaron para evaluar a los individuos consideraban el barrio en el que vivían, el estatus socioeconómico, su historial familiar.

Ahí cabe cuestionarse: ¿son honestos los datos que podemos usar para darnos una predicción apropiada, considerando que ya hay un sesgo en cómo viven y son integrados a la sociedad estos individuos? La sociedad es la que se refleja en el algoritmo.

Otro ejemplo que es bastante cotidiano se da en el uso de redes sociales, donde tenemos filtros burbujas. El exceso de personalización da paso a manipulaciones políticas y tergiversación de las percepciones sociales y en tiempos de elecciones, por ejemplo, lo que estamos viviendo ahora en Chile más el contexto que vivimos con una alta abstención, hacen que cualquier gota de desinformación, malinterpretación o tergiversación puede tener implicancias sociales duraderas.

Las consecuencias más graves que pueda traer un algoritmo en realidad van a depender de cómo queramos implementarlo. El tema es que toda aplicación puede ser igualmente grave en distintos grados, es decir, si la aplicamos al tema político, eso puede quizá definir nuestra realidad por cuatro años, dos años, tres años más.

- Ahora, aterrizando un poco en tu área de trabajo, ¿qué rol puede cumplir la ética de la ciencia de datos en el avance del uso de algoritmos, considerando todo lo que hablamos anteriormente?

La ética de la ciencia de datos es un campo relativamente emergente diría yo. En gran parte se ha pronunciado la ética de la inteligencia artificial como aquella que se hace cargo de los cuestionamientos éticos relacionados con las tecnologías basadas en datos.

Sin embargo, me parece importante que la ética de datos se entienda desde su propia perspectiva y su propio contexto. La inteligencia artificial se alimenta de datos, por lo tanto, debe y tiene que haber un estudio previo de aquello que hace que la IA exista como tal, y esto es la ética de datos. Creo que el rol que cumple finalmente es establecer criterios, principios y directrices éticas que respondan a los imperativos éticos que surgen del desarrollo e implementación de estas tecnologías y con esto me refiero a resolver conflictos de justicia, responsabilidad, transparencia, privacidad y confianza.

Hay muchos ámbitos en los cuales se están aplicando tecnologías basadas en datos como salud, política, industria bancaria, redes sociales y educación, que es lo que hemos conversado. Entonces, los imperativos éticos van a variar no solo en su jerarquía, es decir, cuál importa más en cierta situación, sino también en su enfoque.

Si hablamos del fenómeno de las fake news, los deep fake, la desinformación, nos vamos a ver forzados a considerar temas centrales de la ética normativa tradicional, como la injusticia epistémica, que es cuando uno no puede, por ejemplo, hacerse cargo de su propia experiencia. Esto también es lo que se llama en filosofía como la injusticia hermenéutica, la cual no es entendida ni por el individuo ni por otro, debido a que hay una falta de conceptos que expliquen y representen esa experiencia. Entonces yo, cuando veo que hay problemas de transparencia y desinformación, tengo un deber moral de generar puentes de conocimiento que permitan a los ciudadanos poder verbalizar y racionalizar sus experiencias con la tecnología para que puedan evaluarlas y criticarlas con ´propiedad y así puedan proteger sus intereses y sus derechos.

Si deseas conocer más sobre el campo de trabajo de Gabriela y sus implicaciones en la sociedad, te invitamos a revisar el sitio web de PENSAR EN RED y su respectivo Instagram.