Capacitismo tecnológico | Algoritmo con reservas

Un sistema de reconocimiento facial automatizado distorsionado de la tienda en línea Amazon identifica a las personas negras con menor eficacia que a las blancas. Una empresa financiera estadounidense que utiliza IA para tomar decisiones sobre préstamos de repente empieza a conceder menos préstamos a mujeres. Es bien sabido que la IA no está exenta de discriminación. Su algoritmo se basa en datos unilaterales y presenta resultados sesgados.

Esto también es evidente en los Modelos de Lenguaje de Gran Tamaño (LLM), que pueden reconocer y generar texto y se basan en grandes cantidades de datos. Aplicaciones como Chat-GPT se basan en ellos. Mientras tanto, cada vez más tecnologías de asistencia también trabajan con los LLM. Su objetivo es ampliar las opciones de comunicación y mejorar la accesibilidad.

El software "Be my eyes", por ejemplo, utiliza GPT-4 para transformar imágenes o texto en archivos de audio. Si estas aplicaciones no se examinan para detectar sesgos, pueden tener el efecto contrario, según descubrió el año pasado un equipo de investigadores de la Universidad de Zúrich. El programa genera entonces resultados que "actúan de forma menos solidaria o incluso discriminatoria hacia las personas con discapacidad y socavan el propósito de las tecnologías de asistencia al marginarlas y ponerlas en peligro aún más", advierten Rong Li, Ashwini Kamaraj, Jing Ma y Sarah Ebling.

"El sesgo es un desafío constante que evoluciona tan rápidamente como la tecnología misma".

Rong Li, Ashwini Kamaraj, Jing Ma y Sarah Ebling Universidad de Zurich

Los conjuntos de datos particularmente grandes no cambian esto per se. Por lo tanto, los investigadores abogan por examinar continuamente los modelos lingüísticos individuales en busca de sesgos, prestando atención a su interacción con otras formas de discriminación : su interseccionalidad. «El sesgo es un desafío continuo que evoluciona tan rápidamente como la propia tecnología», concluyen.

Ute Kalender, del Consejo Alemán de Ética, investiga perspectivas interseccionales sobre la digitalización y la IA. Según su trabajo, los supuestos intereses de las personas con discapacidad se utilizan habitualmente para imponer socialmente la IA. Sin embargo, en su práctica de desarrollo, la tecnología sigue estando «imprescindible del ideal androcéntrico de una persona autónoma, sin discapacidad e hiperblanca», escribe en un ensayo.

«En general, las arquitecturas digitales basadas en IA suelen ser más difíciles de acceder para las personas con discapacidad que para quienes se supone que son normales», explica Kalender a «nd». Esta «accesibilidad friccional a las arquitecturas digitales» puede tener un impacto en varios niveles. En el ámbito de la brecha digital-social, según la cual las personas con discapacidad se encuentran entre los grupos más pobres del mundo. Los dispositivos que ejecutan aplicaciones de IA, así como los sistemas de IA utilizados en hogares inteligentes o automóviles con IA, son caros y, por lo tanto, a menudo inasequibles.

Además, los programas y las interfaces de usuario a menudo no son accesibles. Esto se evidencia, por ejemplo, en la falta de texto alternativo para describir imágenes para personas con discapacidad visual, el uso de fuentes claras sobre fondos claros, oraciones complejas, opciones de navegación limitadas en sitios web y velocidades problemáticas. Además, la representación, especialmente en redes sociales, suele basarse en nociones estereotipadas de normalidad. Por ejemplo, en 2019, el portal de videos TikTok obligó a sus moderadores a filtrar explícitamente las imágenes de personas con discapacidad.

Un ejemplo dramático de capacitismo en la tecnología y el software inteligente son los coches autónomos. La científica Jutta Treviranus investigó cómo reaccionarían los vehículos automatizados ante una persona que daba marcha atrás en silla de ruedas: la atropellarían. Treviranus entrenó el programa proporcionándole más datos sobre personas que daban marcha atrás en silla de ruedas. Pero cuantos más datos recibía el software, mayor era la probabilidad de que el coche atropellara a la persona. La explicación: la IA elimina los valores atípicos cuando se basa en modelos estadísticos. Para evitar este tipo de discriminación peligrosa, no solo se necesitan conjuntos de datos diferentes o más grandes, sino también bases y modelos estadísticos más diversos.

Por lo tanto, Kalender aboga por un enfoque holístico. Para que los LLM sean verdaderamente inclusivos en el futuro, deberían estar diseñados por personas de grupos más diversos y capacitados con una variedad de ejemplos de aprendizaje. «Sin embargo, esto seguiría consolidando la creencia de que la IA podría representar a la sociedad de forma neutral o hacer justicia a su diversidad», señala.