Categorias

¡Por qué la inteligencia artificial puede ser racista y machista y cómo puede evitarse!

El investigador peruano Omar Flórez se prepara para un futuro “muy, muy cercano” en el que las calles estarán llenas de cámaras de vigilancia capaces de reconocer nuestros rostros y recabar información sobre nosotros a medida que caminemos por la ciudad.

Explica que lo harán sin nuestro permiso, ya que son espacios públicos y la mayoría no solemos taparnos la cara al salir de casa.

Nuestro rostro se convertirá en nuestra contraseña y, cuando entremos a una tienda, esta nos reconocerá e investigará datos como si somos clientes nuevos o asiduos, o en qué lugares hemos estado antes de cruzar la puerta. De toda la información que recabe, dependerá el trato que nos dé esa empresa.

Flórez quiere evitar que aspectos como nuestro género o color de piel formen parte de los criterios que esas compañías evalúen a la hora de decidir si merecemos un descuento u otra atención especial. Algo que puede suceder sin que las mismas firmas se den cuenta.

La inteligencia artificial no es perfecta: incluso si no es programado para hacerlo, el software puede aprender por su cuenta a discriminar.

Flórez trabaja en un algoritmo que permita reconocer rostros pero ocultando datos sensibles como la raza y el género.

Este ingeniero nacido en Arequipa hace 34 años, se doctoró en Ciencias de la Computación por la Universidad Estatal de Utah (Estados Unidos) y actualmente trabaja como investigador en el banco Capital One.

Es uno de los pocos latinoamericanos que estudia los aspectos éticos del machine learning aprendizaje automático, un proceso que define como “la capacidad de predecir el futuro con datos del pasado utilizando computadoras”.

Una tecnología basada en algoritmos que se usa para desarrollar el auto sin conductor o para detectar enfermedades como el cáncer de piel, entre otros.

Flórez está trabajando en un algoritmo que permita a las computadoras reconocer rostros pero sin poder descifrar el sexo o el origen étnico de la persona. Su sueño es que, cuando ese futuro llegue, las empresas incluyan su algoritmo en sus sistemas informáticos para evitar tomar decisiones racistas o machistas sin ni siquiera saberlo.

Siempre decimos que no podemos ser objetivos justamente porque somos humanos. Se ha intentado confiar en las máquinas para que ellas lo sean, pero parece que tampoco pueden…

Porque son programadas por un ser humano. De hecho, nos hemos dado cuenta hace poco que el algoritmo mismo es una opinión. Yo puedo resolver un problema con algoritmos de distintas maneras y cada una de ellas, de alguna forma, incorpora mi propia visión del mundo. De hecho, elegir cuál es la forma correcta de juzgar un algoritmo ya es una observación, una opinión sobre el algoritmo mismo.

Digamos que yo quiero predecir la probabilidad de que alguien vaya a cometer un crimen. Para eso recolecto fotos de las personas que han cometido crímenes, dónde viven, de qué raza son, su edad, etc. Después, utilizo esa información para maximizar la exactitud del algoritmo y que pueda predecir quién puede delinquir después o incluso dónde puede suceder el siguiente crimen. Esta predicción puede resultar en que la policía se enfoque más en zonas donde de repente hay más afrodescendientes porque hay una mayor cantidad de delitos en esa área o que empiece a detener latinos porque es muy probable que no tengan documentos en regla.

Entonces, para alguien que sí tenga residencia legal o sea afrodescendiente y viva en esa zona pero no cometa crímenes, será el doble de difícil desprenderse de ese estigma del algoritmo. Porque para el algoritmo tú eres parte de una familia o una distribución, así que es mucho más difícil para ti, estadísticamente, salir de esa familia o distribución. De alguna forma, estás influenciado negativamente por la realidad que te rodea. Básicamente, hasta ahora, hemos estado codificando los estereotipos que nosotros tenemos como seres humanos.

Ese elemento subjetivo está en los criterios que elegiste a la hora de programar el algoritmo.

Exactamente. Existe una cadena de procesos para hacer un algoritmo de aprendizaje automático: recolectar datos, elegir qué características son importantes, escoger el algoritmo mismo…Luego hacer una prueba para ver cómo funciona y reducir los errores y finalmente, lo sacamos al público para que lo use. Nos hemos dado cuenta de que los prejuicios están en cada uno de esos procesos.

Una investigación de ProPública destapó en 2016 que el sistema judicial de varios estados de Estados Unidos utilizaba software para determinar qué procesados tenían más probabilidades de volver a delinquir. ProPública descubrió que los algoritmos favorecían a las personas blancas y penalizaban a las negras, pese a que el formulario con el que se recababa los datos no incluía preguntas sobre el tono de piel… De cierta forma, la máquina lo adivinó y lo utilizó como un criterio para valorar pese a que no haya sido diseñada para hacerlo, ¿no?

Lo que sucede es que hay datos que ya codifican la raza y tú ni te das cuenta. Por ejemplo, en Estados Unidos tenemos el código postal. Existen zonas donde solamente o mayormente vive gente afroamericana. Por ejemplo, en el sur de California, mayormente vive gente latina. Entonces, si tú usas el código postal como característica para alimentar un algoritmo de aprendizaje automático, también estás codificando el grupo étnico sin darte cuenta.

¿Hay alguna forma de evitar esto?

Al parecer, al final del día la responsabilidad recae en el ser humano que programa el algoritmo y en cuán ético pueda ser. O sea, si yo sé que mi algoritmo va a funcionar con un 10% más de error y dejo de utilizar algo que pueda ser sensible para caracterizar al individuo, entonces simplemente lo saco y me hago responsable de las consecuencias, tal vez, económicas que pueda tener mi empresa. Así que, ciertamente hay una barrera ética entre decidir qué va y qué no va en el algoritmo y muchas veces recae en el programador.

 


Leave a Comment

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>