Search

Ni tan inteligente, ni tan artificial: Introducci贸n a la IA. Parte II

Autor
Catherine Munoz
Catherine Munoz
Categor铆a
Art铆culo
Fecha de Publicaci贸n
2022/07/08
7 more properties
Por Catherine Mu帽oz, Abogada, LL.M. int. Universidad de Heidelberg, consultora especializada en materias relacionadas con innovaci贸n, 茅tica, regulaci贸n de tecnolog铆as y DDHH.

驴PARA QUI脡N ES LA IA?

Todos hemos escuchado sobre los grandes avances y beneficios de la IA, pero estos avances y beneficios 驴son para todos? Nunca se han preguntado 驴para qui茅n es la inteligencia artificial? 驴a qui茅n realmente beneficia? Quiz谩s es el momento de hacerlo.
Podr铆amos dejar esta pregunta abierta, dependiendo de tu grado de optimismo, pero lo que s铆 podemos afirmar es para quien no es.
Usualmente no es para grupos vulnerables, excluidos, marginados, y adem谩s en muchos casos probablemente no lo sea para la gran mayor铆a de nosotros cuando es aplicada para resolver grandes problemas sociales o cuando es ocupado como una herramienta de control o poder, lo cual se evidencia claramente en dos tipos de aplicaciones: los sistemas de reconocimiento facial (RF) y los sistemas de toma de decisiones automatizadas.

1.- LOS SISTEMAS DE RECONOCIMIENTO FACIAL (RF) Y EL REGRESO DE UNA OSCURA Y RECHAZADA PSEUDOCIENCIA.

Durante la pandemia se ha incorporado diversos tipos de tecnolog铆a a los procesos educativos, generalizando la educaci贸n a distancia. Se cre贸 un sistema de IA para reconocer las expresiones faciales de ni帽os descrito como 鈥渦n sistema con precisi贸n a nivel humano鈥 seg煤n una nota de CNN (1). La nota se帽ala que el sistema genera informes sobre fortalezas, debilidades, niveles de motivaci贸n y prediciendo calificaciones, siendo muy 煤til para los profesores durante la pandemia ya que pueden monitorear de forma remota las emociones de sus alumnos.
Por su parte, la empresa israel铆 Faception (2) ofrece sus servicios de reconocimiento facial para detectar tipos de personalidades, tales como, personas introvertidas, extrovertidos, ped贸filos, genios y delincuentes, entre muchas otras caracter铆sticas, en base a an谩lisis fotogr谩ficos. Esta empresa fue contratada por el gobierno de USA hace algunos a帽os para detectar terroristas. Este tipo de tecnolog铆a, es de gran inter茅s para muchas industrias, en particular, las empresas de retail est谩n modernizando sus c谩maras 鈥渄e seguridad鈥 para que puedan detectar las expresiones de sus compradores incorporando sistemas de IA que leen emociones con el objeto de generar estrategias de marketing m谩s efectivas y personalizadas (3).
Servicios ofrecidos por la empresa Faception
En un estudio muy conocido del a帽o 2016, dos investigadores Wu y Zhang, entrenaron un sistema de IA de machine learning (a trav茅s de 聽aprendizaje supervisado) con fotograf铆as de hombres chinos delincuentes proporcionadas por el Estado y fotograf铆as de hombres chinos no delincuentes tomadas de buscadores de internet, la idea era que el sistema detectara hombres chinos delincuentes de otro que no lo eran frente a nuevos datos, caras en este caso, todo para prevenir en definitiva delitos a lo 鈥Minority Report鈥, la pel铆cula, bueno ese mismo rollo.
Su experimento comenz贸 utilizando IA m谩s b谩sicas y luego con el uso de una red neuronal convolucional m谩s avanzada, AlexNet, logrando seg煤n indicaron una precisi贸n de clasificaci贸n de casi el 90% de hombres delincuentes al procesar im谩genes nuevas(4). El resultado era algo como esto:
Lo cierto es que todo lo anterior es una narrativa totalmente exagerada de marketing, existe una brecha gigante entre las expectativas de estas tecnolog铆as y lo que realmente pueden ofrecer.
La realidad es que los sistemas de RF no pueden hacer nada de lo prometido en los casos indicados. Ninguno puede reconocer emociones, extrovertidos, ped贸filos ni terroristas, tampoco ha resultado ser un medio efectivo para reducir la delincuencia.
Todo lo anterior es un muy sofisticado disfraz de ciencia que confunde a las personas bajo un velo de veracidad, en definitiva muchos sistemas de este tipo son una moderna forma de reproducir antigua pseudociencia, como las constelaciones familiares, los cursos de eneagrama (si Freud y Jung), y la aberrante frenolog铆a craneal del siglo XIX, pero peligrosa porque es de aquellas basada en el racismo.
Y si pudi茅ramos resumir en una frase qu茅 hace el reconocimiento facial, en los casos descritos podr铆amos decir que detecta estereotipos basados en frenolog铆a y fisonom铆a antiguas pseudociencias.
Volvimos a esta tonter铆a 隆pero con computadores!
Los estereotipos corresponden a una sobrerrepresentaci贸n, un modo de clasificar y definir a un grupo de personas por parte de otro dominante, y que por s铆 mismo constituyen un acto discriminatorio, usado como fundamento para dominar a grupos vulnerables o hist贸ricamente oprimidos, lo usaron espa帽oles en la constituci贸n de la llamada Am茅rica, los norteamericanos para justificar la permanencia de esclavos, lo usamos actualmente al compararnos con pueblos originarios 驴No lo creen?, hagan una simple prueba, busquen internet im谩genes de 芦hombres chilenos禄, el resultado que arroja muestra a hombres blancos, sonriendo y posando (no reflejando al com煤n de los hombres chilenos para nada por lo dem谩s) sin ning煤n contexto en particular. No aparecen alusiones a la cultura, tradici贸n e historia y los botones de b煤squeda adicional sugerida son triviales (j贸venes, famosos, normales, actores). Si luego buscan, 芦hombres mapuches禄, la mayor parte de las im谩genes representan a personas enojadas o confrontaciones caracterizadas por sus vestimentas y dentro de un contexto cultural exacerbado alejado de la modernidad. Lo anterior es un reflejo de c贸mo socialmente se crean estereotipos definido por un grupo dominante.
Si volvemos al experimento de Wu y Zhang y de las fotos se帽aladas ustedes probablemente llegar铆an a las mismas conclusiones sobre cu谩les son delincuentes y cu谩les no y probablemente est茅n s煤per equivocados y est茅n clasificando a las personas en base a estereotipos, esto es, las personas supuestamente delincuentes est谩n enojadas mientras que las personas 鈥渘o delincuentes鈥 sonr铆en, usan traje, entre otras cualidades estereotipadas. Tambi茅n es razonable suponer que las fotograf铆as policiales tomadas en el contexto amenazante y humillante del arresto se ven diferentes de otras tomadas en otro contexto.
Por su parte, las emociones est谩n compuestas simult谩neamente por componentes fisiol贸gicos, mentales, psicol贸gicos, culturales y fenomenol贸gicos individualmente subjetivos por lo que no pueden ser reconocidas por sistemas de IA y nuevamente lo 煤nico que pueden reconocer son estereotipos que son creados en contextos sociales particulares, por lo que no son en ning煤n caso predictores de emociones reales.
Estos estereotipos fueron desarrollados por la frenolog铆a y fisiognom铆a, pseudociencias desacreditadas a principios del siglo XX que afirmaban ser capaces de inferir rasgos de car谩cter o personalidades a partir de caracter铆sticas f铆sicas exteriores como la forma y tama帽o del cr谩neo o caracter铆sticas de un rostro, con la finalidad de clasificar personas superiores e inferiores.
Evidentemente, estudios posteriores evidenciaron que no existe tal cosa como una 鈥渃ara criminal鈥 lo cual parece haber sido olvidado e incre铆blemente ha sido reformulado bajo esta tecnolog铆a.

Y SI NO SIRVE PARA NADA, 驴POR QU脡 ES TAN POPULAR EL USO DE SISTEMAS DE RF?

El racismo es una realidad y desde siglos se ha manifestado de diversas formas, una de esta es los sistemas de reconocimiento facial. Adem谩s, todas las historias de terror pueden ser aun mas espeluznantes y junto con el uso descrito, el uso m谩s b谩sico y com煤n de los sistemas de RF es el de 鈥渞econocer la identidad de las personas鈥, convirti茅ndose en un generalizado mecanismo de vigilancia masiva, usado por muchos pa铆ses (y privados) con objetivos tan viles como oprimir y controlar migrantes, detractores pol铆ticos, inhibiendo derechos como la libertad de expresi贸n, el derecho de reuni贸n y protesta ya que usado en las calles, las personas pierden sin consentimiento, su anonimato y su libertad para protestar.
Ahora, el supuesto anterior ocurre si reconocen bien a una persona, no obstante, estos sistemas poseen una importante tasa de error, lo cual afecta desproporcionadamente a comunidades marginadas.
As铆, por ejemplo, muchos de los sistemas de RF para detectar la identidad de personas que son usados alegando fines loables como la prevenci贸n de todo tipo de delitos, no funcionan, posee altas tasas de error, ya sea porque est谩n basado en una pseudociencia o por que se basan en datos de entrenamiento carentes de representatividad, datos incompletos, muchos de ellos reflejo de detenciones ilegales y racismo policial, sesgos que pasan a ser parte de estos sistemas, los cuales frente a nuevos datos (caras) estigmatizan, reproducen y amplifican prejuicios sobre grupos hist贸ricamente oprimidos y marginados.

2.- LA AUTOMATIZACI脫N DE LA SEGREGACI脫N Y DESIGUALDAD: LOS SISTEMAS DE TOMA DE DECISIONES AUTOMATIZADAS

Si hablamos de estigmatizar, reproducir y amplifican prejuicios sobre grupos hist贸ricamente oprimidos y marginados, los sistemas de toma de decisiones automatizadas tienen mucho que decir.
Los sistemas de toma de decisiones automatizadas han existido desde hace d茅cadas (el piloto autom谩tico de los aviones), pero hoy en d铆a con el desarrollo del machine learning estos desarrollos han tomado caminos mas ambiciosos, como pretender resolver problemas sociales complejos y usados por muchos gobiernos (y privados) para m煤ltiples prop贸sitos como determinar qui茅n recibe ciertos beneficios, administrar educaci贸n y salud p煤blica, determinar qui茅n tiene riesgo de reincidir en un delito o qui茅n tiene riesgo de violencia.
En muchos de estos casos, ha quedado demostrado que este tipo de sistemas aplicado a complejidades sociales, como asignaci贸n de calificaciones estudiantiles, predicci贸n de delitos y predicci贸n de abusos infantiles, entre otros, implica un riesgo concreto de reproducci贸n, amplificaci贸n y perpetuaci贸n de injusticias sociales sobre grupos hist贸ricamente excluidos y vulnerables, tales como, pueblos originarios, comunidades LGBTIQ+, minor铆as religiosas y personas de escasos recursos.
Lo preocupante es que a pesar de la evidencia documentada sobre los impactos negativos de este tipo de tecnolog铆a aplicada como servicios p煤blicos, estos han aumentado de forma progresiva, siendo globalmente implementados en diversas 谩reas bajo pol铆ticas de modernizaci贸n estatal, eficiencia p煤blica y austeridad.
Parte de dicha evidencia documentada:
Luego de m煤ltiples demandas colectivas interpuestas, en el a帽o 2016 la Agencia de Seguro de Desempleo de Michigan, Estados Unidos de Am茅rica, luego de una revisi贸n, confirm贸 que hab铆a acusado err贸neamente a m谩s de 20.000 personas de fraude en la obtenci贸n de beneficios de desempleo, lo cual correspond铆a a mas del 93% de los casos detectados . Con posterioridad en el a帽o 2019 el n煤mero de casos confirmados aument贸 a 40.000. (5)
La detecci贸n de fraudes en el pago de beneficios de desempleo era establecida por un sistema algor铆tmico de toma de decisiones automatizadas, determin谩ndose que las personas detectadas por el algoritmo deb铆an pagar al Estado 5 veces la cantidad solicitada. Las personas err贸neamente afectadas eran notificadas tard铆amente por lo que no ten铆an opci贸n de impugnar la medida, vi茅ndose obligadas a pagar multas elevadas, lo que llev贸 a que muchas familias fueran llevadas a la quiebra, otras se desintegraron y al menos dos suicidios estuvieron involucrados. (6)
A principios del a帽o 2021, en un hecho sin precedentes el gobierno de los Pa铆ses Bajos anunci贸 su dimisi贸n en bloque luego de una investigaci贸n realizada por el parlamento que concluy贸 que tanto el Jefe de Estado como sus principales ministros eran culpables de menoscabo institucional y discriminaci贸n contra un grupo vulnerable de la poblaci贸n holandesa, luego de detectar que un sistema de inteligencia artificial (IA) de toma de decisiones automatizada hab铆a err贸neamente detectado fraude en la solicitud de subsidios sociales correspondientes a mantenci贸n infantil en al menos 26.000 familias, la gran mayor铆a de origen marroqu铆es y tunecinos. Al igual que en el caso anterior, estas falsas acusaciones desencadenaron ruina financiera, depresi贸n, intentos de suicidios y graves problemas de salud en las personas afectadas. (7)
Existen muchos casos recientes, conocidos a prop贸sito de la pandemia del COVID-19 como el sistema que asign贸 notas de ex谩menes para entrar a la universidad en el Reino Unido, favoreciendo a estudiantes de mayores ingresos y perjudicando a estudiantes de escasos recursos y los sistemas usados de salud para asignaci贸n de gravedad de pacientes, priorizaci贸n de vacunas, entre otros, que favorec铆an a personas de mayores ingresos, ya que este tipo de sistemas en materia de salud ha asociado enfermedad con mayores gastos m茅dicos, lo cual no tiene una causalidad real, ya que mayores gastos m茅dicos no significan personas m谩s enfermas, sino personas que tienen mucho dinero para gastar en salud.

Referencias

(1)聽M. C. Business CNN, 芦This AI reads children鈥檚 emotions as they learn禄, CNN. https://www.cnn.com/2021/02/16/tech/emotion-recognition-ai-education-spc-intl-hnk/index.html (accedido 19 de enero de 2022).
(2) 芦FACEPTION | Facial Personality Analytics禄, faception. https://www.faception.com (accedido 19 de enero de 2022).
(3)聽J. Rose, 芦Brands Want To Predict Your Behavior By Mining Your Face From YouTube Videos禄, Vice, 24 de mayo de 2016. https://www.vice.com/en/article/jpggab/facial-recognition-brands-mattersight (accedido 19 de enero de 2022).
(4)聽 X. Wu y X. Zhang, Automated Inference on Criminality using Face Images. 2016.
(5) Crawford, Kate, and Jason Schultz. "AI systems as state actors."聽Columbia Law Review 聽119.7 (2019): 1941-1972.
ANTES DE TERMINAR EL POST, CAMBIAR EL FILTRO DE LA GALER脥A DE ABAJO PARA QUE OFREZCA ART脥CULOS SOBRE EL MISMO TEMA y borrar este bloque, obvio
Gallery