Cuando el uso de tecnologías te hacen más vulnerable

Foto: Especial

Columna invitada Pedro Lichtle

Juan N sufrió robo de identidad y se percató un año después del suceso, cuando al solicitar un crédito personal para atención médica de un familiar, el banco se lo negó argumentando que debía un crédito que él nunca solicitó. Juan inició el reclamo del robo de identidad y malbarató su negocio para conseguir el dinero.

Si bien el problema de fondo no es el diseño del algoritmo utilizado por el banco, sí lo es el resultado. Con base en su situación de deudor, sin tomar en cuenta el historial crediticio y la demanda por robo de identidad, el banco determinó improcedente la solicitud. La falta de recursos de Juan y la información pública lo clasificó y castigó, condenándolo a empeorar su situación económica, en tanto resuelve su reclamo.

El uso de algoritmos tiene un alto grado de responsabilidad social. Si bien diversos proyectos de inteligencia artificial plantean soluciones para problemas cotidianos, se han encontrado sesgos en algunos proyectos, ocasionando nuevos problemas aún más complejos por resolver. Por lo que se requiere un alto grado de atención y especialización al trabajar con herramientas tecnológicas, así como mayor conciencia para su uso y regulación.

Virginia Eubanks, profesora de la Universidad Estatal de Nueva York, ha encontrado complicaciones en diversos proyectos de política pública que usan herramientas tecnológicas, particularmente para las personas más pobres, por no incluir criterios de equidad y justicia.

Por ejemplo, estudió una política pública para atender casos de negligencia o abuso de menores en el Condado de Allegheny en Pittsburgh, Pensilvania, que generaba resultados paradójicos. Cuando existe alguna denuncia por posible abuso o negligencia, se activa un sistema que determina el riesgo de cada caso y, con base en el resultado, se procede a realizar inspecciones en el hogar denunciado.

Tras una denuncia inicial, el sistema busca de forma automatizada información de las familias en todas las bases de datos de otras oficinas del condado, relacionadas con uso de drogas y abuso de alcohol, servicios mentales, problemas legales, servicios educativos, entre otros, para determinar la probabilidad de riesgo.

Tomando en cuenta el riesgo, la oficina encargada hace inspecciones en el hogar, procede a las acciones judiciales correspondientes contra los padres y la separación del menor para su protección. Sin embargo, el diseño del algoritmo conlleva un problema mayor, éste perfila, clasifica y castiga a la población de menor ingreso, por sus características y no por el riesgo que representan.

Lo anterior debido a que las bases de datos públicas suelen contener más información de las personas vulnerables, ya que son las que con mayor frecuencia reciben ayuda del gobierno.

Adicionalmente, se ha observado que los trabajadores sociales suelen no criticar los resultados del modelo por las implicaciones de su toma de decisiones. Si son declarados culpables, los padres pierden la custodia, enfrentan procesos penales y quedan marcas en sus expedientes, lo que genera incluso menos oportunidades para salir de su vulnerabilidad.

La innovación y el uso de herramientas tecnológicas es primordial para resolver problemas públicos. Esta nueva tendencia nos ofrece un abanico de opciones de automatización que nos permite ser más eficientes, incluso en el uso de recursos para políticas sociales. Sin embargo, su uso debe ser revisado y ajustado bajo diferentes ópticas para obtener los resultados deseados y no caer en una espiral inversa en la cual la tecnología perfila, clasifica y castiga a los más vulnerables al automatizar la desigualdad existente.

El uso de las herramientas tecnológicas, la automatización de análisis de datos, la inteligencia artificial, entre otras innovaciones de política pública deben tomar en cuenta el principio de equidad y justicia. Implementar políticas de innovación requiere conocimiento especializado y multidisciplinario, para no caer en problemas más complejos y más costosos, como le pasó a Juan. La urgencia es que cada vez más decisiones privadas y públicas incluyen el uso de algoritmos y sus implicaciones son poco analizadas.

*El autor es consultor. @pedrolichtle

CRÉDITO: 
Pedro Lichtle