Los gobiernos que quieran saber si sus algoritmos discriminan (indirectamente) pronto podrán utilizar una nueva herramienta desarrollada por la Oficina Central de Planificación (CPB). Si la autoridad de planificación se saliera con la suya, el gobierno central garantizaría que los llamados Escaneo de selectividad está disponible para todas las organizaciones gubernamentales.
Los gobiernos y los organismos públicos utilizan cada vez más algoritmos informáticos para tomar decisiones, escribe el CPB en un comunicado. Existe el riesgo de que estos algoritmos estén diseñados para causar discriminación.
Discriminación indirecta
Un ejemplo bien conocido es el algoritmo que utilizó un equipo antifraude de la Agencia Ejecutiva de Educación (DUO) para detectar posibles estafadores. Este programa discriminaba involuntariamente: tenía en cuenta, entre otras cosas, la edad, el tipo de formación (MBO, HBO, universidad) y la situación de vida de los estudiantes. Sin embargo, de los 376 estudiantes que terminaron ante los tribunales ante DUO, resultó que el 97 por ciento tenía antecedentes migratorios.
Este es un caso típico de “discriminación indirecta”. “En tal caso, un algoritmo parece ser neutral, pero perjudica a un determinado grupo”, dice Mark Kattenberg, líder del programa de ciencia de datos en CPB.
Según Kattenberg, distinguir entre personas no es necesariamente discriminación; después de todo, los algoritmos están diseñados para diferenciar. “La discriminación indirecta está permitida, pero hay que poder justificarla. Si eso no es posible, entonces hay discriminación”. Esto último también ocurrió con DUO: un total de diez mil estudiantes que el algoritmo había identificado como estafadores recibieron una compensación a finales del año pasado.
registro de algoritmo
Para evitar el uso de algoritmos discriminatorios, el gobierno exige que las organizaciones gubernamentales informen los algoritmos que utilizan en el registro de algoritmos. Ahora bien, esto sigue siendo voluntario. La ley europea sobre IA, que entrará en vigor el próximo agosto, también exige que se revisen los algoritmos para detectar discriminación y arbitrariedad.
Sin embargo, dicho control es difícil con la selección indirecta. Esto se debe a la ley de protección de datos, que exige que las organizaciones recopilen y almacenen la menor cantidad posible de datos sobre los ciudadanos. Si no sabe si las personas en su algoritmo tienen antecedentes inmigrantes, no puede juzgar si el algoritmo las discrimina.
La herramienta CPB tenía como objetivo proporcionar una solución a este dilema. El programa trabaja con los llamados microdatos de Statistics Netherlands (CBS): datos anonimizados a nivel individual, por ejemplo sobre ingresos, activos, deudas, edad y sexo.
Después de que el algoritmo determina qué personas del grupo tienen, por ejemplo, una mayor probabilidad de ser un estafador, el desarrollador comparte esta selección con CBS, explica Kattenberg. “Luego vuelves: esta es tu selección, tanto por ciento de ellos tienen antecedentes inmigrantes, este es el porcentaje que es mayor o menor que el promedio en todo el grupo. Así que solo ves los porcentajes, no los datos de las personas”.
Nuevos conocimientos
El CPB probó la herramienta utilizando un algoritmo de la UWV. Esto demuestra que el método funciona, escribe el CPB en su informe: “El análisis de selectividad muestra que es posible probar algoritmos de forma segura con datos que el desarrollador del algoritmo no puede utilizar por sí mismo”. Según la autoridad urbanística, la prueba “aporta nuevos conocimientos” y limita “el riesgo de uso indebido de los datos personales”.
Por lo tanto, el CPB recomienda encarecidamente al gobierno que proporcione a las organizaciones gubernamentales que trabajan con algoritmos una herramienta “como Selectivity Scan”. Según Kattenberg, CBS, como propietaria de los microdatos, podría ofrecer el servicio por sí misma, pero aún no se ha llegado a ningún acuerdo.
El propio CPB probablemente no ofrecerá, desarrollará ni mantendrá la herramienta, afirma Kattenberg: “Eso está fuera de nuestra área de responsabilidad”. Negocio principal como agencia de planificación”. ¿Por qué el CPB creó el programa en primer lugar? “Porque es una cuestión muy económica”. Los algoritmos se utilizan para hacer más eficientes los procesos de selección, pero también presentan desventajas. Aquí es donde la eficiencia choca con la justicia. Este es un tema económico realmente clásico; sería bueno que los economistas le prestaran más atención. Por eso lo hicimos”.
Leer también
La IA debería ser una máxima prioridad política
NUEVO: Regale este artículo
Como suscriptor de NRC, puedes contratar una suscripción todos los meses. 10 artículos Regálaselo a alguien sin una suscripción a NRC. El destinatario puede leer el artículo directamente, sin necesidad de pagar.
Principios periodísticos de la NRC
About The Author
