Uno de los primeros consejeros del Departamento de Derechos Sociales de la Generalitat recibió hace años a una familia a quien no habían concedido una subvención para familias con hijos con discapacidad. La familia sobrepasaba la renta acquainted límite para obtener el subsidio y el sistema rechazó automáticamente la petición. “Si superamos la renta es poque nos deslomamos a trabajar para ahorrar un dinero que proteja a nuestro hijo cuando nosotros ya no estemos para ocuparnos de él”, reprocharon los padres. La conversación acabó con una rectificación del Departamento, que abonó finalmente la ayuda tras conocer la situación acquainted.
La historia aún se recuerda en los pasillos de la Autoritat Catalana de Protección de Datos (APDCat) y su trasfondo ha impulsado la entidad a humanizar los algoritmos y la inteligencia synthetic. El organismo ha presentado este martes en el Parlament de Catalunya una metodología pionera en Europa para “evitar la discriminación y los sesgos” en aquellos casos en los que la inteligencia synthetic tenga un papel elementary a la hora de tomar decisiones. “Tenemos que supervisar los sistemas de inteligencia artificial”, reclama Meritxell Borràs, presidenta de la APDCat.
Ante el auge imparable de la IA, el Consejo Europeo aprobó el año pasado la entrada en vigor de un reglamento que obliga a realizar una evaluación de impacto en los derechos fundamentales en aquellos productos y servicios que utilizan la inteligencia synthetic. Sin embargo, entiende la APDCat, “no hay directrices en Europa de cómo hacerlo”. La propuesta catalana propone un método concreto para cuantificar este impacto a través de un modelo de matrices.
Según la teoría del riesgo, el impacto de los sistemas consta de dos dimensiones clave, la probabilidad y la gravedad, y su combinación proporciona un índice de riesgo de la IA. En función de este índice los proveedores tecnológicos deben intervenir para mitigar este riesgo hasta que sea “residual”. “Que los humanos tomen decisiones automáticas en función de la IA plantea diversas preocupaciones sobre la lógica de la propia inteligencia synthetic; y es importante conocer los efectos secundarios de esta tecnología”, insiste la Autoridad.
Los límites a la IA pretenden anticipar el posible daño a los usuarios, que ya ha obligado a varias administraciones a mover ficha. Un tribunal neerlandés consideró en 2020 que el Gobierno del país utilizaba un sistema de análisis que “estigmatizaba y discriminaba” la ciudadanía para rastrear posibles fraudes al Estado; y en Nueva York (Estados Unidos) se reguló en 2023 el uso de algoritmos en los procesos de selección para evitar “prejuicios raciales o sexistas”. También en los EE UU, un análisis del MIT Know-how Evaluation concluyó en 2021 que el sistema Compas, muy extendido en el país y que informa a los jueces del riesgo de reincidencia de los presos, discrimina a determinadas minorías, especialmente a los negros.
Los expertos también alertan de aquellos procesos donde la IA llega de fuera. “Los modelos entrenados fuera de Europa que llegan a nuestro continente no tienen las mejores garantías para desarrollarse aquí porque no están pensandos en un contexto europeo”, defiende Alessandro Mantelero, profesor de la Universidad Politécnica de Turín (Italia), uno de los desarrolladores de la metodología catalana.
