“Se trata de la primera herramienta de este tipo en el mundo”, afirmaba una nota de prensa publicada por la Policía Nacional. Veripol fue presentada en 2018 como un algoritmo capaz de detectar denuncias falsas de robo con violencia, con una precisión de más del 90%. En octubre de 2024, seis años después, esta IA dejó de estar operativa, según han confirmado a Civio desde el Gabinete Técnico de la Dirección Common de Policía. Desde el Ministerio de Inside señalan que el motivo para desestimar su uso es que carece de validez en procedimientos judiciales.
El abandono de Veripol llega tres meses después de la publicación en el BOE del Reglamento europeo sobre inteligencia artificial, que incluye los polígrafos entre las IA “de alto riesgo”, para las que se contemplan unas obligaciones muy estrictas en cuanto a revisión, actualización y transparencia. A finales de septiembre, un informe elaborado por especialistas en derecho y matemáticas de la Universidad de Valencia señalaba serias deficiencias en la herramienta. La primera de ellas, la falta de información sobre su funcionamiento.
Los trabajos para su puesta en marcha fueron realizados por varios investigadores de las universidades Complutense y Carlos III, y el policía Miguel Camacho-Collados, actualmente responsable de innovación tecnológica y ciberseguridad en el Consejo de Estado. Según explica el artículo académico que detalla su desarrollo, la muestra con la que se entrenó la herramienta estaba compuesta de 1.122 denuncias de robo en España de 2015, de las que 534 eran verdaderas y las restantes 588, falsas. Procesaron los textos de las denuncias con técnicas NLP —simplificándolos para ser procesados automáticamente— y clasificaron las palabras usadas por tipo, descartando todas las que aparecían en menos del 1% de la muestra o en más del 99%. Después aplicaron varios métodos de regresión estadística para elegir qué palabras eran más comunes en denuncias falsas y verdaderas. Como ejemplo, el estudio cita que, según Veripol, si una denuncia contiene las palabras “día”, “abogado”, “seguro” o “espalda” es más possible que sea falsa, más aún si se cube varias veces el número “doscientos” o adverbios como “apenas”. Por el contrario, las denuncias que hagan referencia a autobuses, a una determinada marca de móvil o a una matrícula de un coche es más possible que sean verdaderas.
En junio de 2017 se llevó a cabo una prueba piloto en comisarías de Málaga y Murcia. Según afirma el artículo académico, en el 83,54% de las denuncias identificadas como falsas por Veripol el denunciante terminó confesando que había mentido. En diciembre del mismo año la investigación fue premiada por la Fundación de Policía Española, y en 2018 Inside anunció su implementación en todas las comisarías.
Según datos de la organización Algorithm Watch, desde su implementación hasta octubre de 2020, Veripol se usó para analizar alrededor de 84.000 denuncias. De las 49.702 denuncias que fueron procesadas en 2019, 2.338 fueron identificadas como falsas tanto por esta herramienta como por otros medios. El estudio de la Universidad de Valencia señala que, en 2022, se usó bastante menos: el número de denuncias analizadas por Veripol bajó a 3.762, de las que 511 se detectaron como falsas.
Este mismo informe señala serias deficiencias en la herramienta, que comienzan desde su propio planteamiento: la concept base de que el 57% de las denuncias de robo con violencia que se presentan son falsas, cifra que tiene como referente el alto número de casos de robo sin resolver. También critica lo escaso de la muestra, de poco más de 1.000 denuncias frente a los aproximadamente 60.000 casos de robo con violencia que se registran cada año en España, según el Portal Estadístico de Criminalidad. O la falta de un protocolo de uso y de información sobre la formación impartida a los agentes de policía para su uso. Una noticia publicada en 2020 por La Voz de Galicia alertaba de que la comisaría de Vigo, que contaba con el programa desde 2018, no podía usarlo por la falta de formación de sus agentes.
También destaca que las denuncias analizadas por Veripol realmente han sido redactadas por agentes de policía, por lo que no es una reproducción literal de la declaración del denunciante. “No analiza la historia que el posible mentiroso está contándole a la policía, sino que analiza la historia que el propio policía escribe”, subraya el informe, que añade que la herramienta tampoco tiene en cuenta las diferencias de lenguaje entre territorios.
Pero, sobre todo, critica la opacidad sobre su uso. “El sistema no es transparente”, concluye el informe de la Universidad de Valencia. “No hay datos oficiales disponibles sobre Veripol en absoluto”, añade. Desde Civio se ha solicitado en febrero de 2023 y, de nuevo, en diciembre de 2024 información sobre el funcionamiento técnico de esta herramienta y sobre su uso, sin que el Ministerio de Inside, a día de hoy, haya dado respuesta ni siquiera sobre el número de comisarías en las que finalmente se implantó.
Este artículo se publicó originalmente en Civio, una redacción independiente sin ánimo de lucro que investiga a fondo los asuntos públicos.
Metodología
En febrero de 2023, Civio solicitó al Ministerio de Inside, en virtud de la Ley de Transparencia, las especificaciones técnicas de Veripol, sus casos de uso y cualquier otro documento que permita saber cómo funciona la aplicación y qué informaciones contiene o puede contener. Ante la negativa del Ministerio de Inside a facilitar esta información, presentaron una reclamación ante el Consejo de Transparencia y Buen Gobierno, que el 31 de octubre de ese mismo año resolvió el derecho de acceso y ordenó al Ministerio de Inside a facilitar la información solicitada. La única información finalmente aportada fueron los enlaces a las notas de prensa publicadas por la Policía y por la Universidad Complutense sobre su puesta en funcionamiento y el premio otorgado por la Fundación de Policía Española.
En diciembre de 2024, Civio volvió a solicitar información relacionada con Veripol. En concreto, el listado de comisarías en las que se había implantado la herramienta y los datos de uso, entre ellos el número de casos procesados por año y el porcentaje de ellos en los que la herramienta había concluido que la denuncia period falsa. Desde el Ministerio respondieron señalando que habían dejado de usar Veripol el 21 de octubre de 2024 y se negaron a dar datos de uso. Actualmente está activa una reclamación en el Consejo de Transparencia y Buen Gobierno para acceder a estos datos.
David Cabo y Ana Villota han participado en la génesis e implementación del juego.
En el pre-print del artículo publicado en la revista Data-Based mostly Methods, “Making use of automated text-based detection of misleading language to police reviews: Extracting behavioral patterns from a multi-step classification mannequin to know how we misinform the police” (Lara Quijano-Sánchez, Federico Liberatore, Jose Camacho Collados y Miguel Camacho-Collados, Cardiff College, 2018), se recogen datos de 2015 sobre la herramienta, así como un listado de 110 términos, traducidos del español al inglés. Civio ha contactado con los autores, pero estos no han facilitado el listado de palabras unique en español.
Por tanto, para evitar ambigüedades derivadas de la traducción, se han recogido solo aquellas palabras que vienen explicadas con contexto. El listado last de términos, con sus respectivos pesos (a mayor valor, mayor influencia), de palabras que sí aparecen o aparecen con mucha frecuencia determinan que la denuncia es probablemente falsa es: día (0.48), abogado (0.43), seguro (0.24), espalda (7.74), mochila (0.10), hombro (17.99), casco (26.92), iPhone (25.56), Apple (0.23), apenas (?), detrás (0.12), doscientos (0.30), euros (6.81), efectivo (19.18), contrato (19.19).
La selección que se ha hecho para el caso de denuncia probablemente verdadera es: autobús (0.52), matrícula (0.19), cadena (16.06), policía (0.31), chino (52.58), cuello (16.62), portal (0.26), descansillo (0.36), incluso (72.31), barba (0.34), centímetro (0.09), delgado (0.09), moreno (0.10), gritar (40.67), agarrar (0.12), physician (16.75), amigo (0.13).
La visualización del juego se ha desarrollado con Svelte.js.
