Alfonso Esteban 
Cuando Roger Derikx solicitó la prestación por cuidado de hijos, pensó que recibiría dinero, no que lo perdería.
Derikx, de 46 años, tuvo que devolver al gobierno holandés 68.000 euros. El problema: nunca le dijeron por qué tenía que devolver las prestaciones, a las que tenía derecho. Las autoridades le embargaron el coche y le recortaron el 40% de su sueldo durante años.
“Tienes dos hijos pequeños y quieres dárselo todo”, dijo Derikx, “pero cada vez que te piden algo, tienes que decir ‘no’; es duro”.
Derikx fue uno de los 26.000 padres acusados de presentar solicitudes fraudulentas de prestaciones por la autoridad fiscal holandesa, que utilizó un algoritmo para detectar el fraude. El sistema era “ilegal y discriminatorio”, según una investigación oficial, que acabó llevando al primer ministro holandés, Mark Rutte, a dimitir a principios de este año.
Para Derikx, la investigación llegó demasiado tarde. Las dificultades económicas afectaron tanto a su matrimonio que acabó divorciándose. “Es un precio muy alto”, dijo Derikx.
La UE propone una normativa sobre IA
El escándalo de las prestaciones por hijos en Holanda no es único. En toda Europa han surgido denuncias de abusos.
Las autoridades danesas también utilizaron la inteligencia artificial para identificar a los niños de las “familias vulnerables” que se dirigían de forma desproporcionada a los padres de origen extranjero.
Y los Países Bajos, uno de los pioneros europeos en este campo, utilizaron algoritmos para crear perfiles de riesgo de niños menores de 12 años.
Los críticos llevan tiempo abogando contra estos usos de la IA. En enero, 61 organizaciones de defensa de los derechos enviaron una carta abierta a la UE en la que exigían “líneas rojas” para las aplicaciones de IA que amenazaran los derechos fundamentales.
Por su parte, los representantes de la industria argumentaron que regular la IA ahogaría la innovación.
Al tomar posesión de su cargo, la presidenta de la Comisión Europea, Ursula von der Leyen, hizo de la regulación de la inteligencia artificial una prioridad política, y la UE afirmó que buscaba un compromiso entre abordar los riesgos y proteger la innovación.
En abril de 2021, la Comisión de la UE anunció una propuesta muy esperada para regular la inteligencia artificial.
Ascenso de las empresas
Los datos recopilados para esta investigación muestran que los funcionarios de la comisión registraron 152 reuniones oficiales de lobby sobre la IA durante el período de tiempo comprendido entre diciembre de 2019 y agosto de 2021.
Las corporaciones y las asociaciones empresariales representaron más de 100, o dos tercios, de esas reuniones; menos de un tercio fue con la sociedad civil, los académicos y los sindicatos.
La mayoría de las organizaciones sólo pudieron reunirse con la UE una vez. Google encabezó la lista con nueve reuniones, la primera de las cuales se produjo apenas tres días después de la toma de posesión de la Comisión.
Junto a Google estaban Microsoft y asociaciones empresariales financiadas por las grandes tecnológicas, como DigitalEurope. En total, 10 de las organizaciones más activas tenían intereses empresariales.
La organización europea de consumidores Beuc y la organización de defensa de los derechos digitales europeos fueron las únicas organizaciones sin ánimo de lucro que encabezaron la lista.
“Se trata de democracia”, dijo Margarida Silva, del Corporate Observatory Europe, un grupo de presión con sede en Bruselas. “Y estamos dando más voz a los que tienen más dinero”.
Un portavoz de la UE declinó comentar por qué la industria representaba la mayoría de las reuniones.
Y estas cifras sólo cuentan una parte de la historia. Sólo los funcionarios de alto rango están obligados a revelar sus reuniones, pero gran parte de los grupos de presión se producen a niveles inferiores.
La DG Connect, el departamento de la comisión de la UE responsable de la redacción de la propuesta, declaró por correo electrónico que habían celebrado casi 1.000 reuniones sobre la política de IA con “partes interesadas externas.”
“Lavado ético
Los documentos de los grupos de presión presentados a la UE, y vistos por los corresponsales de novedades24, detallan cómo las empresas tecnológicas presionan para que haya más IA en el sector público.
Google animó a “los gobiernos a promover la adopción de la IA en el sector público para ayudar a crear un ecosistema próspero.”
Microsoft escribió que “el sector público podría beneficiarse enormemente de la adopción de soluciones de IA”. Y DigitalEurope, el lobby tecnológico que goza de estrechas relaciones con la Comisión Europea, dijo a la UE que “se centre en [the] sector público para la confianza”.
Las empresas tecnológicas también han hecho hincapié en su capacidad de autorregulación, según se desprende de las actas de las reuniones entre las empresas tecnológicas y la Comisión, obtenidas a través de una solicitud de libertad de información.
Facebook subrayó que gasta 3.700 millones de dólares en “integridad”. Google y Microsoft destacaron sus principios corporativos de IA. Y el grupo de presión tecnológico DigitalEurope exigió que la UE adoptara un “sistema de certificación voluntario basado en procesos”.práctica por la que las propias empresas evaluarían que sus productos de IA cumplen los requisitos de la UE antes de comercializarlos.
Los críticos han calificado esta práctica de “lavado de ética”: basarse en afirmaciones de comportamiento ético de las empresas para evitar la supervisión política.
De hecho, la Organización Europea de Consumidores dijo a la UE a finales de 2019 exactamente eso: “Evitar una narrativa puramente “ética”, que implica la autorregulación”.
“Las autoridades públicas a menudo no tienen la capacidad de desarrollar sus propios sistemas de IA”, dijo Ursula Pachl de Beuc, “lo que significa que volvemos a depender de estas empresas.”
IA en el sector público
A pesar de ello, la propuesta de la UE cedió a las principales demandas de la industria sobre la autorregulación y el fomento de la IA en el sector público.
Cuando la Comisión dio a conocer su proyecto de reglamento sobre IA, se prestó mucha atención a la propuesta de prohibir la puntuación social -clasificar a las personas por su fiabilidad- y algunos usos de las técnicas de reconocimiento facial.
Pero muchos de los usos de la IA en el sector público seguirían estando permitidos, a pesar de estar clasificados como de alto riesgo.
Esto incluía el uso de algoritmos en la policía, el sistema judicial y la aprobación de prestaciones sociales.
Los productores sólo tendrían que hacer una autoevaluación para asegurarse de que su sistema de “alto riesgo” cumple con las normas de transparencia, gestión de riesgos y supervisión humana.
Al presentar la propuesta, Margrethe Vestager, comisaria de la UE para la cartera digital, dijo que el “marco legal da forma a la confianza que debemos construir si queremos que la gente y las empresas adopten soluciones de IA.”
La comisaria se mostró preocupada por la adopción de la inteligencia artificial. Teme, por ejemplo, que los ayuntamientos no quieran asumir el riesgo de utilizar la IA para ayudar a los trabajadores sociales a encontrar soluciones para los ciudadanos vulnerables. “Creo que sería una pena”, dijo Vestager.
El proyecto de reglamento sobre IA iba acompañado del compromiso de invertir 1.000 millones de euros al año en IA y de convertir “el sector público en pionero de la IA”.
Lo sucedido con Derikx en el caso holandés de las ayudas a la infancia era un claro ejemplo de los riesgos que la UE pretendía evitar con el reglamento, según admitió un funcionario de la UE con un estrecho conocimiento del proceso político.
No obstante, “la cuestión no es que no debamos utilizar la IA”, añadió el funcionario. “Deberíamos utilizar una IA fiable y debidamente desarrollada. Es en interés de todos, incluida la industria”.
Pero sigue preocupando si el sistema de certificación propuesto y la autoevaluación a través de los propios proveedores de tecnología ofrecen suficiente protección a los ciudadanos de la UE.
Una respuesta publicada recientemente por los miembros del grupo de expertos de la UE sobre IA sacó una conclusión clara: “La propuesta no ofrece una protección adecuada de los derechos fundamentales, ni una protección suficiente para mantener el Estado de Derecho y la democracia, por lo que no garantiza una IA legalmente fiable”.
Injusticia invisible
El daño de los algoritmos es notoriamente difícil de demostrar. Derikx pasó años en los tribunales para demostrar su inocencia. Otros perdieron la custodia de sus hijos o se suicidaron.
“La mayoría de los casos pasarán desapercibidos”, afirma Sarah Chander, responsable de políticas de European Digital Rights. “La gente ni siquiera sabrá que las decisiones sobre su vida las está tomando un sistema automatizado”.
“El peso sigue recayendo en las personas afectadas”, añade Daniel Leufer, de Access Now, uno de los grupos de defensa de los derechos.
En los Países Bajos se prometió a las víctimas una indemnización de 30.000 euros, pero el gobierno holandés ha tenido problemas para cumplir su compromiso.
“Los padres todavía tienen que luchar por cada céntimo”, dijo Derikx, que se ha unido a un grupo de víctimas en su lucha por la compensación – y el reconocimiento. “Es un proceso feo y desagradable. Pero no lo dejaré pasar”.
