El Parlamento Europeo votó el pasado 11 de mayo a favor de prohibir el uso de sistemas de predicción criminal y de vigilancia policial predictiva. Mediante una amplia mayoría que contó con 84 votos a favor, 7 en contra y 12 abstenciones, y a falta de la validación por parte del pleno de la Eurocámara a mediados de junio, el texto final del Reglamento de Inteligencia Artificial (AI Act en inglés) que regulará los usos de los sistemas de IA en la UE, da un importante paso en la defensa de los derechos y libertades ciudadanas.
En consecuencia, no se podrán usar sistemas de IA para “ realizar evaluaciones de riesgo de personas físicas o grupos” con el fin de “evaluar el riesgo de una persona física de delinquir o reincidir”, así como “para predecir la ocurrencia o reincidencia de un hecho real o posible delito penal”. Tampoco se usarán sistemas de reconocimiento de emociones por parte de la policía, agentes de fronteras o en escuelas o lugares de trabajo. Por último, se veta el rastreo aleatorio de datos biométricos de redes sociales o cámaras de vigilancia para crear o ampliar bases de datos de reconocimiento facial.
Hace un año, RIS se sumaba a una declaración colectiva apoyada por decenas de organizaciones estatales e internacionales solicitando que los sistemas de IA predictivos y de creación de perfiles fueran considerados “práctica de IA prohibida” en el artículo 5 de la AIA, por atacar y discriminar de manera desproporcionada a determinados grupos sociales, así como por vulnerar el derecho a la libertad, a las garantías judiciales y la presunción de inocencia. Hablamos de unos sistemas que son constantemente criticados por una opacidad que acaba por dificultar la rendición de cuentas.
En línea con la demandas de las organizaciones de la sociedad civil en este ámbito, las y los eurodiputados también votaron por la creación de salvaguardias como la garantía de que haya mayor transparencia pública de los sistemas de IA, al exigir que se registren en una base de datos pública, otorgando a las personas el derecho a una explicación de una decisión de sistemas de IA y recursos efectivos para impugnar sus decisiones.
A pesar de la buena noticia que supone esta decisión, fruto del trabajo de las organizaciones por la defensa de los derechos y libertades, aún quedan importantes decisiones en el seno de esta ley como la necesidad de garantizar la transparencia de los sistemas de IA considerados de «alto riesgo», la prohibición de la identificación biométrica remota (como la vigilancia de reconocimiento facial) o que los sistemas predictivos de IA empleados en el ámbito de la migración se consideren de “alto riesgo”.
En esta línea, hace unos días, 60 organizaciones de la sociedad civil, entre las que también se encuentra RIS, publicaban una carta abierta instando a la futura Presidencia española del Consejo de la Unión Europea, que dará inicio el 1 de julio, a fortalecer la protección de los derechos fundamentales en el Reglamento de IA de la UE.
En la carta se destacan varias preocupaciones clave que deberían abordarse durante las negociaciones finales del Reglamento de IA. Algunas de estas incluyen: