Decálogo para una humanización de la aplicación de la IA en la justicia

A.- Debate sobre la IA

En los últimos tiempos se habla con preocupación de los diferentes peligros derivados de la implantación de soluciones de IA en el sistema de justicia. Necesitamos abrir un debate serio en la sociedad:

• No se puede cerrar la puerta a toda aplicación de la IA a la justicia, porque no podemos prescindir de los grandes beneficios para la calidad y la eficacia de la justicia, mejorando sus tiempos de respuesta.

• Pero tampoco podemos asumirla de forma indiscriminada y acrítica (1), porque puede presentar elementos de deshumanización de la justicia, afectando negativamente a derechos de las personas y garantías del proceso.

• Debemos analizar el balance riesgos/beneficios de la concreta solución tecnológica, porque las aplicaciones de robotización e inteligencia artificial afectan de forma diferente a estos derechos y garantías.

• Cuando se formulan medidas de implantación tecnológica, es necesario introducir enfoque basado en el riesgo (2): valoración integral de riesgos/beneficios de cada solución IA, que afecte tanto al diseño como a la implantación, diferenciando distintos niveles de riesgo (3).

B.- Decálogo

1. Respeto derechos fundamentales y garantías procesales

• Garantías del proceso. La complejidad y la opacidad de los sistemas IA pueden interferir con el derecho a un juicio justo, incluida la igualdad de armas; una parte sujeta a una decisión algorítmica pueda examinar y cuestionar adecuadamente su razonamiento (4).

• Independencia judicial. Si bien la IA puede reducir la arbitrariedad y la acción discriminatoria, las decisiones judiciales apoyadas en la IA pueden afectar negativamente la independencia normativa y decisoria del Poder Judicial. Los actores judiciales deben tener un nivel suficiente de comprensión sobre la IA que utilizan para garantizar responsabilidad por las decisiones tomadas con su asistencia.

• Respeto del régimen de protección de datos personales (5).

2. Garantía del acceso a la justicia; con una especial consideración de dos cuestiones:

• La brecha digital.

• Y las personas en condición de vulnerabilidad (6).

3. Prohibición de discriminación. Prevenir específicamente la creación o refuerzo de la discriminación entre individuos o grupos de individuos.

4. Transparencia. La solución IA ha de ser transparente en sus decisiones: que se pueda inferir o deducir una “explicación comprensible” sobre los criterios que fundamentan la obtención del resultado, ligado al adecuado respeto al derecho a la tutela judicial efectiva y al deber de motivación de las resoluciones judiciales.

• No cabe admitir los sistemas de caja negra, porque no pueden ofrecer una explicación suficiente de cómo la aplicación de la solución IA llega a un determinado resultado.

5. Exactitud y calidad. Utilizar fuentes certificadas y datos intangibles con modelos diseñados de forma multidisciplinaria,

6. Seguridad. Establecer un entorno tecnológico seguro.

7. Control por parte del usuario. Intervención de persona humana

• El profesional de la justicia ha de poder revisar en todo momento las decisiones judiciales y datos que se utilizaron para producir un resultado; y ha de ser posible un apartamiento de dicho resultado a la vista de las especificidades del caso concreto.

• El justiciable debe ser informado en un lenguaje claro y comprensible sobre la naturaleza vinculante o no de las soluciones propuestas por las herramientas IA, las diversas opciones posibles, así como su derecho a asistencia legal y a un tribunal.

• El justiciable debería también estar claramente informado sobre cualquier posibilidad de tratamiento de un caso por IA, tanto antes como durante un proceso judicial; y ha de tener la posibilidad de oponerse.

• La posibilidad de decisión automatizada ha de ser prevista de forma expresa por una norma legal, que regule de forma suficiente sus presupuestos y condiciones; o bien ha de fundamentarse en un consentimiento explícito y plenamente informado de la persona afectada.

8. Especial consideración del proceso penal, porque los anteriores riesgos son potencialmente más graves (7).

9. Adecuado establecimiento de sistemas de seguimiento y control, con los que se garantice el respeto de los anteriores riesgos.

• Un pilotaje efectivo por parte de la misma entidad durante todo el ciclo de vida de la herramienta debe permitir un seguimiento continuo de recursos específicos consumidos y facilitar la retroalimentación (8).

10. Carácter multidisciplinario.

• Intervención de juristas y de otras disciplinas (ingenieros, economistas, sociólogos…).

• Participación de los distintos profesionales de la justicia (Jueces, Fiscales, LAJs, Abogados, Procuradores…).

Incluso podría resultar útil establecer un cuestionario de evaluación de cada solución, siendo referente el Anexo IV sobre “Checklist de integración de los principios de la Carta en vuestros tratamientos” de la Carta Ética Europea sobre utilización de la inteligencia artificial en los sistemas judiciales y su entorno (CEPEJ 2018).

Referencias (1) El Parlamento Europeo "resalta las consecuencias negativas potencialmente graves, particularmente en el ámbito de las actividades policiales y judiciales, que pueden derivarse de una confianza excesiva en la naturaleza aparentemente objetiva y científica de las herramientas de IA" apartado 15 de la Resolución de 6 de octubre de 2021, sobre la inteligencia artificial en el Derecho penal y su utilización por las autoridades policiales y judiciales en asuntos penales [2020/2016(INI)] (2) Propuesta de Reglamento del Parlamento Europeo y del Consejo de 21 de abril de 2021, por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) (3) Carta Ética Europea sobre utilización de la inteligencia artificial en los sistemas judiciales y su entorno, aprobada por el plenario de CEPEJ en diciembre 2018 (4) David LESLIE, Cristopher BURR, Mhairi AITKEN, Josh COWLS, Mike KATELL and Morgan BRIGGS, “Artificial intelligence, human rights, democracy, and the rule of law: a primer”. The Council of Europe and The Alan Turing Institute, 2021 (5) “Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial. Una introducción”, de la Agencia Española de Protección de Datos, febrero 2020 (6) Reglas de Brasilia sobre Acceso a la Justicia de las Personas en condición de Vulnerabilidad (7) Resolución del Parlamento Europeo de 6 de octubre de 2021 antes citada (8) “Líneas Directrices para conducir el cambio hacia la ciberjusticia”, CEPEJ, 7 de diciembre de 2016