La incorporación de sistemas de inteligencia artificial (IA) en la administración de justicia representa una transformación fundamental del funcionamiento judicial, permitiendo desde procesamiento automatizado de documentos, búsqueda jurisprudencial avanzada, hasta sistemas predictivos que asisten en decisiones sobre libertad provisional, sentencias y medidas cautelares.
Sin embargo, esta tecnología genera conflictos ineludibles entre eficiencia e igualdad, innovación y garantías fundamentales. La particularidad de la justicia como función estatal es que sus decisiones afectan derechos fundamentales y libertad personal, razón por la cual los estándares éticos y legales deben ser particularmente exigentes.
1. SESGO ALGORÍTMICO: EL PRINCIPAL DESAFÍO
Concepto y Manifestaciones
El sesgo algorítmico ocurre cuando sistemas de IA o algoritmos utilizados para decisiones automatizadas discriminan de forma indirecta o involuntaria a ciertas personas o grupos, perpetuando y amplificando injusticias existentes en la sociedad.
Aunque los algoritmos son construidos con precisión matemática, son diseñados por seres humanos con perspectivas y prejuicios propios, que se infiltran fácilmente en estas herramientas poderosas.
Origen del Sesgo: Datos Históricos Contaminados
El origen fundamental del sesgo radica en los datos históricos utilizados para entrenar los algoritmos:
Perpetuación de Prejuicios Sistémicos:
Los datos históricos pueden contener prejuicios sistémicos, como sesgo racial, de género o étnico, que los algoritmos pueden perpetuar automáticamente. Por ejemplo:
- Si los datos históricos muestran que jueces han condenado desproporcionadamente a personas de determinada etnia, el algoritmo aprenderá esa pauta y la replicará
- Si los registros históricos reflejan estereotipos de género en valoración de testimonio (mujeres menos creíbles), el sistema perpetuará este sesgo
- Datos incompletos, desactualizados o cargados de prejuicios históricos resultan en algoritmos que replican y amplifican las inequidades existentes
Amplificación de Desigualdades:
A diferencia de un juez que podría autocoregirse mediante reflexión crítica, los algoritmos amplifican sesgos a escala, aplicando la misma discriminación a miles de casos simultáneamente.
Casos Paradigmáticos Internacionales
COMPAS (Estados Unidos):
- Sistema predictivo estadounidense utilizado para evaluar riesgo de reincidencia
- Resultado: Predice reincidencia futura de afroamericanos con precisión significativamente menor que para personas blancas
- Generó discriminación racial sistémica en decisiones de libertad provisional
VioGén (España):
- Sistema de evaluación de riesgo en violencia de género
- Problemas detectados: Generaba evaluaciones de riesgo insuficientes para víctimas, permitiendo que agresores permanecieran en libertad
- Impacto directo en protección de mujeres
Sesgos de Género en Justicia Chilena
Investigaciones sobre justicia con perspectiva de género en Chile revelan:múltiples categorías de sesgo incluso sin mediación algorítmica:
Estereotipos de Género y Mitos sobre Violación:
En casos de delitos sexuales, jueces, fiscales y defensores recurren a estereotipos sobre cómo “debería” haber actuado una víctima “real”, descartando testimonios si la víctima no se ajusta a narrativa estereotipada.
Descuento de Credibilidad:
Mujeres víctimas de violencia sexual frecuentemente experimentan descuento sistemático de credibilidad, asumiendo que sus relatos son menos confiables.
Valoración de Evidencia sin Perspectiva de Género:
Decisiones sobre qué evidencia se considera determinante se toman sin considerar impacto diferenciado por género.
Interseccionalidad:
Mujeres que experimentan múltiples categorías de discriminación (mapuche, privadas de libertad, pobres) enfrentan discriminación compuesta, como en caso Lorenza Cayuhán documentado en jurisprudencia chilena.
Interseccionalidad: La Amplificación Compuesta
Aspecto crítico: los sesgos no operan de forma aislada sino que se interseccionan, amplificando discriminación en personas con múltiples identidades marginalizadas.
Ejemplo: Una mujer mapuche, pobre y privada de libertad puede experimentar:
- Sesgo racial (mapuche)
- Sesgo de género (mujer)
- Sesgo por clase socioeconómica (pobreza)
- Sesgo por privación de libertad (preprisionera)
Sistemas de IA, sin auditoría específica en interseccionalidad, pueden replicar esta discriminación compuesta automáticamente.
2. TRANSPARENCIA Y EXPLICABILIDAD: OPACIDAD ALGORÍTMICA
El Problema de la “Caja Negra”
La opacidad algorítmica constituye el segundo desafío ético fundamental: la imposibilidad de entender cómo y por qué un algoritmo llega a una decisión específica.
Consecuencias de la Opacidad:
- Falta de responsabilidad: Nadie puede ser responsabilizado si no se comprende la decisión
- Imposibilidad de detectar sesgos: Los sesgos permanecen invisibles, sin forma de identificarse o corregirse
- Violación de debido proceso: Personas no pueden comprender por qué fueron discriminadas o condenadas
- Efecto “caja negra”: Especialmente grave en sistemas de aprendizaje profundo donde ni siquiera los desarrolladores pueden explicar por qué el sistema llegó a cierta conclusión
Requisitos Actuales de Transparencia
La Unión Europea y varios ordenamientos establecen hoy que:toda decisión basada en IA debe ser explicable, comprensible y auditada.
Transparencia Externa (para afectados):
- Información clara sobre qué datos se utilizaron
- Explicación comprensible de la lógica de decisión
- Acceso a registros de cómo el sistema procesó el caso específico
- Derecho a impugnación y apelación
Transparencia Interna (para reguladores y jueces):
- Acceso completo al código fuente
- Procedimientos de validación y control de calidad
- Documentación de cambios y actualizaciones en el algoritmo
- Datos sobre distribución de decisiones por grupos demográficos
Prohibición de Algoritmos de “Caja Negra”
Regulaciones emergentes establecen claramente: “Ningún sistema de IA que tome decisiones en materia judicial puede ser una “caja negra” cuya lógica no pueda ser entendida o revisada por jueces y abogados**”.
Esta es una prohibición absoluta, no meramente preferencia, porque:
- Viola derecho fundamental al debido proceso
- Viola derecho a defensa (no se puede rebatir lo incomprehensible)
- Viola principios de tutela efectiva
3. RESPONSABILIDAD CIVIL Y PENAL: LA BRECHA JURÍDICA
El Dilema de Causalidad Difusa
Cuando un sistema de IA causa daño (condenando a inocente, discriminando a grupo vulnerable), surge pregunta fundamental: ¿Quién es responsable?
Las opciones son:
- El juez que utilizó el algoritmo (¿fue negligente?)
- El programador que lo desarrolló (¿incluyó sesgos deliberadamente?)
- El proveedor de IA que lo comercializó (¿falsificó garantías?)
- La institución judicial que implementó sin auditar (¿incumplió deberes?)
- El propio algoritmo (¿es responsable un objeto?)
Deficiencias del Régimen Actual
Los ordenamientos jurídicos actuales no contemplan adecuadamente particularidades de sistemas autónomos basados en IA.
Problema de Causalidad:
El derecho de daños exige demostrar que “sin la conducta del causante, el daño no se habría producido“.
Pero con sistemas autónomos de IA:
- El algoritmo aprendió y adaptó su operación sin intervención humana directa
- Múltiples factores contribuyeron (datos, programación, supervisión humana, contexto)
- Es difícil o imposible aislar “la conducta” específica que causó daño
Problema de Culpa:
La responsabilidad civil tradicional requiere culpa o negligencia del responsable.
Con IA autónoma:
- El desenvolvimiento del sistema puede no ser predecible ni previsible
- Los efectos secundarios emergen posteriormente en formas no anticipadas
- ¿Cómo probar culpa cuando el desarrollador no podía prever cierta discriminación?
Ausencia de Responsabilidad del Juez
Particularidad crítica en justicia: ¿Puede un juez ser responsabilizado por confiar en un algoritmo que le fue representado como válido?
Argumento actual: El juez que siguió en buena fe la recomendación de herramienta certificada institucionalmente podría argumentar falta de culpa.
Sin embargo, regulaciones emergentes establecen: El juez es el único responsable de la motivación y fundamentación de sus resoluciones, incluso cuando utiliza IA.
Propuestas de Régimen de Responsabilidad Objetiva
La Unión Europea ha propuesto (aunque retiró en 2025) responsabilidad objetiva para sistemas de alto riesgo, especialmente en justicia:
Responsabilidad Objetiva:
- Las víctimas serían indemnizadas SIN necesidad de probar culpa
- Solo se requeriría demostrar nexo causal entre actividad del sistema y daño
- Responsabilidad recaería en quien obtiene mayor beneficio y control (fabricante, desarrollador o implementador institucional)
Ventajas:
- Carga probatoria más equitativa para víctimas (que no pueden acceder a complejidades técnicas)
- Incentiva a desarrolladores a garantizar sistemas confiables (responsabilidad preventiva)
Desventajas:
- Puede desincentivar innovación si el régimen es demasiado severo
- Requiere asegurabilidad de riesgo de IA
4. GARANTÍA DE MOTIVACIÓN JUDICIAL
Principio Constitucional de Motivación
La motivación de resoluciones judiciales es derecho fundamental constitucional en Chile y otros países, siendo expresión del debido proceso.
Exige que toda resolución judicial:
- Exprese coherencia en sus razonamientos
- Sea pertinente a los hechos probados
- Sea exhaustiva, abordando todos los argumentos de las partes
Riesgo de Deshumanización mediante Motivaciones Automatizadas
Si sistemas de IA generan motivaciones automatizadas de sentencias sin revisión crítica del juez, violarían derecho fundamental a motivación:
Problemas:
- La motivación sería ficción legal (aparentemente existente pero carente de razonamiento judicial genuino)
- Se perdería la función legitimante de la motivación (explicar al justiciable por qué fue condenado)
- Sentencias de “máquinas” violarían derecho a “juez natural”
- Se deshumanizaría completamente la justicia
Prohibición del Derecho Penal Predictivo Determinístico
Particularmente grave es uso de algoritmos para predicción de reincidencia que determine decisiones sobre libertad provisional:
Objeciones fundamentales:
- Sustituiría función judicial por predicción estadística
- Violaría presunción de inocencia (prejuzgando reincidencia futura)
- Afectaría el libre albedrío (condenando por quien “podría ser”, no por quien fue)
- Generaría profecía autocumplida (encarcelación injusta causa reincidencia posterior)
5. ESTRATEGIAS DE PREVENCIÓN Y MITIGACIÓN
5.1 Auditoría de Algoritmos
La auditoría algorítmica constituye la herramienta principal de control de sesgo.
Componentes de Auditoría:
1. Análisis de Datos:
- Examinación de datos históricos para identificar sesgos pre-existentes
- Verificación de representatividad de grupos (¿está representada toda la población?)
- Identificación de datos potencialmente contaminados o prejuiciosos
2. Análisis de Funcionamiento del Algoritmo:
- Lógica de decisión explícita
- Explicabilidad de cada resultado
- Identificación de errores o inconsistencias
3. Análisis de Resultados:
- Impacto diferenciado en diferentes grupos de personas
- Posibles efectos discriminatorios o injustificados
- Comparación entre resultados previstos (predichos) y reales (observados)
4. Evaluación de Impacto en Derechos Humanos (EIDH):
- Descripción detallada del sistema
- Identificación de riesgos para derechos fundamentales
- Medidas preventivas implementadas
- Justificación del nivel de riesgo asignado
- Mecanismos de control y seguimiento
5.2 Inclusión de Perspectiva de Género en Diseño
Las auditorías standard no identifican sesgos de género si no son explícitamente buscados.
Requisito Especial: Algoritmos destinados a decisiones judiciales, especialmente en materia de violencia, deben ser diseñados CON participación de especialistas en género desde el inicio.
Objetivo: Evitar que el sistema perpetúe estereotipos sobre cómo “debería” actuar víctima, qué evidencia es “creíble”, etc.
5.3 Supervisión Humana Obligatoria
Principio Fundamental: La IA nunca puede sustituir decisión judicial; debe ser solo herramienta de apoyo.
Requisitos:
- Juez debe revisar explícitamente toda recomendación algorítmica
- Juez debe fundamentar decisión propia, no simplemente adoptar output del algoritmo
- Cuando juez rechaza recomendación, debe explicar por qué
- Juez es responsable íntegro de sentencia, incluso si usó IA
5.4 Formación Especializada de Operadores Judiciales
Los jueces que usan algoritmos deben entender:
- Cómo funcionan sistemas de IA
- Cuáles son sus limitaciones y riesgos de sesgo
- Cómo detectar indicios de sesgo en resultados
- Cuándo es apropiado no confiar en recomendación del algoritmo
Esto requiere programas de formación continua que la mayoría de países aún no tienen.
5.5 Transparencia Pública y Control Democrático
Principio de Transparencia Radical:
Los ciudadanos, abogados y expertos deben poder:
- Conocer qué sistemas de IA se utilizan en tribunales
- Acceder a documentación sobre cómo funcionan
- Auditar su funcionamiento independientemente
- Participar en decisiones sobre su implementación
6. MARCO REGULATORIO EMERGENTE
Proyecto de Marco en Ecuador (Referencia Regional)
Aunque aún no adoptado universalmente, propuestas recientes establecen modelo regulatorio integral:
Principios Rectores:
- Explicabilidad y Transparencia: Toda decisión basada en IA debe ser explicable, comprensible y auditada
- Supervisión Humana Obligatoria: IA no sustituye función de jueces; es herramienta de apoyo
- Prohibición de “Cajas Negras”: Ningún sistema opaco puede tomar decisiones judiciales
- Responsabilidad Judicial Íntegra: Juez es único responsable de motivación y fundamentación
- Auditoría Independiente: Evaluaciones periódicas por auditors externos
- Formación Especializada: Capacitación obligatoria para operadores judiciales
- Acceso Público: Ciudadanía puede auditar y cuestionar sistemas
Ley de Inteligencia Artificial de Chile: Vacíos Identificados
Según análisis anterior, el proyecto de ley chileno no aprobó en Cámara disposiciones clave sobre:
- Responsabilidad civil específica en casos de daños por IA
- Procedimiento de auditoría detallado
- Sanciones específicas por desarrolladores que generan sesgos sistémicos
- Aplicación explícita a decisiones judiciales
7. CASOS DE ESTUDIO: CÓMO LOS SESGOS DAÑAN
Caso 1: Justicia Penal Predictiva (COMPAS)
En Estados Unidos, el sistema COMPAS asignó puntuaciones de reincidencia significativamente más altas a personas afroamericanas con historiales criminales idénticos a blancos.
Resultado: Personas negras encarceladas preventivamente más tiempo por riesgos que sistemas predecían sin base.
Impacto Fundamental: Violación de garantías de igualdad, presunción de inocencia y debido proceso.
Caso 2: Violencia de Género (VioGén, España)
Sistema de evaluación de riesgo en casos de violencia de género subestimaba sistemáticamente el peligro para mujeres, permitiendo que agresores permanecieran libres.
Resultado: Femicidios de víctimas cuyo riesgo fue clasificado como bajo por el algoritmo.
Impacto Fundamental: Derecho a vida y seguridad personal de mujeres fue violado.
Caso 3: Sesgos de Género en Justicia Chilena
En caso de violación denunciado ante CIDH, tribunal chileno:
- Descartó testimonio de víctima por no conformarse a estereotipo de “violación forzada”
- Utilizó historia sexual de víctima para descalificar credibilidad
- No aplicó perspectiva de género en valoración de evidencia
Impacto Fundamental: Impunidad del agresor, revictimización de mujer.
8. PROTECCIÓN DE DERECHOS FUNDAMENTALES
Derechos Amenazados
La implementación de IA en justicia sin salvaguardias amenaza:
- Derecho a juicio justo: Sustitución de juicio humano
- Derecho a defensa: Imposibilidad de combatir decisiones de “cajas negras”
- Derecho a igualdad: Perpetuación de sesgos históricos
- Derecho a motivación: Motivaciones aparentes pero carentes de razonamiento genuino
- Derecho a libertad: Encarcelación preventiva basada en predicciones sin fundamento
Equilibrio Necesario
El desafío fundamental es: ¿Cómo aprovechar eficiencia de IA sin sacrificar garantías fundamentales?
La respuesta no es rechazar la tecnología, sino implementarla bajo principios de equidad y respeto por derechos humanos, con:
- Transparencia radical
- Auditoría independiente permanente
- Supervisión humana efectiva
- Responsabilidad clara
- Educación de operadores judiciales
- Participación democrática en decisiones sobre su uso
Los desafíos éticos y legales de la IA en tribunales son fundamentales y urgentes. Sin embargo, no son insuperables si se implementa regulación adecuada.
La tecnología puede ser aliada de la justicia solo bajo principios de equidad, reconociendo que eficiencia nunca puede prevalecer sobre garantías fundamentales de igualdad, libertad y dignidad de personas.
Chile, como país pionero en regulación de IA, tiene oportunidad de establecer estándares regionales que equilibren innovación con protección de derechos, evitando reproducir o amplificar las injusticias históricas que han caracterizado sistemas judiciales latinoamericanos.