Instructivo de gobernanza de datos

Instructivo de gobernanza de datos (1)

Juan G. Corvalán, Carina M. Papini, Mariela Palacios (2),

Julián Palumbo (3), Osvaldo Pitrau (4) y Verónica Quartesan (5)

I. Introducción

PretorIA combina funcionalidades basadas en sistemas expertos y

técnicas de machine learning (aprendizaje automático) de caja blanca (6),

 (1)  Las cuestiones que se presentan y muestran no necesariamente reflejan el fun-

cionamiento de Pretoria en la actualidad, ya que la Corte Constitucional de Colombia
ha realizado ajustes, modificado y adaptado el sistema a otras necesidades.
 (2)  Abogada (UBA). Colaboradora en IALAB-UBA. Coordinadora del equipo de
sistematización de sentencias y curación y etiquetado de base de datos en Proyecto
de Incubación Pretoria en Corte Constitucional de Colombia. Coordinadora de Di-
plomatura en Smart City, organizada por Escuela de Política, Gobierno y Relaciones
Internacionales (Universidad Austral).
 (3)  Abogado y licenciado en Administración. Secretario de Cámara en el Minis-
terio Público Fiscal de la Ciudad de Buenos Aires. Actualmente, es el titular del área
Innovación e Inteligencia Artificial. Además, fue titular del Departamento de Siste-
matización y Análisis de la Fiscalía General Adjunta Contencioso Administrativo y
Tributario. Docente en el Programa de Actualización en Inteligencia Artificial y De-
recho (UBA).
 (4)  Abogado (UBA, diploma de honor). Posee diversos estudios de posgrado, entre
los que se puede destacar el curso “Bussines case method” (Universidad de Harvard).
Ha ocupado varios puestos en el sector público, actualmente es gerente de Asuntos
Legales del ENARGAS. También ha participado en la redacción de numerosos pro-
yectos de ley y publicado artículos en revistas jurídicas especializadas. Posee una vas-
ta experiencia como docente. Profesor ordinario por concurso de la materia “Familia
y Sucesiones” en la Cátedra de Abel Fleitas Ortiz de Rozas(UBA y UNLP). Profesor
titular de Derecho de Sucesiones (Universidad Austral) y profesor de la carrera de Es-
pecialización de posgrado en Derecho de Familia (UBA).
 (5)  Estudios cursados: licenciada en Informática (UP). Experiencia laboral: analis-
ta funcional Sr., aplicación Kiwi, como analista funcional y analista tester - Prometea,
IA (2016-actualidad), Ministerio Público Fiscal. Ámbito privado: líder de proyectos,
auditor senior de sistemas informáticos. Auditor de ISO 9000, Gestión y control de
proyectos, organización y métodos. Data minin. Subgerente operativo de administra-
ción y gestión de cambios.
 (6)  Sobre cajas blancas y negras ver Corvalán, Juan G. - Díaz, Laura - Simari, Ge-
rardo, “Inteligencia artificial: bases conceptuales para comprender la revolución de
las revoluciones”, apart. 4.3 “Cajas negras y otras más negras” y apart. 4.6 “Aprendizaje
automático y cajas blancas. Algunos ejemplos en el campo de la justicia”, tomo I del
119
presente Tratado. Asimismo, sobre cajas blancas y su aplicación en sistemas predic-
 Corvalán - Papini - Palacios - Palumbo - Pitrau - Quartesan

a través de una subespecie que se denomina Topic Model (7).

El sistema presenta una funcionalidad predictiva, que se lleva a cabo
a partir de la “lectura” automatizada, la detección y clasificación inteli-
gente, para luego automatizar la elaboración de resúmenes acerca de la
presencia o ausencia de 33 criterios en acciones de tutela vinculadas a
la salud que ingresan a la Corte, provenientes de más de 4.000 jueces de
toda la República de Colombia. Esta es la funcionalidad que mayor in-
novación significa y permite, a su vez, generar estadísticas dinámicas en
tiempo real para que se ayude a las personas humanas en el proceso de
selección de ese tipo de acciones (8).
El desarrollo de PretorIA se basó en la experiencia Prometea (9), el
primer sistema de IA predictivo de Hispanoamérica (10), el primero en el

tivos de justicia ver Corvalán, Juan G. - Montenegro, Ana Paula - Papini, Carina M.
- Puig, Matías - Pitrau, Osvaldo - Quartesan, Verónica - Stringhini, Antonella, “Proto-
colo sobre gobernanza algorítmica. Trazabilidad, explicabilidad, interpretabilidad y
fiabilidad. Diseño, desarrollo y despliegue”, apart. 2 “Predicciones de caja blanca: ex-
plicables e interpretables en su totalidad”, tomo II del presente Tratado.
 (7)  El topic model es una herramienta estadística utilizada en machine learning y en
aplicaciones de lenguaje natural que permite identificar temáticas en grupos de docu-
mentos de texto. El uso de topic models permite aplicar el análisis de clustering a con-
juntos de datos no estructurados, superando algunas de las limitaciones que presenta
la herramienta de K-medias estudiada anteriormente, lo que hacen los topic models es
tomar un texto no estructurado y aplicarlo a una dimensión más estructurada.
 (8) Fue desarrollado por el Laboratorio de Innovación e Inteligencia Artificial
(IALAB) de la Facultad de Derecho de la Universidad de Buenos Aires, con la cola-
boración de la Universidad Colegio Mayor de Nuestra Señora del Rosario y la propia
Corte Constitucional y bajo el estricto control, auditoría y supervisión de los emplea-
dos, funcionarios y magistrados de la Corte Constitucional de Colombia.
 (9)  Prometea es un modelo de distribución de software en el que tanto el soft-
ware como los datos manejados son centralizados y alojados en un único servidor. En
cuanto al diseño, es un proceso de cocreación entre especialistas en inteligencia ar-
tificial y el equipo técnico de la organización que quiera implementarlo. Ampliar en:
Corvalán, Juan G., Prometea. Inteligencia artificial para transformar organizaciones
públicas, Astrea - Universidad del Rosario, DPI Cuántico e IMODEV, 2019.
 (10)  Se ha sostenido que Prometea ha permitido obtener mejoras muy significa-
tivas en términos de eficiencia, las cuales no han estado asociadas a una desvincula-
ción de personal, sino a una reconversión de tareas del personal calificado.
Asimismo, es posible señalar que tanto, como PretorIA basada en la experiencia de
la primera, constituyen sistemas disruptivos, ya que se ha destacado que la mayoría
de las instituciones públicas de América Latina y el Caribe aún no han logrado avan-
ces significativos en el uso estratégico de la tecnología.
Ver Estevez Elsa - Fillottrani Pablo - Linares Lejagarra, Sebastián, “Prometea: trans-
formando la administración de Justicia con herramientas de inteligencia artificial”,
junio 2020, disponible en [Link]
la-administracion-de-justicia-con-herramientas-de-inteligencia-artificial (consulta-
120
do el 21/04/2021).
 Instructivo de gobernanza de datos

mundo occidental desarrollado íntegramente en el sector público (11). El

caso Prometea ha sido documentado por los principales organismos in-
ternacionales (BID y OCDE) y se encuentran en pleno funcionamiento
desde agosto de 2017 (12).

II. Sobre el instructivo

El objetivo de este instructivo es brindar una herramienta que per-

mita conocer los procesos de gobernanza de datos, el armado de sets de
entrenamiento y la tarea que se llevó adelante en el caso de PretorIA. Es
interesante destacar que, a diferencia de los sistemas clásicos de gestión
integral que elaboran todos sus diseños y perfiles con base en los proce-
sos de la organización, PretorIA posee un enfoque basado en la correla-
ción de patrones de información, previamente entrenados, para detectar
criterios aprobados y consensuados en el ámbito de cada despacho de los
magistrados de la Corte Constitucional.
A fin de lograr la simplificación de la explicación, este documento se
divide en dos grandes partes: I) cuestiones generales para la gobernanza
de datos y el armado de datasets, a los fines de realizar una detección y
clasificación inteligente bajo la lógica de la utilización de herramientas
de aprendizaje automático de “caja blanca”; y II) las etapas para la gober-
nanza de datos y el armado de datasets para la detección y clasificación
inteligente vinculada a la selección de las tutelas en el ámbito de la Corte
Constitucional.

 (11)  Incubado y desarrollado en el ámbito del Ministerio Público Fiscal de la Ciu-

dad de Buenos Aires, Argentina, como resultado de una cocreación junto a los exper-
tos programadores en IA Ignacio Raffa y Nicolás Vilella.
 (12)  El éxito de Prometea, ha generado su presentación en los organismos más
importantes del mundo: Organización de Nacionales Unidas, Agencia de los Dere-
chos Fundamentales de la Unión Europea, Consejo de Estado Francés, Universidad
París I, Panthéon- Sorbonne, Universidad de Oxford, Tribunal Administrativo Regio-
nal de Lombardía, Organización de Estados Americanos, entre muchos otros.
Por su parte, PretorIA también ha sido reconocida por múltiples medios de prensa.
Ver Jaimovich, Desiree, “La Justicia de Colombia usará un sistema de inteligen-
cia artificial basado en un desarrollo argentino”, 28 de julio de 2020, disponible en
[Link]
tema-de-inteligencia-artificial-basado-en-un-desarrollo-argentino/ (consultado el
10/10/2020); Oquendo, Catalina, “‘Legaltech’. Inteligencia artificial para desatascar
la justicia en Colombia”, 30 de julio de 2020, disponible en [Link]
retina/2020/07/29/tendencias/1596020286_589017.html (consultado el 10/10/2020);
“La Corte Constitucional de Colombia usará IA basada en un software argentino”, Te-
lam, 27/07/2020, disponible en [Link]
[Link]
121
(consultado el 10/10/2020).
 Corvalán - Papini - Palacios - Palumbo - Pitrau - Quartesan

Téngase en cuenta que el presente instructivo integra otros documen-

tos que describen los pilares conceptuales e instrumentales en los que se
apoyó la implementación de PretorIA en la Corte Constitucional de Co-
lombia. Si bien estos tres documentos apuntan a cuestiones distintas, lo
cierto es que comparten algunos postulados y conceptos que permiten
dotarlos de autosuficiencia. El Ecosistema documental de PretorIA, ba-
sado en la experiencia Prometea, es el siguiente: “2. Protocolo para ga-
rantizar predicciones trazables y auditables del predictivo”; “3. Manual
de usuario de PretorIA”.

III. Enfoque holístico y transdisciplinario: reingeniería de IA a partir

de conectar datos y tareas con decisiones y documentos

La burocracia digital, en términos generales, se basa en replicar la

burocracia imprenta. Se transforman en “burocracia digital” las prácticas
del papel. Aquí aparecen los clics, las aperturas de ventanas digitales y la
lógica del copy-paste. Los sistemas de gestión documental electrónica y el
expediente electrónico en su versión clásica, en general, no producen un
impacto significativo en la productividad y en la reducción de tiempos, ya
que a través de estas herramientas no se lleva adelante una auténtica re-
ingeniería y simplificación. Gobernar los datos a partir de un enfoque de
aplicación de sistemas inteligentes, presupone una auténtica transforma-
ción en el modo de llevar adelante tareas en las organizaciones. Bajo este
enfoque holístico y transdisciplinario, creemos que hay que desarrollar la
transformación de IA.
Aclaración importante: se recomienda no seguir la lógica del flow, de
los flujos o mapas que se diseñaron y que reflejan la burocracia imprenta
o digital existente. Precisamente, la IA tiene que impulsarnos a repensar
desde sus bases mismas los procesos, mientras nos despojamos prácticas
obsoletas que se justificaban en otro ecosistema menos avanzado en ma-
teria de TIC.
En síntesis, la burocracia inteligente, como es el caso de Prometea y
ahora PretorIA, presupone la aplicación de un nuevo enfoque holístico
y transdisciplinario (13) a la hora de abordar los procesos judiciales y los

 (13)  Desde un sector, transdisciplinariedad se entiende como un proceso según

el cual, los límites de las disciplinas individuales se trascienden para estudiar pro-
blemas desde perspectivas múltiples con vistas a generar conocimiento. No es una
disciplina sino un enfoque, un proceso para incrementar el conocimiento median-
te la integración y la transformación de perspectivas gnoseológicas distintas. Véa-
se, Nicolescu B., La transdisciplinariedad, una nueva visión del mundo. Manifies-
to, Ediciones Du Rocher, París, 1998. Véase, Pérez Matos, Nuria E. - Setién Quesada,
122
Emilio, “La interdisciplinariedad y la transdisciplinariedad en las ciencias: una mi-
 Instructivo de gobernanza de datos

cambios en las organizaciones públicas en general. Ello, supone una au-

téntica transformación digital a través de herramientas de IA explicables,
bajo un enfoque basado en datos y en cómo estos se conectan con las ta-
reas, las decisiones y los documentos que se asocien a ellas (14). Si se desea
profundizar en algunos aspectos vinculados a estas cuestiones, elabora-
mos un listado preguntas frecuentes (FAQs) en el Anexo 1 con citas en las
que se puede ampliar estas cuestiones.

IV. Paso a paso de los procesos de gobernanza de datos

4.1. Paso 1. Identificación de las tareas que están involucradas

la organización

En todas las organizaciones se llevan adelante múltiples tareas. En el

ámbito judicial, la complejidad y especificidad está vinculada a los dife-
rentes fueros, materias, instancias, etapas y también a las diversas com-
petencias asignadas a trabajadores, funcionarios y jueces. Cada actividad
comprende un conjunto de tareas y microtareas asociadas.
La inteligencia artificial, en cualquiera de sus modalidades, impacta
significativamente en las tareas y ello conlleva una reconfiguración del
rol de las personas. En el sector público, la clave es el enfoque basado
en complementar, mejorar o aumentar las capacidades cognitivas y no la
sustitución de las personas. En principio, esto se vincula con enfocar en
tareas rutinarias, mecánicas, repetitivas y muy estandarizadas, para luego
redirigir esfuerzos hacia otras más complejas, que requieren otras habi-
lidades como la empatía y que se encuentran postergadas o bien, que ni
siquiera existe la posibilidad de realizarlas antes de la intervención de un
sistema de IA. En síntesis, no se trata de sustitución, sino de complemen-
to, reasignación, mejora y de potenciar la inteligencia humana.
Ahora bien, como no hay una cultura asociada a dimensionar tareas
y microtareas asociadas a roles o al ejercicio de competencias públicas,
resulta difícil dimensionar cuál es el impacto que conlleva en los trabajos
como un todo (ver Anexo 1). Por lo tanto, es clave identificar, segmentar
y categorizar las tareas que serán abarcadas, en mayor o menor medida,
por un sistema de IA. Entre otras posibles acciones, es útil: a) clasificar las

rada a la teoría bibliológico-informativa”, ACIMED v. 18, nro. 4, Ciudad de La Haba-

na, oct.  2008. Disponible en [Link]
=S1024-94352008001000003 (consultado el 10/10/2020).
 (14)  Cevasco, Luis - Corvalán, Juan G. - Le Fevre Cervini, Enzo María, Inteligencia
artificial y trabajo. Construyendo un nuevo paradigma de empleo, Astrea y DPI Cuán-
tico, 2019, disponible en [Link]
123
pdf (consultado el 10/10/2020).
 Corvalán - Papini - Palacios - Palumbo - Pitrau - Quartesan

tareas; b) cuantificarlas; c) cuantificar qué tipo de datos están vinculados

a cada una de ellas y, eventualmente, con cuanta frecuencia se reiteran
los datos en otras tareas asociadas.

4.2. Paso 2. Clasificación de las tareas

Una vez que se han identificado las tareas, es necesario clasificarlas.

En general, todas las tareas pueden agruparse en:
• Automatizables: son aquellas tareas mecánicas y repetitivas, que
en general ocupan el mayor porcentaje de tiempo de la jornada
laboral. La implementación de IA para tareas rutinarias mejora la
gestión y permite que los trabajadores/as dediquen su tiempo a
otras actividades sin que con ello se genere desempleo.
• Semiautomatizables: son aquellas que presentan una porción es-
tandarizada y mecánica de tareas, las cuales son potencialmente
automatizables, mientras que el resto implican actividades más
complejas (15).
• No automatizables: son aquellas que conllevan mayor compleji-
dad, instrucción, ocupan mayor tiempo en su realización y suelen
quedar postergadas.

4.3. Paso 3. Cuantificación de las tareas

Una vez que se han identificado las tareas y se ha logrado clasificarlas de

acuerdo con su complejidad y posibilidad de automatización, es necesario
cuantificarlas y elaborar estadísticas sobre las tareas de la organización, los
temas y los tiempos insumidos. Ello con el objetivo de conocer la incidencia
de la tarea en relación con el trabajo total de la organización, lo cual permiti-
rá estimar el ahorro de tiempo que generaría la implementación de IA.

4.4. Paso 4. Diagnóstico y Selección de las tareas a las que se aplicará IA

A la hora de aplicar IA, es aconsejable comenzar por aquellas tareas

que tienen mayor incidencia en la jornada total de trabajo; es decir, aque-
llas más repetitivas y rutinarias, o que se relacionan con temas sobre los
que existe demanda en gran cantidad y que tienen un gran impacto para
una o varias personas dentro de la organización. En este sentido, es nece-

 (15)  Corvalán, Juan G. - Palumbo, Julián, “Inteligencia artificial y trabajo. Explo-

rando un nuevo paradigma laboral”, DPI Cuántico, 11/07/2019, disponible en: https://
[Link]/sitio/wp-content/uploads/2019/07/Doctrina-Corval%C3%A1n-y-
124
[Link] (consultado el 06/05/2021).
 Instructivo de gobernanza de datos

sario cuantificar la cantidad de personas que intervienen en la realización

de las tareas, los perfiles de las mismas, la aplicación de su ámbito exper-
to para concretar la misma y el tiempo que conlleva a cada una de ellas.
También, es útil evaluar aquellas tareas que implican casos en los cuales
existe una gran probabilidad de que el próximo sea similar. Estos análisis
permitirán realizar un diagnóstico de los procesos (16).
Otra cuestión importante a tener en cuenta a la hora de seleccionar la
tarea, es que la correcta utilización de técnicas de IA, además de aumen-
tar sustancialmente la productividad, es probable que reduzca significati-
vamente los tiempos y el margen de error, lo que se traduce en una mayor
precisión.
Una vez que se ha seleccionado la tarea o subtareas asociadas, es po-
sible que se vinculen con una o varias temáticas y, a la vez, que abarquen
una o varias fases de un proceso. Esto requiere la realización de una seg-
mentación dentro de la tarea para identificar dichas temáticas y fases,
cuantificarlas y evaluar la posibilidad de aplicar un sistema inteligente a
un área dentro de dicha tarea.
La selección de la tarea es una de las etapas más importantes, ya que
es la que permitirá conocer qué es lo que la organización necesita y cómo
puede garantizarse a través de un sistema desarrollado y completamente
adaptado a la problemática. Si no se conoce con precisión qué es lo que se
necesita, ningún proceso de desarrollo permitirá obtenerlo (17).

4.5. Paso 5. Diagnóstico acerca del ecosistema por el que circulan

los datos. Conocimiento del almacenamiento y gestión de la información

Una vez que se conocen las tareas —y las respectivas cantidades—

que realiza la organización, es necesario saber en dónde se almacena y
cómo se gestiona la información. Esto se apoya principalmente en tres
pilares: 1) sistemas de gestión integrales, 2) sitios de internet, 3) archivos
MS Word®, PDF o similar.
En los dos primeros hay que hacer una distinción importante. Mien-
tras que a los sistemas de gestión integrales se accede con usuario y con-
traseña, los sitios de internet que publican información pueden presentar

 (16)  BID. Estevez, Elsa - Fillotrani, Pablo - Linares Lejarraga, Sebastián, “Prome-
tea: Transformando la administración de justicia con herramientas de inteligencia
artificial”, junio de 2020, disponible en: [Link]
transformando-la-administracion-de-justicia-con-herramientas-de-inteligencia-arti-
ficial (consultado el 10/10/2020).
 (17)  El ciclo de vida de un sistema de información, disponible en [Link]
125
[Link]/docencia/2005-2006/2/apuntes/[Link] (consultado el 10/03/2021).
 Corvalán - Papini - Palacios - Palumbo - Pitrau - Quartesan

ambas modalidades, es decir, acceso con usuario y contraseña o acceso

libre para cualquier persona.
Si bien la mayoría de las organizaciones elaboran los documentos a
través de Microsoft Word y, por lo tanto, nacen digitales, la realidad es que
los traslados de estos se realizan físicamente.

4.6. Paso 6. Selección de la técnica de inteligencia artificial

Según la ONU, la IA no es una sola cosa, sino que se trata de diferentes

técnicas por las cuáles se pueden lograr diversos resultados en muchos
campos o actividades humanas. Oxford considera que la IA es una tecno-
logía de propósito general que permite cambiar el modo en que se hacen
las cosas (18). En el ámbito de las organizaciones públicas y, especialmente
en la Justicia, es muy importante considerar dos aspectos. Por un lado,
elegir las técnicas que más se adapten al contexto digital, económico, so-
cial y cultural. Por otra parte, que sean explicables, interpretables y traza-
bles en un 100%. Dentro de este grupo, se pueden obtener predicciones
que nosotros llamamos “de caja blanca”. Se trata de técnicas que se en-
cuentran en el ámbito del aprendizaje automático (machine learning) y
que la literatura especializada llama “regresión” y “clasificación”. O, dicho
de otra forma, cuando se trata de obtener predicciones o estimaciones
que impactan significativamente en el ejercicio de los derechos huma-
nos, se recomienda descartar los sistemas de IA de caja negra basados en

 (18)  Oxford, Artificial Intelligence Programme, p. 16.

Se ha considera que la IA tiene un doble papel de tecnología de propósito general
y herramienta para la innovación, la IA ha logrado protagonismos en los debates en
múltiples esferas bajo la promesa de cambiar la forma en que vivimos y nuestra per-
cepción del mundo, ver Gómez Mont, Constanza - Del Pozo, Claudia May - Martínez
Pinto, Cristina - Martín del Campo Alcocer, Ana Victoria, “La inteligencia artificial al
servicio del bien social en América Latina y el Caribe: panorámica regional e instan-
táneas de doce países”, BID, junio de 2020, disponible en [Link]
org/es/la-inteligencia-artificial-al-servicio-del-bien-social-en-america-latina-y-el-ca-
ribe-panor%C3%A1mica-regional-e-instant%C3%A1neas-de-doce-paises (consultado
el 21/04/2021).
No existe consenso en torno a una definición de inteligencia artificial. Sobre las di-
versas definiciones, especialmente aquellas planteadas por los organismos interna-
cionales ver Corvalán, Juan G. - Díaz, Laura - Simari, Gerardo, “Inteligencia artificial:
bases conceptuales para comprender la revolución de las revoluciones”, apart.  3.2
“Un menú de definiciones de inteligencia artificial”, tomo I del presente Tratado. Asi-
mismo, puede abordarse la definición de la IA desde distintos enfoques, ver López
Oneto, Marcos, “Fundamentos antropológicos, éticos, filosóficos, históricos, socio-
lógicos y jurídicos para la constitución universal de un Derecho de la Inteligencia
Artificial (DIA)”, apart. 2.2.1 “¿Qué es la inteligencia artificial?”, tomo I del presente
126
Tratado.
 Instructivo de gobernanza de datos

redes neuronales profundas o técnicas similares que no sean 100% expli-

cables o trazables (19).
Los sistemas de caja blanca permiten garantizar un aprendizaje su-
pervisado (20) en su máxima expresión, lo que posibilita optimizar el lla-
mado ciclo de vida de la IA. Una vez que se han identificado tareas o una
tarea, es necesario seleccionar la técnica o la combinación de técnicas
óptimas para los resultados que se desea alcanzar (21).
Si se opta por predecir a partir de cajas blancas, hay que atravesar por
un proceso de elaboración de datasets de entrenamiento, testeo y valida-
ción. Aquí, se clasifican o etiquetan los datos y la información, para luego
comenzar un proceso iterativo de análisis, agrupamiento de palabras cla-
ve, detección y refinamiento de palabras o conjuntos de palabras que se
correlacionan con hipótesis fácticas, criterios jurídicos o con ciertas cate-
gorías jurídicas que se pretendan detectar. En todos estos casos, los ope-
radores/as se encuentran frente a una tarea vinculada al reconocimiento
de patrones de información históricos, que son sometidos a una revisión

 (19)  Sobre cajas blancas y negras ver Corvalán, Juan G. - Díaz, Laura - Simari, Ge-
rardo, “Inteligencia artificial: bases conceptuales para comprender la revolución de
las revoluciones”, apart. 4.3 “Cajas negras y otras más negras” y apart. 4.6 “Aprendizaje
automático y cajas blancas. Algunos ejemplos en el campo de la justicia”, tomo I del
presente Tratado. Asimismo, sobre cajas blancas y su aplicación en sistemas predic-
tivos de justicia ver Corvalán, Juan G. - Montenegro, Ana Paula - Papini, Carina M.
- Puig, Matías - Pitrau, Osvaldo - Quartesan, Verónica - Stringhini, Antonella, “Proto-
colo sobre gobernanza algorítmica. Trazabilidad, explicabilidad, interpretabilidad y
fiabilidad. Diseño, desarrollo y despliegue”, apart. 2 “Predicciones de caja blanca: ex-
plicables e interpretables en su totalidad”, tomo II del presente Tratado.
 (20)  Sobre aprendizaje supervisado ver Corvalán, Juan G. - Díaz, Laura - Simari,
Gerardo, “Inteligencia artificial: bases conceptuales para comprender la revolución
de las revoluciones”, apart 4.4 “Como aprenden Adán y Eva así también lo hacen ML”,
t. I del presente Tratado.
 (21)  Por ejemplo: la aplicación de sistemas expertos y ciertas automatizaciones,
presuponen la elaboración humana de árboles de decisión. Las etapas para elaborar
los árboles de decisión son:
a. Identificación de la temática.
b. Identificación de hipótesis o circunstancias dentro de la temática.
c. Identificación de las repuestas jurídicas/ administrativas para cada variable.
d. Diferenciación de decisiones convenientes y no convenientes.
e. Construcción de documentos.
f. Identificación y medición de datos y documentos.
g. Concatenación de datos y documentos.
La supervisión humana ayuda a garantizar que un sistema de IA no socave la auto-
nomía humana o provoque otros efectos adversos.
Ver Comisión Europea, “Libro blanco sobre la inteligencia artificial. Un enfoque
127
europeo orientado a la excelencia y la confianza”, Bruselas, 19/02/2020.
 Corvalán - Papini - Palacios - Palumbo - Pitrau - Quartesan

humana a los fines de evaluar el rendimiento del sistema sobre la base de

mediar tasas de acierto.
Una vez definida la técnica de IA a aplicar, es necesario realizar una
planificación adecuada que involucra una serie de tareas previas que in-
fluirán decisivamente en la finalización exitosa del proyecto. Se realiza
un estudio de viabilidad donde también se estudian las posibilidades de
llevarlo adelante, se analizan los riesgos del proyecto, la planificación
temporal y la cantidad de recursos que se asignarán a cada una de las
etapas (22).

V. Gobernanza de datos para la predicción a través de cajas blancas:

Proceso de elaboración de datasets de entrenamiento para la búsqueda
de palabras, frases o conjunto de palabras o frases clave (keywords)

5.1. Introducción

Los patrones de información y su correlación con resultados, criterios,

hipótesis fácticas o categorías jurídicas son el epicentro de las prediccio-
nes de caja blanca cuando se trata de problemas vinculados al reconoci-
miento de lenguaje natural emitido en ámbitos especializados (en este
caso, lenguaje jurídico de juezas y jueces). Antes de aplicar una técnica
de máquina, el equipo humano de gobernanza de datos debe abocarse
a la tarea de leer, identificar y etiquetar los distintos segmentos de infor-
mación que responden a determinados parámetros (criterios, categorías
jurídicas, hipótesis fácticas, entre otros).
Paso 1. En primer lugar, para reconocer los criterios que se involucran
dentro de la tarea, se debe realizar un proceso de reclasificación a partir
de la identificación de los distintos grupos de temáticas que existen den-
tro de la misma. Por ejemplo, en las acciones de tutela de salud, se pue-
den distinguir: mujeres en estado de embarazo y persona adulta mayor,
entre muchos otros.
Paso 2. Posteriormente, se requiere detectar las palabras, frases o con-
junto de palabras o frases clave (keywords) que se relacionen o pertenez-
can de manera exclusiva o muy probablemente exclusivas, al criterio que
se aspira a identificar de manera predictiva. Es decir, será necesario lograr
que, siempre que aparezca una, algunas o ciertas combinaciones posibles
de grupos de palabras, el sistema detecte únicamente los documentos o
sentencias relacionadas con el criterio.

 (22)  Ciclo de vida de un sistema de información, disponible en [Link]

128
[Link]/docencia/2005-2006/2/apuntes/[Link] (consultado el 10/03/2021).
 Instructivo de gobernanza de datos

Ahora bien, téngase en cuenta que las etapas que se analizarán a con-
tinuación —y en prácticamente todos los desarrollos de sistemas de in-
teligencia artificial— no son necesariamente lineales y no en todos los
casos cuando finaliza una anterior se pasa directamente a la posterior, sin
posibilidad de regresar para revisar conceptos o permitir que dos o más
etapas se desarrollen en paralelo. Muy por el contrario, cuando se desa-
rrollan los sistemas muchas veces es necesario y conveniente progresar y
regresar para realizar los cambios pertinentes y adaptarlos para conseguir
los resultados esperados.

•  Etapa 1: muestra de datos e información y definición del equipo de

trabajo
En esta etapa, es necesario identificar la muestra sobre la que se tra-
bajará que corresponde a los documentos similares a los que el sistema
inteligente deberá identificar. Las muestras deben presentar una capilari-
zación que permita mitigar y reducir posibles sesgos. Gran parte del éxito
de los sistemas de IA, si no la mayor parte, depende de la extensa prepa-
ración de datos que se requieren. De hecho, se ha considerado que más
de la mitad del esfuerzo de un proyecto exitoso de IA es aquel dedicado a
preparar los datos (23). La calidad de los conjuntos de datos es primordial
para el funcionamiento de los sistemas de IA (24).
Cuando se trata de desarrollar actividad predictiva, es necesario que
la muestra sea cuantitativamente amplia para que, por un lado, se iden-
tifique la totalidad de criterios existentes dentro de un determinado seg-
mento de información; y por el otro, que exista una cantidad de docu-
mentos que permita identificar las palabras claves o conjunto de palabras
que presenten correlaciones para identificar la presencia de criterios, ca-

 (23)  Strand, Kyle, “¿Cómo se compara un iceberg al funcionamiento de la inteligen-

cia artificial?”, 12 de diciembre de 2018, disponible en [Link]
miento-abierto/es/como-funciona-inteligencia-artificial-modelo-iceberg/ (consultado
el 10/10/2020).
 (24)  Comisión Europea, “Generar confianza en la inteligencia artificial centrada
en el ser humano”, Bruselas, 08/04/2020, disponible en [Link]
rency/regdoc/rep/1/2019/ES/[Link] (consultado
el 10/10/2020).
El funcionamiento de muchos sistemas de IA y las acciones y decisiones a las que
pueden llevar dependen en gran medida del conjunto de datos que se haya utilizado
para entrenar los sistemas. Por consiguiente, deben adoptarse las medidas necesa-
rias para garantizar que, en lo que se refiere a los datos utilizados para entrenar los
sistemas de IA, se respeten los valores y normas (...), concretamente con relación a la
(...) protección de los derechos fundamentales. Ver Comisión Europea, “Libro blanco
sobre la inteligencia artificial. Un enfoque europeo orientado a la excelencia y la con-
129
fianza”, Bruselas, 19/02/2020.
 Corvalán - Papini - Palacios - Palumbo - Pitrau - Quartesan

tegorías jurídicas o hipótesis fácticas que se desea detectar en documen-

tos legales. La construcción de poderosas herramientas de IA entonces
depende de la disponibilidad de grandes volúmenes de datos. Los siste-
mas requieren datos de entrenamiento suficientes para desarrollar sus
capacidades de predicción. De no ser así, se podría caer en correlaciones
erróneas o en simplificaciones espurias (25).
Por otra parte, la muestra debe ser cualitativamente amplia (26), con la
finalidad de evitar que ciertos supuestos o criterios no sean contempla-
dos; es decir, es importante eliminar o reducir los problemas vinculados
a la falta de representatividad del conjunto de datos para armar el primer
dataset (27). Por ejemplo, una muestra puede ser numerosa, pero si no se
ha realizado una construcción criteriosa de la misma, es probable que a
través de ella solo se identifiquen algunos criterios y no a otros que tam-
bién han sido seleccionados o predefinidos por las personas o los funcio-
narios competentes.
Por último, mitigar los sesgos (28) a la hora de seleccionar los datos para
construir un modelo “etiquetado”, reduce las posibilidades de la detección
sobre criterios o hipótesis que: o bien aparentan ser y no lo son; o lo son,

 (25)  Pombo, Cristina, “Servicio social con inteligencia artificial. ¿Quieres automa-
tizar un servicio social con inteligencia artificial? 4 consideraciones clave”, 14 de ju-
nio de 2018, Blog BID, disponible en [Link]
servicio-social-con-inteligencia-artificial/ (consultado el 10/10/2020).
 (26)  Se sostiene que se necesitan grandes cantidades de datos de calidad como
una de las mayores ventajas competitivas para el diseño de sistemas de IA más efec-
tivos. Ver: Aguerre, Carolina, “Estrategias nacionales de IA y gobernanza de da-
tos en la región”, CeTyS, FairLac, BID, disponible en [Link]
uploads/2020/05/Aguerre-Estrategias-nacionales-de-IA-y-gobernanza-de-datos-en-
[Link] (consultado el 21/04/2021).
El poder de decisión de las herramientas de IA depende de la calidad de los da-
tos con los que se alimentan los sistemas. La representatividad de los datos es una
preocupación fundamental. Ver Pombo, Cristina, “¿Quieres automatizar un servicio
social con inteligencia artificial? 4 consideraciones clave”, 14 de junio de 2018, BID,
disponible en [Link]
teligencia-artificial/ (consultado el 10/10/2020).
 (27)  Cuando el dataset no es el suficientemente representativo de la población, el
sesgo que se produce es llamado sesgo de selección, ver Sánchez Caparrós, Mariana,
“Inteligencia artificial, sesgos y categorías sospechosas. Prevenir y mitigar la discri-
minación algorítmica”, apart. 2 “Inteligencia artificial, sesgos y categorías sospecho-
sas”, tomo I del presente Tratado. Asimismo, ver Adaro, Mario D. - Repetto, Marisa,
“Ciber-ética y la necesidad de un ecosistema de gobernanza digital”, apart. 3.1 “Ética
por el diseño”, tomo I del presente Tratado.
 (28)  Un sesgo es una inclinación que favorece o perjudica a una persona, ob-
jeto o posición. En los sistemas de IA pueden surgir numerosos tipos de ses-
gos. Ver Grupo independiente de expertos de alto nivel sobre IA, “Directrices éti-
130
cas sobre una inteligencia artificial fiable”, 2018, [Link]
 Instructivo de gobernanza de datos

pero no lo aparentan (29). Esta “apariencia” positiva o negativa se puede

producir por varios factores. En algunas ocasiones, el candidato negativo

uploads/2020/06/Grupo-independiente-de-expertos-de-alto-nivel-sobre-IA-creado-
por-la-Comisio%CC%[Link] (consultado el 10/10/2020).
El sesgo puede ser el resultado de errores en el muestreo y la medición, haciendo
que los datos estén incompletos, basados en muy pocos datos o simplemente inco-
rrectos. Ver: The Technolawgist, “Sesgo en la toma de decisiones judiciales de IA”, 31
de mayo de 2019.
 (29)  Los datos producen sesgos principalmente por dos vías: o los datos recopila-
dos no son representativos de la realidad o reflejan prejuicios ya existentes. Hao, Ka-
ren, “Cómo se produce el sesgo algorítmico y por qué es tan difícil detenerlo”, MIT Te-
chnology Review, 8 de febrero de 2019, disponible en [Link]
es/s/10924/como-se-produce-el-sesgo-algoritmico-y-por-que-es-tan-dificil-detenerlo
MIT Technology Review.
Los conjuntos de datos utilizados por los sistemas de IA (tanto para el entrenamien-
to como para el funcionamiento) pueden verse afectados por la inclusión de sesgos
históricos involuntarios, por no estar completos o por modelos de gobernanza defi-
cientes. Ver Comisión Europea, “Generar confianza en la inteligencia artificial cen-
trada en el ser humano”, Bruselas, 08/04/2020, p. 6, disponible en [Link]
eu/transparency/regdoc/rep/1/2019/ES/[Link]
(consultado el 10/10/2020).
Una serie de factores incorporan sesgo en los sistemas de inteligencia artificial y
aumentan su potencial discriminatorio. Entre ellos están la forma en que se diseñan
los sistemas, las decisiones sobre el origen y el alcance de los conjuntos de datos con
que se entrenan, los sesgos sociales y culturales que los creadores de aplicaciones
pueden incorporar en esos conjuntos de datos, los modelos mismos de inteligencia
artificial y la forma en que los productos del modelo de inteligencia artificial se eje-
cutan en la práctica. Ver la resolución 73/348 de la Asamblea General “Promoción y
protección del derecho a la libertad de opinión y expresión”, A/73/348, 29 de agos-
to de 2018, consid. 38, disponible en [Link] (consultado el
10/10/2020).
Si los mecanismos cuentan con un sesgo obtenido, sea de los datos, sea del diseño
de su función de éxito, el resultado será una amplificación de la discriminación que
experimentan los miembros más vulnerables de nuestra sociedad. Ver Amunategui,
Carlos, “Sesgo e inferencia en redes neuronales ante el derecho”, 2020, p. 32, dispo-
nible en [Link]
[Link] (consultado el 10/10/2020).
La necesidad de evitar sesgos injustos ha sido destacada en Grupo independiente
de expertos de alto nivel sobre IA, “Directrices éticas sobre una inteligencia artifi-
cial fiable”, 2018, [Link]
diente-de-expertos-de-alto-nivel-sobre-IA-creado-por-la-Comisio%CC%81n-Europea.
pdf (consultado el 10/10/2020).
Los riesgos —para los derechos— pueden ser resultado de defectos en el diseño
general de los sistemas de IA (especialmente en lo que se refiere a la supervisión hu-
mana) o del uso de datos que puedan ser sesgados sin una corrección previa (por
ejemplo, se entrena un sistema utilizando única o principalmente datos relativos a
hombres, y ello se traduce en resultados peores con relación a las mujeres). Comisión
Europea, “Libro blanco sobre la inteligencia artificial. Un enfoque europeo orientado
131
a la excelencia y la confianza”, Bruselas, 19/02/2020.
 Corvalán - Papini - Palacios - Palumbo - Pitrau - Quartesan

se produce cuando, por una mala cuantificación o calidad de la muestra,

el criterio o hipótesis fáctica aparentaba estar representados, pero ello no
verificaba en el texto. El candidato positivo se produce cuando por una
muestra que no cumple con los requisitos, no se logran encontrar los pa-
trones que responden con exclusividad a un determinado criterio.
Por estos motivos, el rol de los seres humanos en el proceso de elección
y etiquetado de los conjuntos de datos y su clasificación es esencial (30).
El control humano indispensable previo y posterior a la detección y
predicción no puede ser soslayado o sustituido. Se recomienda que exista
un grupo de personas que tenga como tarea específica, verificar y realizar
un control periódico. Tanto en las fases de la gobernanza de datos, como
en la interacción con las personas que utilizan las técnicas de machine
learning. También se sugiere que intervengan activamente en este pro-
ceso, las personas que trabajan cotidianamente o que son expertas en las
temáticas sobre las que se entrena al sistema.
Perfiles y trabajo interdisciplinario. Una parte del equipo se dedicará
a leer, analizar, clasificar y “etiquetar” los datos (sentencias o documentos
legales). El perfil de los miembros deberá ser analítico, detallista, obser-
vador. Se recomienda que tenga experiencia en el análisis de documentos
con características similares a los que se pretende aplicar el sistema de IA.
Este equipo deberá ser liderado por personas que tengan experiencia en
gobernanza de datos y formación en ciencia de datos a fin de controlar el

Contar con una adecuada infraestructura de datos disponible para asegurar que la
IA tenga suficiente materia prima para aprender de manera no sesgada y permanen-
te. Ver CAF, Banco de Desarrollo de América Latina, Policy Brief #17, “Uso responsa-
ble de la inteligencia artificial en el Sector Público”, 2020, p. 8, disponible en https://
[Link]/bitstream/handle/123456789/1608/Uso_responsable_de_la_inteli-
gencia_artificial_en_el_sector_publico.pdf?sequence=1&isAllowed=y (consultado el
22/04/2021).
 (30)  Los seres humanos siempre determinan la aplicación y el uso de los produc-
tos de inteligencia artificial, incluido el grado en que complementan o reemplazan
la adopción de decisiones humana” (la res. 73/348 de la Asamblea General “Promo-
ción y protección del derecho a la libertad de opinión y expresión”, A/73/348; 29 de
agosto de 2018, consid. 4, disponible en [Link] (consultado
el 10/10/2020).
Asimismo, se ha destacado que “la materia prima que alimenta los algoritmos son
los datos, pero no todos los datos son precisos, suficientemente amplios, actuales ni
fiables. (...)
”Fuentes de datos pueden haber sido extraídas de bases de datos anticuadas que
nunca fueron depuradas debidamente o de fuentes no seguras o en las que no se han
registrado los datos como es debido ni se han respetado las normas correspondien-
tes” (la res. 72/540 de la Asamblea General “El derecho a la privacidad”, A/72/540, 19
de octubre de 2017, consid. 61, disponible en [Link] [consul-
132
tado el 10/10/2020]).
 Instructivo de gobernanza de datos

trabajo realizado por el equipo de análisis y sistematización de documen-

tos y las bases de datos elaboradas.
También deberán existir una o más personas que cumplan el rol de
coordinación a fin de asistir a las reuniones con los trabajadores/as de
la tarea en juego, junto con las personas que asuman el rol de liderazgo
y comunicar todas aquellas modificaciones, adiciones o aprobaciones al
trabajo presentado. Téngase en cuenta que, a ciertas reuniones, deberá
asistir el equipo completo.
Por su parte, el equipo formado por especialistas en programación e
IA se encargará de diseñar y desarrollar los pilares del sistema de IA y de
probar el código para garantizar su eficiencia. Tendrá a su cargo la admi-
nistración de las bases de datos y la realización de testeos en el sistema.
Por otro lado, el equipo de gobernanza de datos y el equipo encargado
de la programación deberán trabajar de manera coordinada y conjunta
continuamente, a fin de retroalimentarse. El diálogo constante es esen-
cial ya que los programadores son quienes indicarán los ajustes respec-
tivos que el equipo de gobernanza realizará para lograr el resultado es-
perado. En este caso, que el sistema de IA logre identificar y clasificar los
documentos de acuerdo con los criterios indicados.
Las pautas de trabajo al interior de los equipos son esenciales, ya que
es común caer en ciertos errores que pueden resultar perjudiciales. Por
este motivo uno de los puntos principales a acordar es el tiempo de traba-
jo, ya que muchas veces la realización de horas extras disminuye su pro-
ductividad en tareas que requieren demasiada precisión. Tras una larga
jornada, la mente pierde frescura y comete errores. Asimismo, tener en
cuenta que la calidad el trabajo intelectual depende de la capacidad del
trabajador/a de mantener su “estado de flujo”, es decir, un estado de in-
mersión total en un problema que facilita su comprensión y la generación
de soluciones. Aproximadamente, se tarda quince minutos en conseguir
ese estado, por lo que una interrupción cada 10 minutos afecta drásti-
camente el rendimiento del trabajador/a. Si se somete a los miembros
de los equipos a continuas interrupciones durante su jornada de trabajo
(llamadas telefónicas, reuniones, consultas) se repercute negativamente
en el desarrollo laboral (31). Otra de las cuestiones a aplicar en el interior
de los equipos es la comunicación de los pequeños retrasos, ya que ello
permitirá ganar previsibilidad.

 (31)  Ciclo de vida de un sistema de información, disponible en [Link]

133
[Link]/docencia/2005-2006/2/apuntes/[Link] (consultado el 06/05/2021).
 Corvalán - Papini - Palacios - Palumbo - Pitrau - Quartesan

•  Etapa 2: definir los criterios para evaluar la criticidad

Los criterios deberán ser identificados, consensuados y notificados al
equipo de gobernanza de datos por parte de las personas que trabajan de
manera constante con la tarea bajo gobernanza. Cada criterio representa
un segmento de documentos que se desea que el sistema de IA sea capaz
de detectar y clasificar. Por ejemplo, si se trata de una selección de sen-
tencias, podría considerarse que el sistema sea capaz de detectar aque-
llos casos en que se encuentren en juego el criterio Mujeres en estado de
embarazo.

•  Etapa 3: identificación de los criterios en los documentos

A medida que se avanza en la lectura de las sentencias de manera
exhaustiva, el equipo de gobernanza identificará las distintas hipótesis
fácticas y criterios consensuados por los trabajadores/as. Asimismo, es
posible que identifiquen otros criterios distintos a los seleccionados por
los trabajadores/as. Dichos criterios deberán ser controlados y validados
por las personas que trabajan de manera constante en la tarea que se en-
cuentra sometida a gobernanza, ya que son quienes en efecto trabajan
diariamente en la tarea en cuestión y se valdrán del sistema inteligente.
Para mantener la organización dentro del grupo, es aconsejable plas-
mar los criterios y datos de relevancia en una base de datos (en Micro-
soft Excel) consensuada y general que se almacene en una carpeta de
tipo compartida a la que tenga acceso el equipo completo, de modo que
cada vez que se identifica un nuevo criterio, el resto del equipo cuente
también con dicha información y la proyecte en su base particular de
trabajo. La base servirá de base para el diseño del sistema por parte de
programadores.
El desarrollo de la presente etapa y la de definición de las palabras,
frases o conjunto de palabras o frases clave (keywords) suelen ser con-
temporáneas, ya que durante el proceso es normal que se presenten cam-
bios y/o modificaciones a los criterios. Además, a la hora de identificar
los criterios, es necesario que las personas encargadas de comunicar los
criterios de relevancia, los definan y determinen su alcance para su poste-
rior detección. Es aconsejable que en la presente etapa se lleven adelante
reuniones a fin de interpretar los supuestos fácticos que pueden generar
confusión o diferencias de consideraciones entre el mismo grupo laboral.
La identificación de los criterios en los documentos requiere:
• Lectura y análisis de estos para identificar los criterios presentes
en cada uno. Es útil calcular el tiempo que en promedio conlleva
esta tarea.
134
 Instructivo de gobernanza de datos

• Primer control sobre los criterios identificados en los documen-

tos. También es necesario calcular el tiempo promedio.
• Sometimiento a consideración de quienes trabajan diariamente
con dichos documentos acerca de la existencia de nuevo criterios
identificados por las personas dedicadas a la gobernanza de datos.
• Segundo control sobre el primero realizado con anterioridad. La
técnica de doble control es aconsejable para evitar sesgos comu-
nes que poseemos los seres humanos (32) y las imprecisiones que
pueden generarse por múltiples factores, como el cansancio y el
entorno. Es común que el tiempo que demora la realización del
segundo control sea menor que el que toma el primer control.
Es aconsejable que las personas que realicen el primer control sean
distintas de las que realizaron el primero. Además, a fin de reducir sesgos
durante las correcciones, es conveniente mantener el anonimato de las
personas que han leído e identificado los criterios en los documentos.

•  Etapa 4: armado de datasets

Luego de analizar los criterios e identificarlos en los documentos, es
necesario elaborar los datasets de entrenamiento. Cada set consiste en un
conjunto de documentos aleatorios, sin previa clasificación. Cada uno,
debe contener una cantidad de documentos similar. Como se ha aclarado
al explicar los criterios de selección de la muestra, el armado de data-
sets debe cumplir criterios cuantitativos y cualitativos, de modo que se
identifique la totalidad de los criterios y con relación a cada criterio, una
cantidad de documentos relevantes que permita reconocer los patrones
relacionados con cada uno de ellos.
Es necesario que el equipo de gobernanza se divida en subgrupos, y
que a cada uno se les asigne la responsabilidad de analizar uno, dos o
hasta tres datasets por fase de manera aleatoria.
Además, para las revisiones se aconseja utilizar el sistema del triple
ciego (33). Una vez concluida la primera revisión, cada set de entrenamien-
to se entrega a otro subgrupo, y posteriormente a un tercer subgrupo, con

 (32)  Sobre los sesgos que podemos tener los seres humanos ver Tolosa, Pamela,
“Algoritmos, estereotipos de género y sesgos. ¿Puede hacer algo el derecho?, apart. 2
“Sobre cómo actuamos: sesgos y estereotipos de género”, tomo I del presente Tratado.
Asimismo, ver Sobrino, Waldo, “Inteligencia artificial, neurociencias y consumidores
de seguros”, apart. 3 “La mayoría de la toma de decisiones no son racionales (Sistema
1)”, tomo III del presente Tratado.
 (33)  “Estudios analíticos. Simple, doble y triple ciego”, disponible en [Link]
135
edu/UOC/a/moduls/90/90_166d/web/main/m4/[Link] (consultado el 23/04/2021).
 Corvalán - Papini - Palacios - Palumbo - Pitrau - Quartesan

el fin de que cada etapa de entrenamiento y validación se realice con ri-

gurosidad. El fin primordial de la utilización de este método científico en
la fase de entrenamiento, tiene que ver con el hecho de recudir la influen-
cia del efecto placebo y para mitigar los diversos sesgos que se presen-
ten por parte del subgrupo encargado del análisis y la observación de las
sentencias.
Cada una de las decisiones acerca de los métodos a utilizar, deben ser
sometidos a consideración y validados por los usuarios/as, funcionarios
o personas competentes que usarán a quienes les impactará el despliegue
del sistema inteligente dentro de la organización. Además, es una buena
práctica validar los datasets de entrenamiento, previo a que la máquina
intervenga para mitigar los sesgos a la hora de entrenar a la máquina.
Téngase en cuenta que, en total, será necesario elaborar como míni-
mo cuatro datasets. Se recomienda seis o más, a los fines de mitigar las
deficiencias, incertezas o sesgos a la hora de entrenar al sistema. Los da-
tasets pueden dividirse en tres grandes grupos.
— El dataset inicial.
— Datasets de entrenamiento.
— Datasests de testeo y validación.
Los conjuntos de datos se dividen entre aquellos que se utilizan para
entrenamiento y los que utilizan para pruebas o test y por lo general se
aconseja su división en 80-20 (34).

•  Etapa 5: identificaciones de patrones de información en el ámbito

del lenguaje natural especializado
Para un sistema de IA, las palabras, frases o conjunto de palabras o
frases clave (keywords) representan patrones de información en términos
de símbolos, caracteres o grupo de caracteres que se reducen a 0s y 1s. Es-
tos patrones se correlacionan con otros caracteres que jurídicamente se
han etiquetado humanamente como criterios, categorías, hipótesis fácti-
cas, manifestaciones de voluntad concretas (por ej., rechazar la acción).
La predicción es el resultado de la correlación entre: las palabras, frases
o conjunto de palabras o frases clave, respecto de los criterios históricos
etiquetados en los datasets, a la luz de una tasa de acierto que se desee
alcanzar (en el caso que sea posible alcanzarla).

 (34)  “Sets de entrenamiento, test y validación”, 3 de marzo, disponible en https://

[Link]/sets-de-entrenamiento-test-validacion-cruzada/
136
(consultado el 23/04/2021).
 Instructivo de gobernanza de datos

Como la identificación de las palabras clave conlleva una gran canti-

dad de horas de trabajo, es fundamental que cada palabra, frase o conjun-
to de palabras o frases claves (keywords), responda de manera exclusiva
al criterio. Esta tarea presenta un doble desafío. Por un lado, se aspira a
lograr que aparezcan las keywords en un documento, y que el sistema lo
correlacione con el criterio. Por otra parte, y al mismo tiempo, se pretende
evitar que el sistema detecte, además, otros documentos o sentencias que
contengan criterios distintos.
Para una mayor comprensión de lo que implica la búsqueda de ke-
ywords imagínese que se desea segmentar documentos, como senten-
cias, en dos grandes grupos: pretensiones concedidas y pretensiones re-
chazadas. En dicho caso, se deben detectar en los documentos aquellas
palabras, frases o conjunto de palabras o frases clave, que se presenten
únicamente cuando se trata del grupo de documentos en el que se en-
cuentra el criterio en cuestión y no el criterio opuesto. Si ello se logra, el
sistema de IA será capaz de detectar ciertas keywords, de modo que arro-
jará como resultado únicamente las sentencias que involucren el criterio
al que las mismas respondan, por ejemplo, con el criterio “pretensiones
concedidas” y no arrojará los documentos “pretensiones rechazadas”.
Tres lecciones aprendidas para considerar:
1. Cuando aparece una correlación que parece ser y no es o vicever-
sa, se presentan errores de tipo 1 o errores de tipo 2. Por ejemplo,
cuando se imaginan las palabras, frases o conjunto de palabras o
frases clave que podrían relacionarse con “pretensiones denega-
das”, es posible que surjan en las mentes rechazar, negar, denegar,
no conceder. Ahora bien, si únicamente se consideran dichas pa-
labras, frases o conjunto de palabras o frases clave (keywords), es
posible que se generen los llamados errores de tipo 1 y errores de
tipo 2 (35). Por un lado, el sistema podría detectar muchísimas sen-
tencias que utilizaron las keywords indicadas, pero con una inten-
ción distinta de la que se debería abordar. Este es un error de tipo
uno: el sistema identifica más documentos que los que se corres-
ponden únicamente con el criterio en cuestión. Ello podría suce-
der en los casos en los que las sentencias en los que la pretensión
resultó concedida se hayan mencionado algunas de las keywords
indicadas como negar o denegar.
2. Por otro lado, el sistema no sería capaz de detectar aquellos do-
cumentos que utilizaron otras palabras, frases o conjunto de pa-

 (35)  En la literatura, estos se conocen como problemas asociados a los patrones

de información que parecen presentar correlación (falsos positivos) y otros que pare-
137
cen no presentar correlación y en realidad sí la presentan (falsos negativos).
 Corvalán - Papini - Palacios - Palumbo - Pitrau - Quartesan

labras o frases clave similares para el criterio en juego. Es decir, no

será capaz de identificar la cantidad total de documentos en los
que el criterio buscado se encuentra en juego. En el ejemplo, po-
drían ser aquellas en las que se utilizó niéguese o deniéguese. Esto
se denomina error de tipo dos.
3. En ocasiones, las keywords por sí solas no son suficientes para
distinguir correctamente entre las distintas opciones. Es decir, es
necesario tener en cuenta las correlaciones entre las mismas pa-
labras, frases o conjuntos de palabras y frases claves. Por ejemplo,
la presencia de una keyword podría anular otra, o podrían pre-
sentarse varias, pero solo cuando aparece una, primer término, es
cuando se configura la correlación con el criterio. Existen diver-
sas hipótesis posibles con relación a estas cuestiones. A modo de
ejemplo, una sentencia judicial podría resolver “negar el amparo
ya que la pretensión ha sido cumplida”. En este caso, la keyword
“cumplida” anula el patrón reconocido por la keyword “negar” al
presentarse juntas. Por lo tanto, es necesario considerar cómo las
diferentes palabras, frases o conjunto de palabras o frases clave in-
teractúan entre sí al momento de generar un conjunto de patrones
que, finalmente, será el que se decida aplicar en función de su tasa
de acierto al establecer la correlación con los criterios.

•  Etapa 6: refinamiento de palabras, frases o conjunto de palabras o

frases clave (keywords) (36)
Cuando se avanza en el entrenamiento del sistema de IA, se pueden
presentar tres escenarios posibles: a) que se encuentre una palabra o una
frase que conduzcan a la detección con una alta tasa de acierto; b) que
se etiqueten muchas palabras o frases y que, de encontrarse alguna de
ellas, nos lleve al criterio con una alta tasa de acierto; c) que se etiqueten
muchas palabras o grupo de frases, y que a la vez sea necesario asignarles
un peso o una precisa correlación entre ellas, a los fines de detectar un
criterio con una alta tasa de acierto. Durante todo el proceso de prueba,
se pueden presentar errores de tipo uno y dos.
En la etapa de refinamiento, resulta esencial el trabajo conjunto de los
expertos en gobernanza de datos y de los expertos en programación. El
proceso para llegar a las keywords adecuadas se logra a través de prueba
y error. En el refinamiento, los equipos de trabajo se retroalimentan. Esto
significa que las detecciones efectuadas por el equipo de especialistas en

 (36)  Ampliar sobre el refinamiento de palabras, frases o conjuntos de palabras

claves el Protocolo. Predicciones de caja blanca trazables, explicables y auditables del
138
predictivo. Diseño, desarrollo y despliegue.
 Instructivo de gobernanza de datos

IA son utilizadas para ayudar al equipo de analistas a clasificar la docu-

mentación; y las detenciones efectuadas por los analistas sirven para refi-
nar el entrenamiento del sistema.

•  Etapa 7: programación en IA
La labor de los programadores/as comienza por observar y analizar
los documentos para implementar la manera más eficaz de organizar los
datos. El proceso de programación requiere la comunicación constante
con los usuarios/as que utilizarán la herramienta, con el objeto de asi-
milar qué es lo que buscan y esperan de la herramienta y verificar si la
información con que cuentan es suficiente para cubrir las expectativas en
un formato amigable.
Uno de los desafíos que se presenta consiste en encontrar la interfaz
más intuitiva para el sistema. Si se logra alcanzar dicha meta, la herra-
mienta alcanzará el máximo de su potencial y también brindará a los
usuarios una experiencia más que eficiente.
Asimismo, los programadores deberán colocar los documentos —con
el correspondiente reconocimiento de texto efectuado— en una carpeta
que luego se conecta directamente con el sistema de IA para buscar la
información deseada.
Luego, se cargan las palabras, frases o conjunto de palabras o frases
clave (keywords), funciones y patrones que previamente identificados y
definidos por la parte del equipo de trabajo encargada de la gobernanza
de datos. Dicho paso es fundamental para que las búsquedas que realizan
los usuarios de la herramienta resulten eficientes. De ese modo, si las ins-
trucciones (grupos de palabras clave, funciones y patrones) son eficaces,
la detección comienza a arrojar resultados similares o iguales a los que se
determinaron humanamente mediante el análisis y clasificación de las
sentencias.

Anexo 1. Preguntas frecuentes

Este anexo tiene como finalidad responder algunas preguntas recu-

rrentes a la hora de aplicar inteligencia artificial en las organizaciones
públicas.

•  ¿Se puede avanzar con IA, si todavía no se avanzó con el expediente

electrónico?
Cuando se comenzaron a analizar las tareas a las cuales era necesario
aplicar IA en la Corte Constitucional de Colombia, el equipo se percató de
que los expedientes relativos a las acciones de tutela no se encontraban 139
 Corvalán - Papini - Palacios - Palumbo - Pitrau - Quartesan

digitalizados. Sin embargo, este no fue un impedimento, ya que una parte

del equipo de trabajo de la Corte Constitucional se dedicó a escanear las
sentencias a fin de que el equipo de gobernanza pueda comenzar con su
labor. Por este motivo, no fue necesario, en dicho primer momento, que
se dicten normas que obliguen a que los Tribunales lleven adelante las
causas a partir del uso de expedientes electrónicos. Con la única predis-
posición del Tribunal de escanear los documentos necesarios, fue posible
avanzar con el desarrollo del sistema.
A causa de la pandemia, los expedientes comenzaron a remitirse a la
Corte en formato digital, por lo que fue posible sortear el problema del
documento en papel y utilizar el sistema, sin que sea necesario que en el
interior del Tribunal una parte del equipo deba abocarse al escaneo de
los mismos.

•  ¿La ampliación de la oferta de servicios en formatos digitales con-

lleva al avance en tiempo para la realización de las tareas?
A diferencia de lo que sucedió en el paradigma 3.0 basado en la aplica-
ción de nuevas tecnologías a los problemas existentes en el interior de las
organizaciones, el paradigma 4.0 consiste en un auténtico cambio anclado
en transformaciones sustanciales y no meramente instrumentales. Ya no
alcanza con aplicar nuevas tecnologías a los problemas existentes o de me-
jorar sistemas informáticos para hacer lo mismo “con más tecnología”. Se
trata de repensar o redefinir nuevas estrategias y formas de comprender la
relación entre la sociedad y las tecnologías. A partir del procesamiento de
información para resolver problemas y tomar decisiones a través de los al-
goritmos, es posible resolver problemas o tomar decisiones que antes solo
podían ser realizadas por los cerebros humanos. Así como el cerebro extrae,
selecciona, recorta y organiza la información disponible para tomar deci-
siones, la IA hace lo mismo, pero con otros métodos y a otra velocidad (37).
Por este motivo, cuando se intenta lograr la eficiencia y un verdadero
cambio que se refleje en el modo de llegar a los resultados, la inteligencia
artificial es el verdadero camino para lograrlo.

•  ¿Es necesario contratar un equipo experto externo a la organización

a la hora de llevar adelante la gobernanza de datos en mi organización?
Para llevar adelante el proceso de innovación en el interior de la orga-
nización, la necesidad de recurrir a expertos depende de: 1) la formación

 (37)  Corvalán Juan G, “Hacia una Administración Pública 4.0: digital y basada en
inteligencia artificial. Decreto de ‘Tramitación digital completa’”, Thomson Reuters,
17/08/2018, disponible en [Link] (consultado el
140
10/10/2020).
 Instructivo de gobernanza de datos

y predisposición del personal, 2)  de la complejidad de la técnica de IA

que se requiere para dar respuesta a la problemática y 3) de la posibili-
dad de destinar tiempo a la realización de la gobernanza de datos y de la
programación.
Con respecto a la formación del personal, es necesario que el equipo
de trabajo cuente con expertos en ciencia de datos y administración de
empresas con el fin de que puedan organizar y guiar las tareas de gober-
nanza de datos, así como los tiempos en los que las mismas deban ser
cumplidas y las personas encargadas. En general, los equipos de trabajo
que se encargan diariamente de la realización de la tarea, deberán par-
ticipar activamente en el proceso, ya que son quienes conocen en mayor
medida los documentos implicados y el modo de trabajo. Además, cuando
intervienen en los procesos de gobernanza de datos personas acostum-
bradas a trabajar con documentos similares, el proceso de aprendizaje es
mejor. El número de personas encargado de la gobernanza depende de la
complejidad de la tarea y de la cantidad de supuestos y factores involucra-
dos. Por otro lado, la organización deberá contar con un equipo de progra-
madores/as dependiente de las características de la técnica que se llevará
adelante. Este equipo deberá desarrollar la herramienta inteligente.
Existen técnicas de IA que son más sencillas en relación con otras.
Por ejemplo, la automatización es una técnica menos sofisticada o me-
nos compleja desde el punto de vista de la programación, por ejemplo,
los sistemas entrenados para contar plazos procesales o aquellos siste-
mas programados para que, a partir de ciertas preguntas que responde
el usuario/a se pueda armar un documento comprendido por una tarea
estandarizada, lo que permite reducir el tiempo en su realización.
Ahora bien, existen sistemas más complejos que utilizan aprendizaje
automático para detectar patrones o criterios y sobre dicha base tomar
decisiones (38). Para la elaboración de PretorIA se combinaron funcio-
nalidades basadas en sistemas expertos y técnicas de machine learning
(aprendizaje automático) de caja blanca, a través de una subespecie que
se denomina Topic Model. El diseño, desarrollo e implementación del sis-
tema significó un equipo de trabajo de gobernanza y de programación a
tiempo completo. Por la complejidad de la tarea y del sistema de IA que
la misma requería, fue necesario que la Corte recurra a un equipo espe-
cializado en gobernanza de datos y de programación externo a la organi-
zación que trabajó bajo su control y con su participación y que ya había
tenido experiencia en el desarrollo de sistemas inteligentes en más de 42
organismos públicos de Argentina y el mundo.

 (38)  Corvalán, Juan G., Prometea. Inteligencia artificial para transformar organi-
141
zaciones públicas, Astrea, DPI Cuántico.
 Corvalán - Papini - Palacios - Palumbo - Pitrau - Quartesan

Con respecto a la posibilidad de destinar tiempo para la gobernanza

de datos y de programación, ello dependerá de la dinámica de trabajo y
organización al interior de la institución y de la cantidad de personal dis-
ponible, ya que el desarrollo de sistemas inteligentes, por más básica que
se considere la técnica, consume un gran porcentaje de la jornada. Más
aún cuando con anterioridad al paso de selección de la tarea y de la téc-
nica aplicable es necesario llevar adelante un proceso de identificación,
clasificación y cronómetro de las tareas que se realizan a su interior. Más
aún cuando no se tiene experiencia en el desarrollo de sistemas inteligen-
tes, donde es necesario pagar un costo de aprendizaje.

•  ¿La incorporación de IA en las tareas laborales implicará desem-

pleo de las personas encargadas de las mismas?
Si bien existen ciertas tareas que, al ser absorbidas por la IA, implica-
rán una caída en los empleos, la realidad es que en general, el uso de siste-
mas inteligentes es imprescindible para mejorar la calidad de los trabajos
en las organizaciones. Es decir, aunque ciertas tareas se automatizan, eso
no significa que se sustituye a una persona por una máquina. En el corto
y mediano plazo existe una oportunidad para reconfigurar la división de
tareas y aumentar la eficiencia. Los trabajadores/as deberán reconver-
tirse y adaptarse, para lo cual es imprescindible que desde el interior de
las organizaciones se los acompañe en este proceso para crear entornos
fértiles de transición. Sensibilizar, alfabetizar y crear las condiciones ade-
cuadas para que la transición sea inclusiva y que la automatización se en-
foque en humanizar las tareas. En definitiva, hay que reducir o eliminar
las rutinarias, mecánicas, insalubres o repetitivas, para volcar el potencial
humano a nuevas tareas de mayor complejidad. Asimismo, dependiendo
de la tarea, la IA debe ser pensada como una herramienta que contribuye
a que los derechos en juego reciban respuestas más rápidas o bien como
mecanismos para lograr precisión en su realización (39).
En el caso de PretorIA, el sistema no reemplaza al juez, ya que el siste-
ma no toma ninguna decisión por sí mismo y todos los resultados arroja-
dos son sometidos a control humano. Contribuye a mejorar la previsibili-
dad, la seguridad jurídica y de este modo, a lograr una mejor calidad del
sistema de justicia.

 (39)  Corvalán, Juan G., Prometea. Inteligencia artificial para transformar organi-
zaciones públicas, DPI, Astrea, IMODEV, Universidad del Rosario, 2019, disponible en
142
[Link] (consultado el 10/10/2020).
 Protocolo sobre gobernanza algorítmica…

Protocolo sobre gobernanza

algorítmica. Trazabilidad, explicabilidad,
interpretabilidad y fiabilidad. Diseño,
desarrollo y despliegue (1)

Juan G. Corvalán, Ana Paula Montenegro (2),

Carina M. Papini, Matías Puig (3), Osvaldo Pitrau,
Verónica Quartesan y Antonella Stringhini (4)

El presente trabajo fue elaborado con el fin de brindar una orienta-

ción jurídica y técnica sobre la trazabilidad de los sistemas de inteligencia
artificial (5) y su auditoría. Las recomendaciones de los organismos inter-
nacionales en esta materia, así como aquellas que surgen de las normas
jurídicas, son indispensables para la aplicación de un sistema predictivo
compatible con los derechos humanos y con los principios básicos de un
Estado constitucional (6).

 (1)  Las cuestiones que se presentan y muestran no necesariamente reflejan el funcio-

namiento de Pretoria en la actualidad, ya que la Corte Constitucional de Colombia ha
realizado ajustes, modificado y adaptado el sistema a otras necesidades.
 (2)  Programadora en IALAB-UBA. Docente en el Programa de Actualización IA y
Derecho (UBA). Colaboradora en la creación de proyectos de innovación en el Ente
Nacional Regulador del Gas (ENARGAS). Inspiring Story de la iniciativa Good Hu-
man Rights Stories: Empowering women through their insertion in the digital world:
Plan 111 Mil (2019), de la EEAS, Unión Europea. Vocal del Instituto de Tecnologías
Emergentes.
 (3)  Licenciado en Psicología, abogado, profesor en Psicología, profesor en Ciencias
Jurídicas (UBA) y técnico superior en Programación. Miembro del IALAB-UBA. Do-
cente en el Programa de Actualización en Inteligencia Artificial y Derecho de la UBA.
 (4)  Coordinadora académica del Programa de Actualización en Inteligencia Artificial
y Derecho y subdirectora del Programa de Posgrado Transformación Digital e Inteligen-
cia Artificial en la Administración Pública (UBA). Un enfoque multidisciplinario. Coor-
dinadora en IALAB-UBA. Abogada (UBA) especializada en Smart Law - CivesSolutions
Government Innovation and Austrian Institute for European and Security Policy, Viena,
Austria y en Derecho 4.0 - Universidad Austral. Secretaría del Capital Argentina en la Red
Iberoamericana Juvenil de Derecho Administrativo - RJDA y coordinadora del Instituto
de Tecnologías Emergentes de la Asociación Argentina de Justicia Constitucional.
 (5)  En adelante, se utilizará alternadamente IA para referir al mismo concepto.
 (6)  Existe un gran consenso, entre los autores de este Tratado, en que la IA debe
poseer un enfoque centrado en el ser humano, en los derechos humanos y en los va-
lores democráticos durante todo su ciclo de vida. Específicamente, se ha planteado
que en miras de construir un Derecho a la Inteligencia Artificial (DIA), sus principios
143
jurídicos fundamentales podrían inferirse del Derecho Internacional de los Derechos
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

Asimismo, se abordan las cuestiones relativas a la protección de datos

personales de las personas implicadas en los procesos y cuyos datos son
analizados por el sistema a fin de detectar los casos prioritarios en mate-
ria de salud.

I. Ciclo de vida de la inteligencia artificial y trazabilidad

Desde la óptica de la OCDE, los sistemas de IA poseen un ciclo de vida

que implica:
a. Diseño, datos y modelos: es una secuencia dependiente del con-
texto que abarca: planificación y diseño, recopilación y procesa-
miento de datos y construcción de modelos.
— El planeado y diseño implica la articulación del sistema, la de-
finición de los conceptos y objetivos, las suposiciones subya-
centes, la determinación del contexto y los requisitos y poten-
cialmente, la construcción de un prototipo.
— Recolección y procesamiento de datos: recopilación y limpie-
za de datos, realización de controles de integridad y calidad,
documentación de datos y metadatos, características de los
conjuntos de datos, explicación sobre cómo se crearon dichos
conjuntos, composición, usos y forma en que se han manteni-
do en el tiempo.
— Construcción de modelos e interpretación: implica la creación
o selección de los modelos o algoritmos su calibración y la for-
mación e interpretación.
b. Verificación y validación: implica la ejecución y los modelos de
ajuste, con las pruebas para evaluar el rendimiento a través de va-
rias dimensiones y consideraciones.
c. Despliegue: implica pilotaje, la verificación de la compatibilidad
con sistemas, cumplimiento normativo, gestión del cambio orga-
nizacional y evaluación de la experiencia de usuario.
d. Operación y monitoreo: consiste en poner en funcionamiento el
sistema de IA y la evaluación continua de sus recomendaciones e
impacto a la luz de los objetivos y consideraciones éticas. En esta

Humanos. Ampliar esta postura en: López Oneto, Marcos, “Fundamentos antropoló-
gicos, éticos, filosóficos, históricos, sociológicos y jurídicos para la constitución uni-
versal de un Derecho de la Inteligencia Artificial (DIA)”, apart. 4.4 “Para un Derecho
144
de la Inteligencia Artificial (DIA)”, tomo I del presente Tratado.
 Protocolo sobre gobernanza algorítmica…

fase se identifican los problemas y se realizan los ajustes necesa-

rios, o bien, se toma la decisión de retirar el sistema de la IA (7).
Estas fases tienen lugar de manera iterativa y no son necesariamente
secuenciales. La decisión de retirar un sistema puede ocurrir en cualquier
momento.
En todas las etapas del ciclo de vida de los sistemas de IA, es necesa-
rio que se cumplan y respeten los principios y derechos de protección a
las partes interesadas. Dentro del grupo de personas interesadas se en-
cuentran todas las organizaciones e individuos involucrados o afectados
por los sistemas, directa o indirectamente (8). Por este motivo, es necesario
que durante todas las etapas exista trazabilidad.
La trazabilidad puede definirse como el proceso mediante el cual es
posible conocer todas las etapas, ubicaciones o cambios por los que han
pasado los datos en el contexto de una actividad, durante todo su ciclo
de vida. La Organización Internacional para la Estandarización (ISO)
define la trazabilidad o rastreabilidad de la IA como la “aptitud para ras-
trear la historia, la aplicación o la localización de una entidad mediante
indicaciones registradas” (9). Es decir, la trazabilidad permite realizar un
control exhaustivo del proceso de tratamiento de los datos y cómo estos
se correlacionan con los resultados que arroja el sistema de IA (10), incluye,
además, la posibilidad de conocer cómo se llevó adelante el proceso de
gobernanza de datos y el modo en que fue programado el o los algorit-
mos (11). En particular, implica la necesidad de contar con un cabal co-

 (7)  OCDE. Documento de trabajo de la OCDE sobre Gobernanza Pública nro. 34,

Estado de la técnica en el uso de tecnologías emergentes en el sector público, 2019,
traducción disponible en [Link]
2019-Estado-de-la-te%CC%81cnica-en-el-uso-de-las-tecnologi%CC%81as-emergen-
tes-en-el-sector-pu%CC%[Link] (consultado el 23 de abril de 2021).
 (8)  OCDE, Recomendation of the Councilon Artificial Intelligence, 21/05/2019,
disponible en [Link]
(consultado el 10/10/2020).
 (9)  Definición según la norma ISO 8402, complemento de la serie de normas
ISO 9000.
 (10)  “Trazabilidad de los datos”, Logicalis, 23/04/2014, disponible en [Link]
[Link]/analytics/trazabilidad (consultado el 10/10/2020).
En líneas generales, puede afirmarse que gestionar la trazabilidad de los datos (a
la que también es posible referirse como linaje, Data Lineage en inglés), es la capa-
cidad de conocer todo el ciclo de vida de un dato, desde la fecha y hora exacta en que
fue extraído, el momento en que se produjo su transformación, y hasta el instante en
que tuvo lugar su carga desde un entorno fuente (servidor, fichero, tabla campo, etc.)
a otro de destino.
 (11)  Un algoritmo puede ser definido como un conjunto preciso de instruccio-
145
nes o reglas, o como una serie metódica de pasos que puede utilizarse para hacer
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

nocimiento del modo en el que el sistema fue creado y luego entrenado,

los datos que se utilizaron para ello, cómo y bajo qué parámetros se ela-
boraron los datasets y las pruebas realizadas en el sistema, las tasas de
acierto y de error arrojadas, los mecanismos por los cuales las tasas de
aciertos se mejoraron, las auditorías del funcionamiento del sistema una
vez que comienza a ser utilizado y, en esencia, todos aquellos procesos
que permitan conocer las justificaciones por las cuales un sistema arroja
un resultado y no otro y que permiten localizar los errores y simplificar la
corrección de los mismos, a través de los ajustes correspondientes.

II. Predicciones de caja blanca: explicables e interpretables en su totalidad

Cuando el Estado en general, y la justicia en particular desarrolla o

usa sistemas de IA, se refuerza el deber de que estos sean interpretables,
explicables y trazables, ya que existen múltiples principios constituciona-
les y legales asociados. Entre otros, transparencia, motivación y acceso a
la información pública.
La IA no es una sola cosa, sino un conjunto de técnicas. Por eso reco-
mendamos utilizar sistemas de IA de “caja blanca”, que se basan en téc-
nicas que sirven para realizar predicciones, clasificaciones y detecciones
inteligentes que presentan beneficios enormes a la tarea judicial y a la
transformación digital de las organizaciones, sin el riesgo de inexplicabi-
lidad de las cajas negras (12).
Los sistemas de caja blanca aseguran la transparencia de las decisio-
nes, lo que significa que los/as agentes humanos pueden inferir o deducir
una “explicación entendible”, acerca de los criterios en los que se basa un
sistema inteligente para arribar a una determinada conclusión, sugeren-
cia o resultado. La trazabilidad de los sistemas de IA encuentra su epicen-
tro en dos grandes factores.
A) Por un lado, no existe un déficit estructural intrínseco de la lógica
por la cual se procesan los datos y cómo estos se conectan con los
resultados. En otras palabras, como no se usan redes neuronales
complejas que tienen “capas ocultas”, es posible entender huma-
namente, cómo procesa el sistema la información para llegar al
resultado.

cálculos, resolver problemas y tomar decisiones Ampliar en, Domingos, Pedro, “The
master algorithm: how the quest for the ultimate learning machine will remake our
world”, Basic Books, New York, 2015, ps. XVI, 1 y ss.
146
 (12)  Corvalán, Juan G., Perfiles digitales humanos, Thomson Reuters, 2020.
 Protocolo sobre gobernanza algorítmica…

B) Además, las técnicas de “caja blanca” de regresión y clasificación

(Topic Model, por ejemplo) precedidas y acompañadas por una
gobernanza de datos realizada por las personas, permiten que se
despliegue un aprendizaje supervisado íntegro, ya que es posible
conocer la lógica por la cual los sistemas llegan a un resultado y no
a otro distinto.
Como el Estado debe poder justificar, motivar y explicar sus decisio-
nes (13), es indispensable explicar en un 100% la correlación entre los da-
tos, su procesamiento y los resultados, en todo el ciclo de vida de la IA.
Esto significa que aquellos sistemas de IA que no son trazables, en princi-
pio no pueden ser utilizados cuando se trata de decisiones que afectan o
impactan sustancialmente los derechos fundamentales de las personas.
Técnicamente, es posible establecer que se llama caja negra a la he-
rramienta computacional en la que una persona comprende los datos
ingresados en el sistema y los resultados, pero no alcanza a interpretar
o comprender la totalidad del proceso subyacente (14). De este modo tra-

 (13)  Corvalán, Juan G., Prometea. Inteligencia artificial para transformar organi-
zaciones públicas, Astrea, DPI Cuántico, Universidad del Rosario, IMODEV, 2018
disponible en [Link] (consultado el
10/10/2020).
Los sistemas de inteligencia artificial basados en redes neuronales presentan va-
riados riesgos a la hora de ser aplicados como mecanismos predictivos al mundo del
Derecho. (...)Aunque el riesgo más evidente es el de reproducir y ampliar sesgos y
discriminaciones arbitrarias existentes en los datos con que se alimente a la red, este
no es el único. Existe también un riesgo evidente en el hecho de que los modelos de
deep learning simplemente realicen correlaciones y determinen resultados a través
de análisis lineares que no son del todo compatibles con la estructura del Derecho.
Ver Amunategui, Carlos, “Sesgo e inferencia en redes neuronales ante el derecho”,
2020, ps. 18 y 19, disponible en [Link]
[Link] (con-
sultado el 23/04/2021).
 (14)  De un modo general, una red neuronal artificial es una red de elementos
simples (nodos) dotados de organización jerárquica interconectada, masivamen-
te y en paralelo, que busca interactuar con los objetos del mundo real del mismo
modo que lo hace funcionalmente el sistema nervioso biológico (Gurney, 1997, 13).
En principio, las redes neuronales son configuradas por los programadores, quie-
nes determinan la arquitectura del modelo. Seguidamente, estas redes se entrenan
en un conjunto de datos, a través de los cuales el modelo determina los pesos que
asignará a las diversas conexiones entre sus capas, y, en buena medida, configura
sus capas ocultas. De este modo, para funcionar eficientemente y detectar las corre-
laciones entre los datos con que se entrena, una red neuronal requiere de una gran
cantidad de ejemplos. Ver Amunátegui Perelló, Carlos, “Sesgo e inferencia de las re-
des neuronales ante el derecho”, CeTyS, FairLac, BID, 2020, disponible en https://
[Link]/wp-content/uploads/2020/05/Amunategui-Madrid-Sesgo-e-Inferencia-en-
147
[Link] (consultado el 23/04/2021).
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

bajan las redes neuronales artificiales (15) que no proporcionan explica-

ciones sobre los procesos para tomar decisiones. Es posible determinar
cómo una determinada salida ha resultado de la activación de la red, y
cómo esa activación, en respuesta a una entrada dada, fue determinada
por las conexiones entre las neuronas —y por los pesos asignados a tales
conexiones como resultado de la red entrenamiento— y por las funcio-
nes matemáticas que gobiernan cada neurona. Sin embargo, esta infor-
mación no muestra una justificación significativa para los humanos: no
explica por qué se dio una respuesta determinada. Existen muchos enfo-
ques para proporcionar explicaciones del comportamiento de las redes
neuronales y otros sistemas opacos (también llamados ‘cajas negras’) (16),
sin embargo, no es posible determinar el paso a paso de la lógica del pro-
cesamiento de datos que sucede en el interior del sistema, lo que pasa en
las capas ocultas de la red (17). En definitiva, desde una óptica jurídica, las
cajas negras presentan un déficit estructural de motivación, fundamen-

 (15)  Las redes neuronales están compuestas por un conjunto de nodos, llamados
neuronas, dispuestos en múltiples capas y conectados por enlaces. Se les llama así,
ya que reproducen algunos aspectos del sistema nervioso humano, que en realidad
consiste en células especializadas interconectadas, las neuronas biológicas, que reci-
ben y transmiten información. De hecho, las redes neuronales se desarrollaron bajo
el supuesto de que la inteligencia artificial podría lograrse reproduciendo el cerebro
humano, en lugar de modelar el razonamiento humano, es decir, que el razonamien-
to artificial emergería naturalmente de un cerebro artificial. Parlamento Europeo. El
impacto del Reglamento General de Protección de Datos (GDPR) en la inteligencia
artificial, 25 de junio de 2020, disponible en [Link]
en/document/EPRS_STU%282020%29641530 (consultado el 10/10/2020).
 (16)  Cada neurona recibe señales (números) de las neuronas conectadas o del ex-
terior, y estas señales aumentan o disminuyen a medida que cruzan los enlaces en-
trantes, de acuerdo con los pesos de esta última. La neurona aplica algunos cálculos
a la entrada que recibe, y si el resultado alcanza el umbral de la neurona, la neurona
se activa enviando señales a las neuronas conectadas o fuera de la red. La activación
comienza desde los nodos que reciben entradas externas y se propaga a través de la
red. El entrenamiento de la red se lleva a cabo diciéndole si sus respuestas (sus re-
sultados) son correctas o incorrectas. Si una respuesta de la red es incorrecta, el al-
goritmo de aprendizaje actualiza la red, es decir, ajusta los pesos de las conexiones,
de modo que la próxima vez que la red reciba esa entrada, dará la respuesta correcta.
Parlamento Europeo, “El impacto del Reglamento General de Protección de Datos
(GDPR) en la inteligencia artificial”, 25 de junio de 2020, disponible en [Link]
[Link]/stoa/en/document/EPRS_STU%282020%29641530 (consultado
el 10/10/2020).
 (17)  “La IA moderna es, básicamente, una caja negra, que logra un desempeño
superior al humano sin que las personas comprendan cabalmente cómo se obtiene
ese resultado” (Comisión Económica para América Latina y el Caribe, CEPAL, “Da-
tos, algoritmos y políticas: la redefinición del mundo digital”, LC/CMSI.6/4, Santia-
go de Chile, 2018, p. 171, disponible en [Link]
148
le/11362/43477/7/S1800053_es.pdf [consultado el 10/10/2020]).
 Protocolo sobre gobernanza algorítmica…

tación y explicabilidad en cuanto a sus resultados (18), ya que no es po-

sible conocer el motivo específico por el cual se llega a un determinado
resultado.
Se recomienda no usar, en principio, este tipo de sistemas cuando se
trata de incidir significativamente en los derechos fundamentales de las
personas, salvo que se utilicen de una forma accesoria, como elemento
de control, apoyo, búsqueda de información o bien, bajo la modalidad de
agente conversacional (19).
En síntesis: cuando están en juego los derechos de personas y las de-
cisiones tomadas con asistencia de IA tienen impacto directo en estos, es
clave que los resultados intermedios del sistema sean validados y por eso
es esencial adoptar un enfoque de caja blanca de IA. Y aunque se utilicen
estas técnicas trazables, interpretables y explicables, es esencial docu-
mentar y exponer las estructuras internas de razonamiento que se siguen
hasta arribar a los resultados, predicciones o decisiones (20).

III. Principios para una administración de la IA confiable: justificación

de la necesidad de utilizar sistemas de IA trazables

La IA no es un fin en sí mismo, sino un medio que debe servir a las

personas con el objetivo de aumentar su bienestar. La finalidad es garan-
tizar que la IA posea un enfoque centrado en el ser humano. Únicamente
de este modo será posible generar confianza en los seres humanos en re-
lación a los resultados que un sistema genera. Por este motivo, la IA debe
ser desarrollada de modo que las personas sean su centro, lo cual implica
que los sistemas deben estar sujetas a los principios que se detallan a con-

 (18)  Ver Corvalán, Juan G., Perfiles digitales humanos, Thomson Reuters, 2020.
 (19)  Si un algoritmo está diseñado para recomendar al juez una sentencia o di-
rectamente para decidir un conflicto, el resultado puede ser perfectamente ilegal y
arbitrario. En principio esto podría prevenirse con mejores datos o directamente des-
echando las recomendaciones realizadas por algoritmos que no se basen en correla-
ciones lícitas, pero esto no es fácil de determinar, ya que los modelos de redes neu-
ronales tienden a ser opacos y poco explicables. Ver: Amunategui, Carlos, “Sesgo e
inferencia en redes neuronales ante el derecho”, 2020, p. 9, disponible en [Link]
ai/wp-content/uploads/2020/05/Amunategui-Madrid-Sesgo-e-Inferencia-en-Redes-
[Link] (consultado el 23/04/2021).
 (20)  Téngase en cuenta que para garantizar que el sistema es compatible con los
derechos, es necesario someter de manera constante a procesos de verificación, va-
lidación y supervisión.
Ampliar en “El ciclo de vida de un sistema de información”, disponible en [Link]
149
[Link]/docencia/2005-2006/2/apuntes/[Link] (consultado el 23/04/2021).
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

tinuación (21) y que, en esencia, permiten garantizar y cumplir el princi-

pio de dignidad algorítmica que resulta una derivación de la dignidad
digital y hacer más robusto el sistema de protección de la persona (22).

3.1. Principio de trazabilidad algorítmica

En el estado actual de la IA, es necesario que los sistemas tengan un

enfoque de derechos humanos. Como regla, se debe garantizar la inte-
ligibilidad y trazabilidad del proceso de toma de decisiones inteligen-
tes (23). De hecho, la trazabilidad algorítmica ha sido reconocida como un
principio (24) que se encuentra relacionado con el principio de transpa-
rencia y explicabilidad de los sistemas de IA, que la OCDE adoptó en sus
investigaciones (25).
La trazabilidad implica la documentación plena de todas las fases de
desarrollo del sistema, cada etapa detrás del diseño, la gobernanza, de su

 (21)  Comisión Europea, “Generar confianza en la inteligencia artificial centrada en

el ser humano”, Bruselas, 08/04/2019, p. 2, disponible en [Link]
rency/regdoc/rep/1/2019/ES/[Link] (consultado el
10/10/2020).
Más allá de los nuevos principios que nacen a causa de la inteligencia artificial,
se ha sostenido que quizás sea necesario realizar ajustes incorporando nuevos de-
rechos relacionados con la tecnología, pero la clave principal pasará por interpretar
y aplicar los derechos normativamente existentes desde una mirada poshumanista.
Ver Gil Domínguez, Andrés, Inteligencia artificial y derecho, Rubinzal-Culzoni, no-
viembre 2019, cap. 1, “El poshumanismo y los derechos”.
 (22)  Para que el desarrollo de la IA sea compatible con un “modelo de derechos
humanos”, es preciso impulsar una regulación que incorpore una serie de principios
que en gran medida se vinculan con tres categorías incipientes: dignidad algorítmica,
identidad algorítmica y vulnerabilidad algorítmica. Todas ellas, se presentan como
una derivación de la dignidad digital (que a su vez se integra por la identidad digital)
de las personas humanas en el mundo digital.
Corvalán, Juan G., “La primera inteligencia artificial al servicio de la Justicia:
Prometea”, LL del 29/09/2017, disponible en [Link]
uploads/2019/05/Art%C3%[Link] (consultado el 10/10/2020).
 (23)  El principio de trazabilidad de los sistemas ha sido reconocido por la OCDE,
ver en: [Link] (con-
sultado el 10/10/2020).
 (24)  Ver “La inteligencia Artificial al servicio del bien social en América Latina y
el Caribe”, BID, p. 122, disponible en [Link]
nish/document/La-inteligencia-artificial-al-servicio-del-bien-social-en-America-La-
tina-y-el-Caribe-Panor%C3%A1mica-regional-e-instant%C3%A1neas-de-doce-paises.
pdf (consultado el 10/10/2020).
 (25)  Recomendación del Consejo de Inteligencia Artificial, “Instrumentos Legales
de la OCDE”, adoptado el 21 de mayo de 2019, disponible en [Link]
150
[Link]/en/instruments/OECD-LEGAL-0449 (consultado el 10/10/2020).
 Protocolo sobre gobernanza algorítmica…

entrenamiento, y los cambios que se reflejen en el mismo y la implemen-

tación del sistema de ayuda en la toma de decisiones (26). Asimismo, y en
relación con el principio de transparencia, el objetivo clave es proporcio-
nar una buena documentación que pueda ser comprendida por personas
con distintos niveles de conocimiento técnico y que cubra todo el proce-
so (27), es decir, adaptada a las personas.
El sistema debe ser explicable en un 100%, esto excluye aquellos sis-
temas que solo pueden ser explicados parcialmente. El hecho de desa-
rrollar sistemas explicables tiene como contracara que los mismos sean
comprensibles para los seres humanos (28).

3.2. Principio de transparencia algorítmica y explicabilidad

El Banco Interamericano de Desarrollo ha indicado que durante el en-

trenamiento de los algoritmos surgen desafíos relacionados con sesgos (29),
explicabilidad y otros factores que pueden poner en duda la ética y la trans-
parencia de los sistemas e impedir su legitimidad (30).

 (26)  Ver Comisión Europea, “Generar confianza en la inteligencia artificial centra-

da en el ser humano”, Bruselas 08/04/2019, disponible en [Link]
parency/regdoc/rep/1/2019/ES/[Link] (consulta-
do el 10/10/2020).
 (27)  Alan Turing Institute. Explicando las decisiones tomadas con IA. Parte I.
 (28)  El rápido desarrollo de la inteligencia artificial debe estar respaldado por la
necesaria comprensión y supervisión regulatoria de las tecnologías basadas en la in-
teligencia artificial para permitir el desarrollo sostenible. Nature Communications,
“El papel de la inteligencia artificial en el logro de los Objetivos de Desarrollo Sosteni-
ble”, 13 de enero de 2020, disponible en [Link]
PMC6957485/# (consultado el 10/10/2020).
 (29)  Sobre los sesgos que pueden tener los sistemas de inteligencia artificial ver
Sánchez Caparrós, Mariana, “Inteligencia artificial, sesgos y categorías sospechosas.
Prevenir y mitigar la discriminación algorítmica”, apart. 2 “Inteligencia artificial, ses-
gos y categorías sospechosas”, tomo I del presente Tratado. Asimismo, ver Adaro, Ma-
rio D. - Repetto, Marisa, “Ciber-ética y la necesidad de un ecosistema de gobernanza
digital”, apart. 3.1 “Ética por el diseño”, tomo I del presente Tratado.
 (30)  Constanza Gómez Mont; Claudia May Del Pozo; Cristina Martínez Pinto; Ana
Victoria Martín del Campo Alcocer, La inteligencia artificial al servicio del bien social
en América Latina y el Caribe, BID, mayo 2020, p. 6, disponible en [Link]
[Link]/es/la-inteligencia-artificial-al-servicio-del-bien-social-en-america-la-
tina-y-el-caribe-panor%C3%A1mica-regional-e-instant%C3%A1neas-de-doce-paises
(consultado el 23/04/2021).
Téngase en cuenta que en el ámbito del MIT se ha llevado adelante un proyecto lla-
mado la Liga de la Justicia Algorítmica que se encuentra comprometido con la Justi-
cia, Responsabilidad y Transparencia de los sistemas codificados, ver: Béliz, Gustavo,
151
“Colaboremos para enfrentar los riesgos éticos de la inteligencia artificial”, Blog BID,
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

Desde el año 2017, en el estudio publicado en el Consejo de Estado Fran-

cés (31), así como en la Conferencia ante la Organización de Estados Ameri-
canos (32), en los albores de Prometea, el autor propuso el principio de trans-
parencia algorítmica como uno de los más importantes para que la IA sea
compatible con los derechos humanos y evitar las problemáticas de sesgos.
Este principio sostiene que la IA debe ser transparente en sus deci-
siones (33), lo que significa que se puede inferir o deducir una explicación

31 de agosto de 2018, disponible en [Link]

riesgos-eticos-de-la-inteligencia-artificial/ (consultado el 10/10/2020).
En dicho documento se especificó que la transparencia y explicabilidad es uno de
los ejes temáticos de ética y políticas inclusivas en torno a la IA.
Ver Cabrol, Marcelo - González A., Natalia - Pombo, Cristina - Sánchez A., Roberto,
“Adopción ética y responsable de la inteligencia artificial en América Latina y el Caribe”,
Fair LAC, BID, p. 25, disponible: [Link]
cument/fAIr_LAC_Adopci%C3%B3n_%C3%A9tica_y_responsable_de_la_inteligencia_ar-
tificial_en_Am%C3%A9rica_Latina_y_el_Caribe_es.pdf (consultado el 10/10/2020).
 (31)  Corvalán, Juan G., “L’algorithme et les droits de l´ homme”, Conseil D’Etat,
Ettude anuelle 2017, p. 179.
 (32)  Corvalán, Juan G., Prometea. Inteligencia artificial para transformar organizacio-
nes públicas, Astrea, DPI Cuántico, Universidad del Rosario, IMODEV, 2018, p. 94 dispo-
nible en [Link] (consultado el 10/10/2020).
Este libro refleja, en sustancia, el texto ampliado de la Conferencia durante la Asam-
blea Ordinaria del Consejo Permanente de la Organización de Estados Americanos
del miércoles 22 de agosto de 2018, disponible en [Link]
[Link] (consultado el 23/04/2021).
 (33)  Pone de relieve el principio de transparencia, que consiste en que siempre
ha de ser posible justificar cualquier decisión que se haya adoptado con ayuda de la
inteligencia artificial, Resolución del Parlamento Europeo, de 16 de febrero de 2017,
con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre
robótica, 2015/2103-INL, consid. 12), disponible en [Link]
eu/doceo/document/TA-8-2017-0051_ES.html (consultado el 23/04/2021).
El principio de transparencia y hacer métodos de procesamientos accesibles y
comprensibles ha sido destacado en: Consejo de Europa, “Carta ética europea so-
bre el uso de inteligencia artificial en los sistemas de justicia y su entorno”, 3-4 de
diciembre de 2018. Ver sobre la Carta: [Link]
vas-tecnologias/el-consejo-de-europa-adopta-la-primera-carta-tica-europea-sobre-
el-uso-de-inteligencia-artificial-en-los-sistemas-judiciales-2019-01-10/ (consultado el
23/04/2021).
Este requisito guarda una relación estrecha con el principio de explicabilidad e in-
cluye la transparencia de los elementos pertinentes para un sistema de IA: los datos,
el sistema y los modelos de negocio. Grupo independiente de expertos de alto nivel
sobre IA, “Directrices éticas sobre una inteligencia artificial fiable”, 2018, p. 22, dis-
ponible en [Link]
te-de-expertos-de-alto-nivel-sobre-IA-creado-por-la-Comisio%CC%[Link]
(consultado el 10/10/2020).
También se ha hablado del principio como máxima transparencia algorítmi-
ca. Máxima Transparencia algorítmica. El diseño, desarrollo y uso de la IA debe ser
152
transparente y abierto. La transparencia algorítmica se vincula con la prohibición
 Protocolo sobre gobernanza algorítmica…

entendible acerca de los criterios en que se basa para arribar a una deter-
minada conclusión, sugerencia o resultado. Además, las capacidades y el
propósito de los sistemas de IA se deben comunicar abiertamente y las
decisiones deben explicarse a los afectados, tanto directa como indirec-
tamente (34). Se encuentra vinculado al principio de trazabilidad debido a
que, gracias a la trazabilidad de los sistemas es posible conocer su ciclo
de vida y, por lo tanto, el modo en que fue entrenado. Ello sin dudas, es
necesario para conocer la transparencia en relación con el modo en que
cada sistema llega a un resultado y no a otro.
La transparencia algorítmica se vincula con la prohibición de la exis-
tencia de cajas negras en los algoritmos o la existencia de fallas, frente a
daños o lesiones que puedan causar. Así como un individuo esperaría
que un ser humano le explique el modo en que se tomó una decisión
determinada, debería esperar una explicación de las personas responsa-
bles de un sistema de IA (35).
La necesidad de que los sistemas de IA resulten explicables se justifi-
ca en que los datos y los sistemas que los procesan de manera automati-
zada, podrían estar impregnados por los mismos prejuicios irracionales
de los creadores/as o programadores/as, o bien sea porque se no tienen
en cuenta cierta información relevante o por errores en el diseño o imple-

de la existencia de “cajas negras” en los algoritmos o la existencia de fallas, frente a

daños o lesiones que puedan causar. Ver Corvalán, Juan G., “Inteligencia artificial y
derechos humanos, Parte  II”, 10/07/2017, DPI Cuántico, disponible en [Link]
[Link]/sitio/wp-content/uploads/2017/07/Juan-Gustavo-Corvalan-Constitu-
[Link] (consultado el 10/10/2020).
El principio de transparencia de los sistemas de IA ha sido reconocido también en
Comisión Europea, “Libro blanco sobre la inteligencia artificial - un enfoque europeo
orientado a la excelencia y la confianza”, Bruselas, 19/02/2020.
 (34)  Parlamento Europeo, “El impacto del Reglamento General de Protección de
Datos (GDPR) en la inteligencia artificial”, 25 de junio de 2020, disponible en https://
[Link]/stoa/en/document/EPRS_STU(2020)641530 (consultado el
10/10/2020).
 (35)  Alan Turing Institute. Explicando las decisiones tomadas con IA. Parte I, p. 13.
“La transparencia no se limita a informar al usuario de la existencia de tecnologías de
inteligencia artificial en las plataformas y servicios en línea que usa. Las empresas y los
Gobiernos deben adoptar la transparencia en cada aspecto de la cadena de valor de la
inteligencia artificial”. Ver: la res. 73/348 de la Asamblea General “Promoción y protec-
ción del derecho a la libertad de opinión y expresión”, A/73/348, 29 de agosto de 2018,
consid. 50, disponible en [Link] (consultado el 10/10/2020).
El principio de explicabilidad ha sido destacado en: Grupo independiente de ex-
pertos de alto nivel sobre IA, “Directrices éticas sobre una inteligencia artificial fiable”,
2018, disponible en [Link]
pendiente-de-expertos-de-alto-nivel-sobre-IA-creado-por-la-Comisio%CC%81n-Euro-
153
[Link] (consultado el 10/10/2020).
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

mentación del modelo (36). En efecto, la responsabilidad, transparencia

y explicabilidad algorítmica, se encuentran estrechamente relacionadas
con los principios éticos de benevolencia, no maleficencia y autonomía
que deberían gobernar los sistemas de IA (37).
En esencia, la información que requiere brindarse para poder consi-
derar que el sistema es explicable consiste en:
— Información sobre el sistema en relación con su diseño e
implementación.
— Explicación acerca de los resultados.
Además, la explicabilidad algorítmica reposa sobre dos pilares esen-
ciales más:
— ¿Cómo funciona? De modo que se incorpora el sentido epistemo-
lógico de la inteligibilidad como respuesta.
— ¿Quién es responsable de la manera cómo funciona? Pregunta
que abarca el sentido ético de la responsabilidad (38).
Se han desarrollado seis tipos principales de explicación:
— Explicación racional: implica explicar las razones que llevaron a
que el sistema tome una determinada decisión, de manera accesi-
ble y no técnica.
— Explicación de responsabilidad: consiste en la explicación del
proceso y las personas involucradas en el desarrollo, gestión e im-
plementación del sistema. Además, debería especificarse aquellos
que realizan la supervisión una vez que se ha puesto en marcha
el sistema. También es necesario especificar en este sentido los
roles y funciones.

 (36)  Katyal 2019, Castaño, Daniel, “La gobernanza de la inteligencia artificial en

América Latina”, CeTyS, FairLac y BID, 2020, disponible en [Link]
tent/uploads/2020/07/Casta%C3%B1o-La-gobernanza-de-la-Inteligencia-Artificial-
en-America-Latina_compressed.pdf (consultado el 23/04/2021).
 (37)  Floridi y Cowls (2019) citado en Castaño, Daniel, “La gobernanza de la in-
teligencia artificial en América Latina: entre la regulación estatal, la privacidad y la
ética digital”, CeTyS, FairLAC, BID, 2020, disponible en [Link]
uploads/2020/05/Casta%C3%B1o-La-gobernanza-de-la-Inteligencia-Artificial-
[Link] (consultado el 23/04/2021).
 (38)  Floridi y Cowls (2019) citado en Castaño, Daniel, “La gobernanza de la in-
teligencia artificial en América Latina: entre la regulación estatal, la privacidad y la
ética digital”, CeTyS, FairLAC, BID, 2020, disponible en [Link]
uploads/2020/05/Casta%C3%B1o-La-gobernanza-de-la-Inteligencia-Artificial-
154
[Link] (consultado el 23/04/2021).
 Protocolo sobre gobernanza algorítmica…

— Explicación de datos: enumeración y descripción de aquellos da-

tos que se utilizaron en el desarrollo de los criterios.
— Explicación de equidad: implica la explicación de los pasos to-
mados en el diseño e implementación de un sistema de IA para
garantizar que los resultados sean imparciales y justos. En este
punto, se requiere brindar una explicación detallada acerca de la
calidad y cantidad de datos utilizados.
— Explicación se seguridad y rendimiento: los pasos que se dieron
en el diseño e implementación del sistema para maximizar la
precisión, la confiabilidad, seguridad y solidez de los resultados.
Así como las condiciones de ciberseguridad de la herramienta.
— Explicación de impacto: pasos dados en el diseño e implementa-
ción para monitorear los impactos que el uso de un sistema y sus
decisiones tiene o puede tener en un individuo (39).
La información que se brinda acerca del sistema debe resultar com-
prensible, oportuna y adaptada al nivel de especialización de la parte in-
teresada —que puede ser incluso una persona no experta en la materia,
un regulador o un investigador/a— (40). En este sentido es útil referirse a
la interpretabilidad y explicabilidad de los sistemas que tienen relación
inversa (41).

 (39)  Alan Turing Institute. Explicando las decisiones tomadas con IA. Parte I.
 (40)  Grupo independiente de expertos de alto nivel sobre IA, “Directrices éticas so-
bre una inteligencia artificial fiable”, 2018, p. 22, disponible: [Link]
publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1 (consulta-
do el 23/04/2021).
 (41)  Por un lado, la interpretabilidad es la capacidad de observar bidireccional-
mente en un sistema situaciones de causa y efecto. Esto implica tanto entender las
razones por las cuales se ha realizado una predicción concreta, como predecir lo
que sucederá dado un cambio en la entrada o en los parámetros algorítmicos. En-
tre tanto, la explicabilidad es un concepto más amplio que describe la capacidad de
entender en términos humanos el funcionamiento de un modelo considerando sus
entradas y salidas. En términos generales, se puede afirmar que existe una relación
inversa entre explicabilidad e interpretabilidad. Cabrol, Marcelo - González A., Na-
talia - Pombo, Cristina - Sánchez A., Roberto, “Adopción ética y responsable de la
inteligencia artificial en América Latina y el Caribe”, Fair LAC, BID, Página 25, dis-
ponible: [Link]
Adopci%C3%B3n_%C3%A9tica_y_responsable_de_la_inteligencia_artificial_en_
155
Am%C3%A9rica_Latina_y_el_Caribe_es.pdf (consultado el 10/10/2020).
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

3.3. Valores centrados en el ser humano, diversidad, no discriminación

y equidad

3.3.1. Valores centrados en el ser humano

Los actores de IA deben respetar el estado de derecho, los derechos

humanos y los valores democráticos a lo largo de todo el ciclo de vida (42),
desde el diseño hasta la implementación (43) y funcionamiento. De hecho,
se ha consagrado el principio de beneficencia, reflejado en declaraciones
de ética de IA, que sostiene que la IA debe ser diseñada para ayudar a
promover el bienestar de las personas (44).
En este sentido cuando los Estados adquieren o despliegan siste-
mas o aplicaciones de IA, deben asegurar que los órganos del Sector
Público actúen de conformidad con los principios de derechos huma-
nos (45) y deben crear un marco normativo y legislativo propicio para un
entorno de información diverso y pluralista. Esto incluye tomar medi-
das para garantizar la competencia en el campo de la IA. Cuando co-
rresponda, la reglamentación sectorial de aplicaciones determinadas

 (42)  Ídem.
El respecto a la democracia, Justicia y Estado de Derecho ha sido destacado tam-
bién en: Grupo independiente de expertos de alto nivel sobre IA, “Directrices éticas
sobre una inteligencia artificial fiable”, 2018, disponible en [Link]
content/uploads/2020/06/Grupo-independiente-de-expertos-de-alto-nivel-sobre-IA-
creado-por-la-Comisio%CC%[Link] (consultado el 10/10/2020).
Ver OCDE. Documento de trabajo de la OCDE sobre Gobernanza Pública nro. 34,
Estado de la técnica en el uso de tecnologías emergentes en el sector público.
La inteligencia artificial es una tecnología estratégica que ofrece numerosas venta-
jas a los ciudadanos, las empresas y la sociedad en su conjunto, siempre y cuando sea
antropocéntrica, ética y sostenible y respete los derechos y valores fundamentales.
Ver Comisión Europea, “Libro blanco sobre la inteligencia artificial - un enfoque eu-
ropeo orientado a la excelencia y la confianza”, Bruselas, 19/02/2020.
 (43)  Consejo de Europa, “Carta ética europea sobre el uso de inteligencia artificial
en los sistemas de justicia y su entorno”, 3-4 de diciembre de 2018. Ver sobre la Car-
ta: [Link]
adopta-la-primera-carta-tica-europea-sobre-el-uso-de-inteligencia-artificial-en-los-
sistemas-judiciales-2019-01-10/ (consultado el 23/04/2021).
 (44)  Guszcza, James - Lee, Michelle A. - Ammanath, Beena - Kuder, Dave, “Valo-
res humanos en el circuito: principios de diseño para la IA ética”, 26 de enero de 2020,
Deloitte Review.
 (45)  Cuando adquieren o despliegan sistemas o aplicaciones de inteligencia ar-
tificial, los Estados deben asegurar que los órganos del sector público actúen de
conformidad con los principios de derechos humanos. La res. 73/348 de la Asam-
blea General “Promoción y protección del derecho a la libertad de opinión y expre-
sión”, A/73/348, 29 de agosto de 2018, consid. 62, disponible en [Link]
156
es/A/73/348 (consultado el 10/10/2020).
 Protocolo sobre gobernanza algorítmica…

de la IA puede ser necesaria y eficaz para la protección de los derechos

humanos.
Ello incluye actualizar y aplicar la reglamentación vigente, particu-
larmente la reglamentación de protección de datos, al campo de la IA,
según planes regulatorios o corregulatorios destinados a requerir que
las empresas hagan evaluaciones del efecto y auditorías de las tecno-
logías de IA y a asegurar la existencia de mecanismos externos eficaces
de rendición de cuentas. Además, debe garantizarse que el desarrollo y
despliegue de herramientas de IA se realice en un marco socio-técnico,
que incluya tecnologías, habilidades humanas, estructuras organizativas
y normas, donde los intereses individuales y el bien social sean preser-
vados y mejorados.

3.3.2. No discriminación

Asimismo, debe evitarse que los conjuntos de datos utilizados por los
sistemas de IA —tanto para la preparación del sistema, entrenamiento,
pruebas y funcionamiento— contengan sesgos involuntarios, por estar
incompletos o por modelos de gobernanza deficientes, ya que la persis-
tencia de los mismos podría dar lugar a discriminación (46). Téngase en
cuenta que una serie de factores incorporan sesgos en los sistemas de IA

 (46)  Comisión Europea, “Generar confianza en la inteligencia artificial centra-

da en el ser humano”, Bruselas, 08/04/2020, p.  6, disponible en [Link]
eu/transparency/regdoc/rep/1/2019/ES/[Link]
(consultado el 10/10/2020).
La res. 35/9 de la Asamblea General “Promoción, protección y disfrute de los dere-
chos humanos en Internet: medios de cerrar la brecha digital entre los géneros desde
una perspectiva de derechos humanos”, A/HRC/35/9, 5 de mayo de 2017, consid. 41,
disponible en [Link] (consultado el 10/10/2020).
Si los mecanismos cuentan con un sesgo obtenido, sea de los datos, sea del diseño
de su función de éxito, el resultado será una amplificación de la discriminación que
experimentan los miembros más vulnerables de nuestra sociedad. Ver Amunategui,
Carlos, “Sesgo e inferencia en redes neuronales ante el derecho”, 2020, p. 32, dispo-
nible en [Link]
[Link] (consultado el 23/04/2021).
Consejo de Europa, “Carta ética europea sobre el uso de inteligencia artificial en
los sistemas de justicia y su entorno”, 3-4 de diciembre de 2018. Ver sobre la Carta:
[Link]
adopta-la-primera-carta-tica-europea-sobre-el-uso-de-inteligencia-artificial-en-los-
sistemas-judiciales-2019-01-10/ (consultado el 23/04/2021).
La necesidad de evitar sesgos injustos ha sido destacada en Grupo independiente de
expertos de alto nivel sobre IA. Directrices éticas sobre una inteligencia artificial fiable,
año 2018.
La equidad y la no discriminación ha sido reconocidos como principios en Co-
misión Europea, “Libro Blanco sobre la inteligencia artificial. Un enfoque europeo
157
orientado a la excelencia y la confianza”, Bruselas, 19/02/2020.
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

y aumentan su potencial discriminatorio. Entre ellos, los modos en los

que se diseñan los sistemas, las decisiones sobre el origen y el alcance de
los conjuntos de datos con que se entrenan, los sesgos sociales y cultura-
les de los creadores/as de los conjuntos de datos (47). Por este motivo, a la
hora de elaboración de los datasets, se debe prestar especial atención a
estas problemáticas.
La importancia del principio de no discriminación en relación con
la IA ha llevado a que en el año 2017 el autor considere que se ha con-
sagrado un principio de no discriminación algorítmica de acuerdo con
el cual, en el diseño o implementación de los algoritmos inteligentes es
necesario impedir que las máquinas inteligentes procesen información o
datos bajo sesgos o distinciones frente a seres humanos, por motivos de
raza, color, sexo, idioma, religión, opinión política o de otra índole, origen
nacional o social, posición económica, nacimiento o cualquier otra con-
dición social (48).

Entre los principios para una IA confiable enumerados por la Unión Europea se en-
cuentra Diversidad, no discriminación y equidad, que incluye la prevención de pre-
juicios injustos, accesibilidad y diseño universal, y participación de los interesados.
Ver Parlamento Europeo, “El impacto del Reglamento General de Protección de Datos
(GDPR) en la inteligencia artificial”, 25 de junio de 2020, disponible en [Link]
[Link]/stoa/en/document/EPRS_STU%282020%29641530(consultado
el 10/10/2020).
Sobre sesgos involuntarios que podrían dar lugar a discriminación ver Sánchez Ca-
parrós, Mariana, “Inteligencia artificial, sesgos y categorías sospechosas. Prevenir y
mitigar la discriminación algorítmica”, tomo  I del presente Tratado. Asimismo, ver
Tolosa, Pamela, “Algoritmos, estereotipos de género y sesgos. ¿Puede hacer algo el
derecho?”, tomo I del presente Tratado.
 (47)  Se ha sostenido que es necesario depurar conjuntos de datos para eliminar
datos discriminatorios y tomar medidas para compensar los datos que ‘contienen la
impronta de pautas históricas y estructurales de discriminación’ y de los cuales los
sistemas de inteligencia artificial tienden a derivar representantes discriminatorios.
La res. 73/348 de la Asamblea General “Promoción y protección del derecho a la li-
bertad de opinión y expresión”, A/73/348, 29 de agosto de 2018, consid. 38, disponible
en [Link] (consultado el 10/10/2020).
Sobre los diferentes tipos de sesgos provenientes de diversos factores ver Sobre los
sesgos que pueden tener los sistemas de inteligencia artificial ver Sánchez Caparrós,
Mariana, “Inteligencia artificial, sesgos y categorías sospechosas. Prevenir y mitigar
la discriminación algorítmica”, apart. 2 “Inteligencia artificial, sesgos y categorías sos-
pechosas”, tomo I del presente Tratado. Asimismo, ver Adaro, Mario D. - Repetto, Ma-
risa, “Ciber-ética y la necesidad de un ecosistema de gobernanza digital”, apart. 3.1
“Ética por el diseño”, tomo I del presente Tratado.
 (48)  Corvalán, Juan G., “Inteligencia artificial y derechos humanos, Parte II”, DPI
Cuántico, 10/07/2020, disponible en [Link]
uploads/2017/07/[Link] (consulta-
158
do el 10/10/2020).
 Protocolo sobre gobernanza algorítmica…

3.3.3. Equidad

El desarrollo, despliegue y utilización de los sistemas de IA debe ser

equitativo. La equidad tiene una dimensión sustantiva que implica el
compromiso de asegurar que las personas y grupos no sufran sesgos in-
justos ni discriminación. Además, implica que las personas y los grupos
estén libre de prejuicios injustos, discriminación y estigmatización (49).
Si es posible evitar los sesgos, los sistemas podrían incluso aumentar la
equidad social (50). También se ha consagrado el principio de equidad
algorítmica en virtud del cual, justamente, los sistemas de IA deben ser
justos, imparciales y tratar a las personas por igual (51). La equidad forma
parte de los principios éticas junto con la autonomía, prevención de da-
ños, equidad y explicabilidad (52).

3.3.4. Equidad informativa

La trazabilidad de los sistemas de IA debe ligarse a la necesidad de

explicar las inferencias automatizadas que realiza el sistema para los titu-
lares de los datos conozcan también los procesos (53).

3.4. Robustez, seguridad y protección

Los sistemas de IA deben ser robustos, seguros y protegidos durante

todo el ciclo de vida para que, en condiciones de uso normal, uso previ-

 (49)  Parlamento Europeo, “El impacto del Reglamento General de Protección de

Datos (GDPR) en la inteligencia artificial”, 25 de junio de 2020, disponible en https://
[Link]/stoa/en/document/EPRS_STU%282020%29641530 (con-
sultado el 10/10/2020).
 (50)  Grupo independiente de expertos de alto nivel sobre IA, “Directrices éticas
sobre una inteligencia artificial fiable”, 2018, p. 15, disponible en [Link]
ar/wp-content/uploads/2020/06/Grupo-independiente-de-expertos-de-alto-nivel-so-
bre-IA-creado-por-la-Comisio%CC%[Link] (consultado el 10/10/2020).
 (51)  Guszcza, James - Lee, Michelle A. - Ammanath, Beena - Kuder, Dave, “Valores
humanos en el circuito: principios de diseño para la IA ética”, Deloitte Review, 26 de
enero de 2020.
 (52)  Parlamento Europeo, “El impacto del Reglamento General de Protección de
Datos (GDPR) en la inteligencia artificial”, 25 de junio de 2020, disponible en https://
[Link]/stoa/en/document/EPRS_STU%282020%29641530 (con-
sultado el 10/10/2020).
 (53)  Ídem.
Consejo de Europa, “Carta ética europea sobre el uso de inteligencia artificial en
los sistemas de justicia y su entorno”, 3-4 de diciembre de 2018. Ver sobre la Carta:
[Link]
adopta-la-primera-carta-tica-europea-sobre-el-uso-de-inteligencia-artificial-en-los-
159
sistemas-judiciales-2019-01-10/ (consultado el 23/04/2021).
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

sible, funcionen adecuadamente. La robustez de los sistemas debe existir

tanto desde el punto de vista técnico como social, puesto que los sistemas
de IA, incluso cuando las intenciones son buenas, pueden generar daños
accidentales (54).
La fiabilidad de la IA requiere que los sistemas sean suficientemente
seguros, fiables y sólidos para resolver errores o incoherencias durante
todas las fases de su ciclo vital (55). En este sentido es necesario garantizar
la trazabilidad, incluso en relación con los conjuntos de datos, procesos
y decisiones tomadas durante el ciclo de vida, para permitir el análisis,
corrección de fallas y se puedan dar respuestas a las preguntas. Caso con-
trario, es posible que estos sistemas no resulten merecedores de confian-
za y pueden producirse consecuencias no deseadas que obstaculicen su
adopción, por lo que se debe establecer la ética como pilar fundamental
para garantizar y expandir la IA fiable (56).

3.5. Trazabilidad y protección de datos personales

En los documentos que ingresan a un sistema de inteligencia artificial,

en general, se encuentran en juego múltiples datos personales, dentro de
los cuales también pueden existir datos sensibles. Cuando esto sucede, es

 (54)  Grupo independiente de expertos de alto nivel sobre IA, “Directrices éticas
sobre una inteligencia artificial fiable”, 2018, disponible en [Link]
content/uploads/2020/06/Grupo-independiente-de-expertos-de-alto-nivel-sobre-IA-
creado-por-la-Comisio%CC%[Link] (consultado el 23/04/2021).
 (55)  Comisión Europea, “Generar confianza en la Inteligencia Artificial centra-
da en el ser humano”, Bruselas, 08/04/2020, p.  5, disponible en [Link]
eu/transparency/regdoc/rep/1/2019/ES/[Link]
(consultado el 10/10/2020).
El principio de calidad y seguridad y seguridad ha sido destacado en Consejo de
Europa, “Carta ética europea sobre el uso de inteligencia artificial en los sistemas de
justicia y su entorno”, 3-4 de diciembre de 2018. Ver sobre la Carta: [Link]
[Link]/legaltech/nuevas-tecnologias/el-consejo-de-europa-adopta-la-prime-
ra-carta-tica-europea-sobre-el-uso-de-inteligencia-artificial-en-los-sistemas-judicia-
les-2019-01-10/ (consultado el 23/04/2021).
El Parlamento Europeo ha resaltado el principio de robustez técnica y seguridad,
incluida la resistencia al ataque y la seguridad, el plan alternativo y la seguridad ge-
neral, precisión, fiabilidad y reproducibilidad. Parlamento Europeo, “El impacto del
Reglamento General de Protección de Datos (GDPR) en la inteligencia artificial”, 25
de junio de 2020, disponible en [Link]
EPRS_STU%282020%29641530 (consultado el 10/10/2020).
 (56)  Se mencionan como requisitos para la fiabilidad de la IA: la licitud, ética y ro-
bustez. Ver: Grupo independiente de expertos de alto nivel sobre IA, “Directrices éti-
cas sobre una inteligencia artificial fiable”, 2018, disponible en [Link]
wp-content/uploads/2020/06/Grupo-independiente-de-expertos-de-alto-nivel-sobre-
160
IA-creado-por-la-Comisio%CC%[Link] (consultado el 10/10/2020).
 Protocolo sobre gobernanza algorítmica…

necesario cumplir con la totalidad de principios y respetar los derechos que

se encuentran en las normas y Tratados internacionales, principalmente la
privacidad y protección de datos durante todas las fases del ciclo de vida (57).
La trazabilidad implica conocer qué datos personales se tratan, cuál es su
la finalidad y su destino, si dichos datos se almacenan y cuál es el período.
Además, la calidad de los datos utilizados es primordial para el fun-
cionamiento de los sistemas de IA. Cuando se recopilan datos, pueden re-
flejarse sesgos, inexactitudes o errores, por este motivo es esencial que en
la etapa de gobernanza de datos se garantice el cumplimiento de los cri-
terios cuantitativos y cualitativos y la integridad de los datos. Es esencial
que los procesos y los conjuntos de datos utilizados se pongan a prueba y
documentarse en cada fase de planificación, gobernanza, entrenamiento,
pruebas, despliegue (58).

IV. Auditabilidad

La auditabilidad es la capacidad para evaluar los algoritmos, los da-

tos, los procesos de diseño, gobernanza de datos, desarrollo de sistemas,
programación, despliegue, implementación y uso que, cuando son rea-
lizadas por auditores internos y externos, permiten generar informes de
evaluación que pueden contribuir a la fiabilidad de la tecnología. En apli-
caciones de IA en las que los derechos fundamentales se encuentran en
juego, los sistemas de IA deben ser sometidos a auditorías independien-
tes (59). Resulta esencial que las personas encargadas de cada una de las
fases del ciclo de vida, faciliten la realización de las mismas y que rindan
las cuentas necesarias (60). De hecho, la Unión Europea ha enumerado el
principio de rendición de cuentas como uno de los necesarios para una
IA confiable, que implica además la auditabilidad de los sistemas (61).

 (57)  Comisión Europea, “Generar confianza en la Inteligencia Artificial centra-

da en el ser humano”, Bruselas, 08/04/2020, p.  5, disponible en [Link]
eu/transparency/regdoc/rep/1/2019/ES/[Link]
(consultado el 10/10/2020).
 (58)  Ídem.
 (59)  Grupo independiente de expertos de alto nivel sobre IA, “Directrices éticas
sobre una inteligencia artificial fiable”, 2018, p. 24, disponible en [Link]
ar/wp-content/uploads/2020/06/Grupo-independiente-de-expertos-de-alto-nivel-so-
bre-IA-creado-por-la-Comisio%CC%[Link] (consultado el 10/10/2020).
 (60)  Los centros de ensayo deben facilitar la auditoría y evaluación independien-
tes de los sistemas de IA. Ver Comisión Europea, “Libro blanco sobre la inteligen-
cia artificial. Un enfoque europeo orientado a la excelencia y la confianza”, Bruselas,
19/02/2020.
 (61)  Parlamento Europeo, “El impacto del Reglamento General de Protección de
161
Datos (GDPR) en la inteligencia artificial”, 25 de junio de 2020, disponible en https://
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

La trazabilidad facilita la realización de las auditorías, que resultan

esenciales en cualquier sistema de IA fiable. Es aconsejable que el ren-
dimiento y los resultados de los sistemas de IA sean incluidos en los pla-
nes de auditorías que periódicamente se realicen en la organización de
acuerdo con las normas que las rijan. Estos planes deben ser enfocados
a fin de desarrollar mecanismos efectivos para el seguimiento y evalua-
ción permanente del sistema de IA, ya que esta tecnología puede conte-
ner aspectos críticos. Las evaluaciones de impacto del sistema deberían
determinar los aspectos positivos y negativos de la incorporación de la IA
en los procesos y en la mejora de la eficiencia interna del Sector, así como
el reflejo del impacto en relación con los sujetos afectados (62), así como
también determinar si las actividad y los resultados relativos a la calidad
satisfacen las disposiciones prestablecidas y si estas disposiciones son
aplicadas en forma efectiva y son apropiadas para lograr los resultados
esperados (63).

V. Trazabilidad en PretorIA

PretorIA es un sistema de caja blanca, es decir que asegura la trans-

parencia de las decisiones, lo que significa que es posible inferir o de-
ducir una “explicación entendible” acerca de los criterios en los que se
basa para arribar a una determinada conclusión, sugerencia o resultado.
El sistema es explicable en todas las fases del ciclo de vida.

5.1. Ciclo de vida de PretorIA

5.1.1. Diseño, datos y modelos

Es una secuencia dependiente del contexto que abarca: planifica-

ción y diseño, recopilación y procesamiento de datos y construcción de
modelos.
El proceso de selección de la muestra, gobernanza de datos, identifi-
cación de criterios e identificación de keywords que respondan a los cri-
terios es enteramente explicable.

[Link]/stoa/en/document/EPRS_STU%282020%29641530 (con-
sultado el 10/10/2020).
 (62)  Ver CAF, Banco de Desarrollo de América Latina, Policy Brief #17, “Uso res-
ponsable de la Inteligencia Artificial en el Sector Público”, 2020, p. 8, disponible en
[Link] (consultado el 23/04/2021).
 (63)  Norma ISO 8402, complemento de la serie de normas ISO 9000, disponible en
162
[Link] (consultado el 10/10/2020).
 Protocolo sobre gobernanza algorítmica…

[Link]. Diagnóstico de la tarea y microtarea a la cual aplicar IA

La elección de la tarea a la cual aplicar IA se debió a la cantidad de

acciones de tutela que llegan a la Corte, a saber, más de 2500 por día, por
lo cual el impacto en la carga de trabajo es considerable. Asimismo, la
decisión de utilizar un sistema inteligente para detectar los casos priori-
tarios de salud, tiene impacto directo en los derechos humanos, permite
disminuir la tasa de error, ya que complementa el trabajo humano, una
mejor organización del trabajo. Brindaría la posibilidad de obtener previ-
sibilidad y garantizar la Justicia (64).

[Link]. Selección de la técnica de IA aplicable a la tarea

PretorIA combina funcionalidades basadas en sistemas expertos y

técnicas de machine learning (aprendizaje automático). El aprendizaje
automático como género se relaciona con la detección automatizada de
patrones significativos en los datos (65). Dentro del aprendizaje automáti-
co, PretorIA se desarrolló bajo la lógica del aprendizaje supervisado (66),
lo cual es esencial para el respeto de los derechos fundamentales, ya que
la supervisión humana ayuda a garantizar que un sistema de IA no so-
cave la autonomía humana y cause otros efectos adversos (67). Cuando el
aprendizaje es supervisado, hay matices de intervención humana en el
entrenamiento del sistema y guían o dominan las partes más relevantes
del proceso de aprendizaje (68): la supervisión se lleva adelante a través

 (64)  Para ampliar sobre estas cuestiones ver Corvalán, Juan G. - Papini, Carina M. -
Palacios, Mariela - Palumbo, Julián - Pitrau, Osvaldo - Quartesan, Verónica, “Instruc-
tivo de gobernanza de datos”, tomo II del presente Tratado.
 (65)  En las últimas dos décadas se ha convertido en una herramienta común en
casi cualquier tarea que requiera la extracción de información de grandes conjuntos
de datos. Shalev-Shwartz, Shai - Ben-David, Shai, “Understanding Machine Learning:
From Theory to Algorithms”, Cambridge University Press, Nueva York, 2014, p. 7, [en
línea]  [Link]
[Link] (consultado el 10/10/2020).
 (66)  Sobre el aprendizaje supervisado ampliar en Corvalán, Juan G. - Díaz, Laura
- Simari, Gerardo, “Inteligencia artificial: bases conceptuales para comprender la re-
volución de las revoluciones”, 4.4 “Como aprenden Adán y Eva así también lo hacen
ML”, tomo I del presente Tratado.
 (67)  Comisión Europea, “Generar confianza en la inteligencia artificial centrada
en el ser humano”, Bruselas, 08/04/2020, disponible en [Link]
rency/regdoc/rep/1/2019/ES/[Link] (consultado
el 10/10/2020).
 (68)  Massachusetts Institute of Technology, “Machine Learning from Data Deci-
sions”, 23 de abril de 2019, Módulo 1 (cita de supervisado del MIT, Oxford).
La supervisión debe lograrse a través de mecanismos de gobernanza, tales como
163
el enfoque de la participación humana (human-in-the-loop), la supervisión huma-
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

de mecanismos de gobernanza con enfoque de participación humana,

control humano y mando humano (69) durante todas las fases del ciclo de
vida. En esencia, en el aprendizaje supervisado los aprendices son los
programadores que utilizan lenguaje de programación y técnicas infor-
máticas. Ellos aprenden de los datasets de entrenamiento y de los datasets
de prueba.
El sistema utiliza técnicas de detección y clasificación inteligente de
caja blanca que permite una gobernanza de datos y entrenamiento del
sistema donde las personas pueden dominar todo el ciclo de vida y, por lo
tanto, es completamente explicable. La idea básica consistió en que sean
los humanos quienes lleven adelante el proceso de etiquetar los ejemplos
en los datos para que la máquina pueda identificar las palabras. La subes-
pecie Topic Model que utiliza es una herramienta estadística que permite
identificar temáticas en grupos de documentos de textos. En una explica-
ción desprovista de todo tecnicismo informático, se trata de una rama de
la IA que es muy útil para el procesamiento del lenguaje natural especia-
lizado. Mientras que las personas arman los datasets para etiquetar y cla-
sificar la información, quienes programan a partir de la técnica de Topic
Model, intentan buscar correlaciones entre palabras, frases o conjuntos
de palabras o frases, a partir de introducir técnicas concretas para des-
cartar puntos, comas y otras palabras o símbolos, y de esa forma detectar
otras posibles correlaciones asociadas a decisiones, criterios, hipótesis
fácticas u categorías.
Estas correlaciones, que no son inferencias causales, son sometidas
a iteraciones a partir de usar datasets de entrenamiento, y luego se van
refinando las palabras clave (keywords) hasta alcanzar tasas de acierto
deseadas o razonables (más de un 80%) (70).

na (human-on-the loop), o el control humano (human-in-command). Ver Comisión

Europea, “Generar confianza en la inteligencia artificial centrada en el ser huma-
no”, Bruselas, 08/04/2020, disponible en [Link]
rep/1/2019/ES/[Link] (consultado el 10/10/2020).
 (69)  La participación humana hace referencia a la capacidad de que intervengan
seres humanos en todos los ciclos de decisión del sistema. El control humano se re-
fiere a la capacidad de que intervengan seres humanos durante el ciclo de diseño del
sistema y en el seguimiento de su funcionamiento. Por último, el mando humano es
la capacidad de supervisar la actividad global del sistema de IA (incluidos, desde un
punto de vista más amplio, sus efectos económicos, sociales, jurídicos y éticos), así
como la capacidad de decidir cómo y cuándo utilizar el sistema en una situación de-
terminada. Ver Comisión Europea, Grupo Independiente de Expertos de Alto Nivel,
“Directrices éticas para una IA de alto nivel”, junio de 2018, p. 20.
 (70)  Para ampliar sobre estas cuestiones ver Corvalán, Juan G. - Papini, Carina M. -
Palacios, Mariela - Palumbo, Julián - Pitrau, Osvaldo - Quartesan, Verónica, “Instruc-
164
tivo de gobernanza de datos”, tomo II del presente Tratado.
 Protocolo sobre gobernanza algorítmica…

[Link].1. Elaboración de datasets

Para comenzar con el diseño, identificación de criterios y patrones,

prueba y testeo, fue necesario elaborar los datasets a partir de la muestra
de 2500 sentencias. Para ello, se segmentaron todos los grupos de senten-
cias. Cada set consistió en un conjunto de sentencias aleatorias, sin previa
clasificación. Cada uno de ellos se encontraba enumerado y contuvo una
cantidad de sentencias similar.
Se armaron 7 datasets principales:
• El primer dataset contenía 450 sentencias.
• En segundo dataset contuvo 150 sentencias.
• El tercer dataset contuvo 300 sentencias.
• El cuarto dataset contuvo 300 sentencias.
• El quinto dataset contuvo 500 sentencias.
• El sexto dataset contuvo 500 sentencias.
• El séptimo dataset contuvo 450 sentencias.
Téngase en cuenta que los primeros tres datasets de sentencias sirvie-
ron para entrenar y alimentar a PretorIA. Con el primer dataset analizado,
se realizó el primer input para el predictivo. Como las entregas estaban
previstas con fechas muy cercanas entre sí, el refinamiento del primer da-
taset y el análisis de los siguientes se dio en simultáneo. Esto tuvo como
punto positivo que, a medida que se obtenían tasas de acierto determi-
nadas, fue posible refinar las palabras claves que se identificaban en los
siguientes, lo que permitía ahorrar tiempo.
Los cuatro datasets restantes se utilizaron para el testeo del sistema.
Asimismo, obsérvese que durante el lapso en el que se tomó la deci-
sión de desarrollar el sistema y el envío de los documentos para formar
los datasets por la Corte Constitucional de Colombia, el equipo de go-
bernanza realizó una relectura de los  1492 documentos que había sido
enviados para el desarrollo de la prueba piloto, a fin de familiarizarse con
los mismos y ganar tiempo en relación con la adaptación e ir definiendo
las pautas de trabajo internas.

—  Reparto y análisis de los datasets

El equipo de 10 analistas se dividió en subgrupos a los cuales se les
asignó la responsabilidad de analizar uno, dos o hasta tres datasets por
fase de entrenamiento. 165
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

El proceso consistió en lo siguiente:

• Cada analista subdividió la cantidad de sentencias que fueron otor-
gadas a su subgrupo con la finalidad de identificar los criterios y las
correspondientes keywords. Para organizar el trabajo utilizaron la
base de datos (en Microsoft Excel) previamente mencionada.
• Dicha base de datos, contaba con atributos previamente identifi-
cados que permitían organizar las sentencias en función del crite-
rio identificado en las mismas y las keywords identificadas.
Los atributos presentes en la base fueron:
— Número: permitía conocer la cantidad de sentencias que cada
persona analizó.
Cuestiones formales y de identificación de la sentencia:
— Código o nombre de la sentencia.
— Código o nombre del expediente o causa.
— Instancia de la sentencia: aquí la persona analista podía elegir
únicamente entre dos opciones prefijadas: Primera, Segunda.
— Departamento: en este criterio, las personas analistas también de-
bía elegir entre las 32 opciones prefijadas:
Amazonas, Leticia; Antioquia, Medellín; Arauca, Arauca; Atlán-
tico, Barranquilla; Bolívar, Cartagena de Indias; Boyacá, Tunja;
Caldas, Manizales; Caquetá, Florencia; Casanare, Yopal; Cauca,
Popayán; Cesar, Valledupar; Chocó, Quibdó; Córdoba, Montería;
Cundinamarca, Bogotá; Guainía, Inírida; Guaviare, San José del
Guaviare; Huila, Neiva; La Guajira, Riohacha; Magdalena, Santa
Marta; Meta, Villavicencio; Nariño, Pasto; Norte de Santander, San
José de Cúcuta; Putumayo, Mocoa; Quindío, Armenia; Risaralda,
Pereira; San Andrés y Providencia, San Andrés; Santander, Buca-
ramanga; Sucre, Sincelejo; Tolima, Ibagué; Valle del Cauca, Cali;
Vaupés, Mitú; Vichada, Puerto Carreño.
— Fecha de ingreso de la sentencia a la Corte.
— Fecha de firma de la sentencia.
— Diferencia de meses entre fecha de ingreso y fecha de firma.
— Tema: debía seleccionarse una de las  22 opciones prefijadas, de
acuerdo con la temática principal de cada una de las sentencias
analizadas, en relación con los derechos humanos en juego: am-
166 biente; pueblos indígenas / consulta previa; debido proceso; dere-
 Protocolo sobre gobernanza algorítmica…

cho al agua; derechos sexuales y reproductivos; desplazados; dis-

capacidad; discriminación; educación; familia; habitantes de la
calle; igualdad; integridad personal; libre determinación; muerte
digna; participación ciudadana; personas privadas de la libertad;
salud; seguridad social / pensión; trabajo; violencia de género.
Vivienda.
Téngase en cuenta que las sentencias analizadas respondían al tema
de salud. Pero la presencia de las opciones permitía asentar si existían
sentencias de otras temáticas, que no correspondían a la temática de
nuestro interés.
Criterios:
— Resolución de la pretensión: el/la analista debía indicar: preten-
sión concedida; pretensión no concedida en su totalidad; preten-
sión rechazada o denegada; pretensión declarada improcedente.
En los criterios que se detallan a continuación, los/as analistas de
sentencias debían especificar textualmente las keywords relacionadas.
La reproducción textual, tal como aparecía en la sentencia, era esencial,
ya que, si se cambiaba el sentido, el sistema no podría posteriormente
detectarlas:
— Ausencia de examen o procedimiento diagnóstico; valoración y/o
diagnóstico.
— Enfermedad huérfana.
— Servicios y tecnologías expresamente excluidos del plan de bene-
ficios en salud.
— Migrantes (¿en situación irregular o todos?), niñas/niños hijos de
migrantes (T-565/19).
— Minorías indígenas, afrodescendientes, ROM.
— Embarazada.
— Mujer víctima de la violencia.
— Víctima del desplazamiento forzado.
— Niños o menores de edad.
— Niños menores de 1 año.
— Población habitante de calle o en situación de indigencia.
— Población privada de la libertad / (reclusos en establecimientos car-
167
celarios, privados de la libertad en establecimientos no carcelarios).
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

— Adulto mayor (de 66 en adelante).

— Persona en condición de discapacidad.
— Nombre de la enfermedad.
— ¿Posee cáncer?
— En la base de datos cada una de las personas analistas debía com-
pletar la celda: Tiempo en análisis (en minutos).
• Cada una de las sentencias recibió 4 lecturas.
• Concluida la primera revisión, cada set se entregó a otro subgru-
po y posteriormente a un tercer subgrupo. Ello debido a la imple-
mentación del triple ciego. En la base de datos, a medida que se
realizaban los controles, fue necesario completar las celdas:
— Cantidad de celdas modificadas por el control nro. 1.
— Tiempo de control nro. 1 (en minutos).
— Cantidad de celdas modificadas por el control nro. 2.
— Tiempo de control nro. 2 (en minutos).
• El proceso recibió la validación de la Corte Constitucional.

[Link].2. Definición de criterios

Dentro de las acciones de tutela, era necesario reconocer aquellas de

salud que constituían caso prioritario. Para ello, fue necesario identificar
y determinar aquellos criterios de relevancia a fin de que PretorIA pueda
detectarlos en las posteriores sentencias que arribaran a la Corte a través
de la técnica de detección y clasificación inteligentes. La definición de los
criterios que debía identificar el equipo de gobernanza de datos y la bús-
queda de los patrones de información vinculados para el entrenamiento
del sistema requirió 18 reuniones y diversos intercambios entre el equipo
de trabajo de IALAB y el equipo de la Corte Constitucional.
El 31 de octubre de 2019, el IALAB envío a la Corte Constitucional los
criterios con los que se había trabajado en la prueba de concepto a prin-
cipios del año 2019 (71):
• Pretensiones de tutela concedidas.
• Pretensiones de tutela rechazadas o denegadas.

 (71)  Ampliar sobre la prueba de concepto previa en la Corte Constitucional de

168
Colombia en el documento nro. 4.
 Protocolo sobre gobernanza algorítmica…

• Pretensiones de tutela no concedida en su totalidad.

• Sujetos de especial protección por parte del Estado:
— niños, niñas y adolescentes.
— mujeres en estado de embarazo,
— desplazados,
— víctimas de violencia y del conflicto armado,
— población adulta mayor,
— personas que sufren de enfermedades huérfanas,
— personas en condición de discapacidad,
— víctimas de cualquier tipo de violencia sexual.
• Enfermedades graves (esta categoría podía contemplar los si-
guientes criterios):
— Tipo de enfermedad.
— Caracterización de los sujetos de especial protección.
— Departamentos en los que se deciden.
— Seleccionar medicamentos y detectar patrones.
• Decisión de primera y segunda instancia
• Demandado
Sin perjuicio de ello, el 25 de noviembre de 2019, se acordó que los cri-
terios serían definidos por tres (3) grupos compuestos por los despachos
de la Corte Constitucional; cada grupo debía elegir cinco (5) criterios, lo
que daba un total de quince (15) criterios a definir.
Asimismo, mientras los despachos se ocupaban de terminar de defi-
nir y ajustar los criterios para que PretorIA los identifique, el 11 de diciem-
bre de 2019 IALAB envió un informe a la Corte Constitucional en el que se
especificó que el equipo de trabajo comenzaría a entrenar al sistema con
base en los 12 criterios / hipótesis fácticas que habían sido consensuados
entre los diversos despachos de la Corte hasta ese entonces. Estos eran:
• Ausencia de examen o procedimiento diagnóstico; valoración y/o
diagnóstico.
• Concedidas, rechazadas, no concedidas; declaradas improcedente.
• Enfermedad huérfana.
169
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

• Expresamente excluido.
• Migrantes, niñas/niños hijos de migrantes (T-565/19).
• Minorías indígenas, afrodescendientes, ROM.
• Mujeres embarazadas.
• Mujeres víctimas de violencia: víctimas del desplazamiento forzado.
• Niños o menores de edad.
• Niños menores de 1 año.
• Población habitante de calle o en situación de indigencia.
• Población privada de la libertad/ (Reclusos en establecimien-
tos carcelarios, privados de la libertad en establecimientos no
carcelarios).
Finalmente, el viernes 13 de diciembre, la Corte Constitucional de Co-
lombia definió 7 categorías con 30 criterios. Ellos fueron:

Categoría Criterio
Remisión Remisión tardía (6 meses)
Decisión juez Rechazadas o denegadas
No concedidas
Declaran improcedente
Carencia actual por hecho superado
Concedidas
Categoría del servicio o tecnología No excluido PBS
Expresamente excluidos del PBS
Sujeto Especial Protección Mujeres en estado de embarazo
(ley 1751 de 2015, art. 11)
Sujeto Especial Protección Niños, niñas o adolescentes (ley 1751
de 2015, art. 11)
Subclasificación: niños menores de 1
año
Sujeto Especial Protección Víctimas de cualquier tipo de violen-
cia sexual (ley 1751 de 2015, art. 11)
Sujeto Especial Protección Población adulta mayor (ley  1751 de
2015, art. 11)
Sujeto Especial Protección Personas que sufren de enfermedades
huérfanas (ley 1751 de 2015, art. 11)
170
 Protocolo sobre gobernanza algorítmica…

Categoría Criterio
Sujeto Especial Protección Desplazados, víctimas de violencia
y del conflicto armado (ley  1751 de
2015, art. 11).
Sujeto Especial Protección Personas en situación de discapaci-
dad (ley 1751 de 2015, art. 11)
Sujeto Especial Protección Migrantes, niñas/niños hijos de mi-
grantes (T-565/19)
Sujeto Especial Protección Población habitante de calle o en si-
tuación de indigencia
Sujeto Especial Protección Población privada de la libertad (re-
clusos en establecimientos carcela-
rios, privados de la libertad en estable-
cimientos no carcelarios)
Sujeto Especial Protección Transexuales (tratamiento disforia de
género); población LGBTI
Sujeto Especial Protección Minorías indígenas, afrodescendien-
tes, ROM
Sujeto Especial Protección Mujeres lactantes
Sujeto Especial Protección Personas en condición de pobreza ex-
trema
Tipo de afiliación Personas no afiliadas
Enfermedad/condición de salud del Personas con enfermedades ruinosas
accionante y catastróficas - alto costo D. 2699/07)
Enfermedad/condición de salud del Enfermedad crónica
accionante
Enfermedad/condición de salud del Enfermedad degenerativa
accionante
Pretensión Casos relacionados con derechos se-
xuales y reproductivos
Pretensión Demora o mora en la atención en sa-
lud (oportunidad en el procedimiento
o medicamento) Asignación de citas
médicas
Pretensión Ausencia de examen o procedimiento
diagnóstico; valoración y/o diagnóstico

Cuando se comenzó a trabajar en la gobernanza de datos, se completó

la base de datos y se le envió a la Corte Constitucional a fin de que realicen
los controles pertinentes. Así se pudo observar que hubo discordancias
entre lo que ellos consideraban al enumerar los criterios y lo que el equi-
po de gobernanza pudo interpretar en relación con su alcance. Por este
motivo fue necesario que profundicen en ciertas definiciones.
171
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

Hasta aquí, téngase en cuenta que definir y precisar los criterios a se-
leccionar en las sentencias llevó más de 40 días de trabajo en conjunto en-
tre el equipo de trabajo del IALAB y la Corte Constitucional de Colombia.
La comunicación de los criterios requirió una explicación para esta-
blecer y determinar el alcance de cada uno de ellos a fin de su posterior
detección. En virtud de ello, en la reunión del 24 de enero de 2020, se
explicó cómo debían interpretarse algunos supuestos fácticos que podían
generar confusión o diferencias de consideraciones entre los integran-
tes de la propia Corte Constitucional, de modo que los analistas puedan
comprender los supuestos fácticos abarcados.

a)  Ausencia de examen o procedimiento diagnóstico; valoración y/o

diagnóstico
Como su nombre lo indica, este criterio agrupa tres supuestos fácti-
cos: i) Ausencia de examen médico, ii) ausencia de diagnóstico médico,
y iii) ausencia de procedimiento médico. La ausencia de solo uno de los
tres supuestos, es suficiente para que esa sentencia cumpla la condición y
quede atrapada por el criterio.

b)  Demora o mora en la atención en salud

Por la simple razón del transcurso del tiempo, se estableció que cada
vez que existiera ausencia de examen o procedimiento diagnóstico; va-
loración y/o diagnóstico, automáticamente se produciría una demora o
mora en atención de salud. Vale decir, que siempre que existiera ausen-
cia, también existiría demora.

c)  Excluido/No excluido del PBS

Se describió en detalle cómo debería considerarse lo excluido y lo no
excluido. La conclusión fue la siguiente:
1. Excluido: es la lista que aparece en la res. 244/2019 del Ministerio
de Salud.
2. No excluido (incluido): se destacó que se divide en dos grandes
grupos (con la aclaración que dicha subclasificación debería lle-
varse a cabo, de ser posible su realización, en una segunda etapa
de entrenamiento):
a. Lo que está previamente pagado por la UPC (existe un listado).
b. Resto, es decir, lo que no está previamente pagado.

172
 Protocolo sobre gobernanza algorítmica…

d) Enfermedad
Con la lectura de las sentencias, se advirtió que existía confusión
entre las enfermedades huérfanas, crónicas y catastróficas. Se propuso,
para evitar una clasificación forzada y errónea, agregar el atributo “No
Especifica”.
De este modo, la enfermedad será clasificada como crónica cuando
el juez diga expresamente que lo es, o bien cuando de la redacción del
documento surja dicha condición de manera totalmente manifiesta sin
generar duda alguna. Cuando diga que no es crónica, será clasificada
como “no crónica”; y cuando el juez nombre la enfermedad, pero no la
clasifique, corresponderá a “No Especifica”.
Tal como fue resaltado desde un comienzo, el proceso de incubación
implicó una comunicación y retroalimentación constante de los equipos
de trabajo del IALAB, la Universidad del Rosario y de la Corte Constitu-
cional. En efecto, dicho Tribunal envió un informe con sugerencias de
ampliar el abanico de criterios establecido días atrás.
En el informe se expresaron las expectativas, los posibles filtros y la po-
sibilidad de extraer estadísticas dinámicas a partir del análisis de los crite-
rios. Luego de analizarlo, se segmentaron las sugerencias en tres grupos,
en función de la complejidad que representaban para su implementación:
i) Modificables con esfuerzo, pero a mediano plazo: se trataba de
aquellos criterios que podían identificarse fácilmente en las sentencias
a partir de una adecuada tabla relacionada y de los que resultaba fácil la
verificación de los resultados con una base de 2500 sentencias. Ellos eran
ciudad o municipio.
ii) Realizables a largo plazo: en esta categoría se englobaron aquellos
criterios que requerían por su propia naturaleza una revisión total de la
base de 2500 sentencias, lo cual implicaba la relectura de cada una de las
sentencias y un reentrenamiento de PretorIA para poder detectar dichos
criterios. En otras palabras, se trataba de una categoría que implicaba la
profundización del análisis realizado hasta ese entonces. Ellos eran:
• Pretensiones (la Corte había realizado una clasificación muy ex-
tensa y detallada).
• Listado de solicitudes.
• Inclusión del derecho fundamental invocado.
• Filtro geográfico.
• Entidad y tipo.
173
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

iii) No realizables o de muy difícil realización: se arribó a esta conclu-

sión debido a las siguientes consideraciones:
• El análisis humano en algunos criterios era complejo, ya que pre-
sentaban interpretaciones jurídicas distintas. Ejemplo, personas
con discapacidad.
• La identificación de algunos criterios podía ser muy compleja
para un ser humano, ya que no se presentaban de manera mani-
fiesta y, en consecuencia, obligaba a pensar y debatir la existencia
del mismo en la sentencia. Ejemplo, continuidad en la prestación
del servicio de salud.
• Existía información que no siempre estaba presente en las senten-
cias, aun en las causas que tratan la temática. Ejemplo, la entrega
de la historia clínica a un paciente o representante legal.
• Había información que debía ser extraída de documentos distin-
tos a las sentencias. Ejemplo, la calidad del afiliado.
• Incluso, en el caso de que pudieran salvarse los puntos anterio-
res, para PretorIA sería extremadamente difícil y en algunos aún
imposibles, poder identificar criterios tan específicos con tasas de
acierto superior al 90%, por ejemplo, todo lo relacionado a los di-
ferentes motivos en los que los jueces fundan su decisión.
Dichos criterios eran:
• Decisión del juez: la experiencia indicaba que PretorIA no lograría
detectar con tasas de aciertos confiables las decisiones de los jue-
ces con el siguiente nivel de especificidad:
— Estadísticas con caracterización demográfica de los deman-
dantes.
— Indicadores de alerta de posibles casos de corrupción.
— Medicamentos asociados a las sentencias en los cuales apli-
que la petición.
El 10 de marzo se evaluó la posibilidad de que PretorIA agudice la de-
tección de criterios:

a)  Adulto mayor

Si bien el equipo de la Corte consideraba importante la clasificación
hecha hasta el momento (adultos mayores de 60) y deseaba mantenerla,
propuso crear un criterio nuevo que tuviese en cuenta la expectativa de
174
 Protocolo sobre gobernanza algorítmica…

vida (adultos mayores de 73 años), ello debido a que la Corte daba priori-
dad a dichos casos.

b)  Decisión del juez

Se debatió considerar:
La opción “Pretensión rechazada o denegada” debe cambiarse a “Tu-
tela rechazada o negada”.
En cuanto a carencia actual de objeto por hecho superado, debería
cambiar a “Carencia actual de objeto”.
Se decidió que se consultaría con los delegados de cada despacho qué
hacer en los casos de decisiones que combinen:
• Carencia + Negación (hasta ese entonces el equipo del IALAB con-
sideraba dicha combinación como carencia actual de objeto).
• Carencia + Concede (hasta ese entonces el equipo del IALAB con-
sideraba dicha combinación como pretensión no concedida en su
totalidad).
Además, se debatió la posibilidad de especificar si la carencia actual
de objeto se debía a un hecho superado u otro motivo.

c)  Excluido del PBS

Se debatió sobre la dificultad para la detección de este criterio. El
equipo de la Corte consideró que no bastaba con que el juez expresara en
la sentencia si se encuentra o no excluido el insumo o medicamento del
plan. Se evaluó la posibilidad de contar con un archivo soporte sumado a
un listado de facto que refleje lo establecido por la jurisprudencia.

d) Enfermedades
Desde el equipo de trabajo de la Corte se solicitó modificar la expre-
sión de “No especifica” (que PretorIA brinda al no encontrar suficiente
información de algunos de los criterios) por una expresión como “no se
evidencia en la sentencia...” o “no se menciona...”.
Todas las sugerencias mencionadas con anterioridad, fueron debati-
das y tratadas a posteriori, para luego llegar a definirse en una reunión
entre ambos equipos de trabajo llevada a cabo el 28 de abril de 2020. Las
decisiones tomadas en ese entonces fueron:
• Modificar la expresión “Pretensión no concedida en su totalidad”
por “Pretensión concedida parcialmente”.
175
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

• Definir reentrenamiento: carencia actual del objeto. Los casos no

eran muchos e intentar detallar el motivo que producía la carencia
actual del objeto (hecho superado o cualquier otro), iba a confun-
dir a PretorIA, y en consecuencia disminuir la tasa de acierto.
• Analizar posibilidad de agrupar criterios con base en los números
de casos.
• Vulnerabilidad por condición socio-económica: Era necesario de-
terminar el alcance de este criterio y consultar con despachos so-
bre ellos, por ejemplo: indigencia; pobreza extrema; comunidades
indígenas o ROM.
• Reformulación de presentación de criterios “no excluidos” y “ex-
presamente excluidos”.
• Además, en el mes de junio se agregaron los últimos dos criterios,
municipios y adultos mayores de 73 y se modificó el criterio Po-
breza Extrema.
Por lo cual, está etapa que comenzó el 31 de octubre de 2019, recién
culminó en el mes de junio de 2020, luego de diversos intercambios, con-
troles, auditorías, entre las autoridades de la Corte Constitucional y el
IALAB.

[Link].3. Detección de keywords

A fin de que PretorIA sea capaz de detectar los casos prioritarios, fue
necesario que el equipo de gobernanza de datos, se dedique a identificar
las palabras claves (keywords) necesarias para el entrenamiento del sis-
tema. Cada uno de los subgrupos se encargó de identificar los patrones o
keywords que respondían a cada uno de los criterios, posteriormente se
realizaron dos controles sobre las keywords identificadas.
• El tiempo promedio en horas de lectura, doble control y detección
de keywords en cada sentencia fue de 36 minutos.
— La primera lectura, análisis de las sentencias e identificación
de criterios conllevó 16 minutos en promedio.
— El primer control sobre los criterios identificados en cada sen-
tencia fue de 16 minutos.
— El segundo control que recae sobre el primero fue de 9 minu-
tos en promedio.
• El tiempo total en horas de trabajo del equipo de sentencias fue de
176
1230 horas de trabajo.
 Protocolo sobre gobernanza algorítmica…

5.1.2. Verificación y validación

[Link]. Entrenamiento del predictivo

Para que los programadores/as puedan realizar las pruebas con el

predictivo se requiere:
— Las clasificaciones realizadas por el equipo de gobernanza en las
bases de datos.
— Las sentencias cargadas en el predictivo.
Luego de la identificación y control de las keywords identificadas, las
mismas fueron entregadas al equipo especialista en IA que comenzó con
el entrenamiento. Las bases de datos fueron normalizadas con anteriori-
dad a la entrega al equipo de programación (72).
Con ello ya fue posible ingresar keywords al sistema y utilizar las fun-
ciones que son instrucciones que indican el comportamiento que deben
tener los criterios y reportar las tasas de acierto. Esto significa que cuando
el equipo de gobernanza envía las clasificaciones a los programadores/
as, ellos/as ingresan las keywords, el sistema pasa por la totalidad de las
sentencias que se encuentran cargadas en el mismo y si encuentra las ke-
ywords que ingresó, imprime un valor en el criterio. Por ejemplo: en el
caso de Persona con enfermedad crónica podría existir como palabra cla-
ve “leucemia”, si el sistema la encuentra cambia el valor por defecto que
es NO a SÍ. Se llama valor por defecto o default al valor que se imprime en
una categoría ante ningún resultado encontrado. Suponga que es nece-
sario detectar criterio Departamento. Si el sistema no encuentra ninguno
de los 32 departamentos en la sentencia, el valor por defecto es “No he
detectado resultados”.

[Link]. Entrenamiento por reinterpretación de criterios y refinamiento

de keywords

La posibilidad de que se generen errores de tipo uno o de tipo dos es

muy amplia y diversa, cuando se trabaja con técnicas de predicción de
caja. El equipo de programación considera que existe una tasa aceptable
de acierto aquella que da por encima del 90%. Si se alcanza ese porcentaje
o se lo supera, ese criterio no se vuelve primordial para continuar perfec-
cionándolo durante las primeras pruebas. Por el contrario, cuando se ob-
tuvo una tasa de acierto inferior al 90%, se continuó buscando estrategias
para mejorarlo. Las mismas podían consistir en realizar una búsqueda de

177
 (72)  Ampliar sobre la normalización en Instructivo de Gobernanza de Datos.
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

patrones que complementen los existentes o bien descartar los identifi-

cados y realizar una nueva búsqueda por el equipo de gobernanza. Como
los programadores/as en su mayoría no poseen formación en derecho, se
requirió que las personas especialistas en Derecho que formaron parte
del equipo de gobernanza estén a su lado constantemente para asesorar-
los/as cuando ellos decidían agregar una nueva keyword.

—  Para el refinamiento de keywords y evaluación de tasas de acierto

se requirieron 400 horas de trabajo.
Es importante destacar que se refinan keywords que son las palabras
claves o conjuntos de palabras, por ejemplo “Arauca” o “Departamento de
Arauca” o bien, llegado el caso, utilizar las regex que se explican a conti-
nuación. Refinar implica ajustar, crear keywords nuevas o encontrar nuevas
técnicas de detección. Por ejemplo, para el departamento de Chocó, al te-
ner tilde no siempre se escribe igual, tampoco el OCR las reconoce, por ello
para encontrarla, los programadores/as escriben: Choc. —el punto al final
de la palabra significa: cualquier carácter, funciona como un comodín—.
Las regex son expresiones regulares e implican una manera optimi-
zada de escribir las keywords para que el sistema pueda detectarlas. Po-
demos decir que las regex conforman un sistema de reglas o relaciones
entre palabras y símbolos introducidas por las personas encargadas de
la programación a fin de que la IA encuentre textos específicos dentro de
otro texto. Su objeto consiste en “tomar atajos” para la detección de los
patrones o keywords, lo que puede implicar simplificar la forma de re-
conocer símbolos, espacios o palabras, o hasta incluso omitir de mane-
ra deliberada la detección de determinadas unidades de información. A
través de la combinación de palabras o frases y símbolos, que funcionan
como comodines, los programadores pueden vincular textos con diferen-
tes partes de un documento, omitir palabras o conjuntos de palabras, y
de esta manera, potenciar y definir el alcance de las palabras clave (ke-
ywords) que permiten la detección de los patrones o hipótesis fácticas.
Si bien las combinaciones de estas expresiones regulares son prácti-
camente infinitas, a continuación, se brindan algunos ejemplos:

— Anulación
A veces es necesario detectar un término siempre y cuando no esté en
compañía de otro específico. Para ello se utilizan los Negative Lookahead
[representado por (?<!()], solo por citar un ejemplo de esta categoría. En
este caso, /(?<!(niños|adultos\s*mayores))\spoblaci.n\s*carcelaria/ se
está buscando el término “población carcelaria” siempre y cuando no
esté acompañado por la palabra “niños” o “adultos mayores”. Caso con-
178
 Protocolo sobre gobernanza algorítmica…

trario, se infiere que, si viene acompañado por cualquiera de esos térmi-

nos, se trata de la enumeración de los sujetos de protección establecidos
por la CCC, lo cual configuraría un caso de candidato positivo.
Otro caso de negación lo aporta el símbolo [ˆ], es decir, los corche-
tes con el acento circunflejo dentro, donde se establece una condición
para todo lo que viene después de dicho signo. Por ejemplo, en el caso de
/embarazada[ˆcomo\ssujeto\sde\sespecial\sprotecci.n]/ que no traerá
como resultado “embarazada” siempre y cuando esté seguida por el tér-
mino “como sujeto de especial protección”. Esta configura otra forma muy
útil de evitar candidatos positivos, similar a la anterior.

—  Cómputo de espacios
Para esta categoría, el ejemplo /interrupci.n\s*del\s*embarazo/ trae-
rá resultados para las frases “interrupción del embarazo”, “interrupción
del embarazo” o “interrupción del embarazo”; resultando \s la forma de
escribir a todo espacio entre esas palabras escritas, desde un espacio (“ ”),
hasta una tabulación (“ ”) o un salto de línea.

—  Símbolos como comodines

Tanto en los casos expuestos anteriormente como en el actual,
/tumor\s*maligno/, el símbolo asterisco (*) significa 0 (cero) o más del
símbolo inmediato anterior escrito, para el caso expuesto \s* implicará
cero o más espacios. Esto es especialmente útil para sortear las vicisitu-
des que pueda ocasionar el OCR, ya que es frecuente que los documentos
que tienen un formato de texto justificado generen, en su reconocimien-
to, más espacios que los escritos en el documento original.
Otro ejemplo de comodín es el “punto” (.) que admite cualquier ca-
racter en el lugar que se use, por ejemplo: /reci.n\s*nacid./ reconocerá
tanto “recién nacido”, “recién nacida”, “recien nacido” o “recien nacida”.
En otro caso de esta categoría, el signo de pregunta (?) significa que
el carácter anterior escrito es optativo. En otro ejemplo /interrupci.n\s*
del?\s*embarazo/ traerá resultados tales como “interrupción de embara-
zo” o “interrupción del embarazo”.
Los paréntesis funcionan como un agrupador, ya que convierten una
frase en una unidad (el sistema cuando lo lee lo reconoce como si fuera
una palabra). Por ejemplo: /mujer\s*(que\s*est.\s*)?embarazada/ traerá
resultados como “mujer embarazada” o “mujer que está embarazada”.
El refinamiento se logra a partir de un “trabajo conjunto” entre los
programadores del sistema de IA y el equipo de gobernanza datos. Aquí
es donde la técnica de aprendizaje automático de “clasificación” o la re- 179
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

gresión son esenciales para obtener las correlaciones. La IA realiza su-

gerencias de palabras claves y el ser humano puede validarlas, intentar
mejorarlas o simplemente descartarlas.
Ahora bien, el refinamiento de palabras, frases o conjunto de palabras
o frases clave (keywords) o regex es un proceso continuo, que, además,
debe acompañar al sistema mientras este se use para detectar nuevos ca-
sos. Esto significa, que las detenciones efectuadas por el equipo de es-
pecialistas en IA ayudan al equipo de analistas a clasificar la documen-
tación. A su vez, las detenciones efectuadas por los analistas sirven para
refinar el entrenamiento del sistema. Esto evidencia el cambio paradig-
ma: de la interdisciplina a la transdisciplina.
En todos los casos, los datasets, las palabras clave y cualquier otra
segmentación realizada por la máquina o las personas, se debe poner a
disposición de las personas pertenecientes a la organización en la que se
desea implementar IA. En este sentido, en todos los casos, los datasets, las
palabras clave y cualquier otra segmentación realizada por la máquina o
las personas, se puso a disposición de la Corte Constitucional para que se
pueda garantizar la trazabilidad, auditabilidad, explicabilidad e interpre-
tabilidad del sistema.
Como reflejo de la real evolución y eficacia lograda a partir del traba-
jo grupal y minucioso de los equipos de trabajo, verá a continuación las
modificaciones dadas en las tasas de acierto de las detecciones realizadas
por PretorIA:

Tabla de Progreso. Con los porcentajes de acierto desde febrero a

julio del año 2020

Categoría Febrero Marzo Abril Mayo Junio Julio

LGBTI 100,00% 100.00% 100.00% 100.00% 100.00% 100,00%
Violencia sexual 100,00% 100,00% 100,00% 100,00% 100,00% 100,00%
Desplazados 99,33% 99,33% 99,33% 99,33% 99,33% 99,33%
Migrantes 99,33% 99,33% 99,33% 99,33% 99,33% 99,33%
Habitantes de
99,11% 99,11% 99,11% 99,11% 99,11% 99,11%
calle
Lactantes 98,89% 98,89% 98,89% 98,89% 98,89% 98,89%
Población carce-
98,89% 98,89% 98,89% 98,89% 98,89% 98,89%
laria
DD Sexuales
98,66% 98,66% 98,66% 98,66% 98,66% 98,66%
reproductivos
Pobreza extrema 98,22% 98,22% 98,22% 98,22% 98,22% 99%
ROM 98,22% 98,22% 98,22% 98,22% 98,22% 98,22%
180
 Protocolo sobre gobernanza algorítmica…

Categoría Febrero Marzo Abril Mayo Junio Julio

Mujeres embara-
97,33% 97,33% 97,33% 97,33% 97,33% 97,33%
zadas
Instancia 86,41% 86,41% 97,33% 97,33% 97,33% 97,33%
Niñxs menores de
95,77% 95,77% 95,77% 95,77% 95,77% 95,77%
1 año
Adultos mayores a
94,93%
73 años
Personas enfer-
93,99% 93,99% 93,99% 93,99% 93,99% 93,99%
mas de cáncer
No afiliados 93,54% 93,54% 93,54% 93,54% 93,54% 93,54%
Enfermedad
93,32% 93,32% 93,32% 93,32% 93,32% 93,32%
ruinosa
Adultos mayores 92,43% 92,43% 92,43% 93,32% 93,32% 93,32%
Municipio 91,95%
Departamento 91,15% 91,15% 91,15% 91,15% 91,15% 91,15%
Enfermedad dege-
90,87% 90,87% 90,87% 90,87% 90,87% 90,87%
nerativa
Niñxs y adoles-
90,65% 90,65% 90,65% 90,65% 90,65% 90,65%
centes
Ausencia de diag-
76,17% 76,17% 86,19% 86,19% 86,19% 86,19%
nóstico
Enfermedad huér-
82,83% 83,96% 83,96% 83,96% 83,96% 83,96%
fana
Personas con
78,11% 80,18% 80,18% 80,18% 80,18% 80,18%
discapacidad
Excluido PBS 50,78% 50,78% 80,18% 80,18% 80,18% 80,18%
Decisión del juez 48,11% 62% 74,12% 80,12% 80,12% 84,53%
No excluido PBS 70,83% 74,83% 74,83% 74,83% 74,83% 74,83%
Demora en aten-
29,18% 69,71% 69,71% 69,71% 69,71% 70,19%
ción

Ahora bien, existe otro problema que puede presentarse a medida

que se avanza con los entrenamientos del sistema y aun cuando el sis-
tema se encuentra implementado, ante el aumento de casos que se so-
meten al mismo. En este sentido es necesario tener en cuenta que es po-
sible que existan criterios que a su vez contienen otro criterio. Ello puede
suceder porque se ha identificado un criterio que es demasiado amplio
y contiene hipótesis que es preferible tratar por separado y definir es-
trictamente el alcance de cada uno, ya que se corre el riesgo de que se
presenten demasiados candidatos positivos. Si esta situación se presenta,
es necesario evaluar la representatividad que posee dicho criterio en las 181
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

sentencias y analizar la posibilidad de separarlo y tratarlo con un criterio

independiente o bien desechar finalmente ese subcriterio si se considera
que no se cuenta con una muestra numerosa que permita llegar a tasas
de aciertos aceptables. Esta discusión se ha presentado en relación con
el criterio Ausencia de examen o procedimiento diagnóstico; valoración
y/o diagnóstico. El equipo de gobernanza de datos junto con una de las
programadoras pudieron observar que Ausencia de examen o procedi-
miento diagnóstico era distinto a Ausencia de valoración y/o diagnóstico
debido a que, por un lado, en este criterio la máquina debería ser capaz
de encontrar aquellos casos en que efectivamente había ausencia de exa-
men o procedimiento diagnóstico y, por otro lado, aquellos casos en los
cuales los jueces consideraban que, a pesar de la existencia de un primer
diagnóstico, era necesario que se realice otro diagnóstico posterior. Por
este motivo, se evaluó la posibilidad de separar ambos criterios, ya que el
sistema requeriría entrenamientos independientes para cada una de las
posibilidades.
Por otra parte, otro de los problemas que se presentaron se vinculó a la
vaguedad o ambigüedad. La vaguedad implica falta de claridad, precisión
o exactitud, mientras que la ambigüedad implica la posibilidad de que una
palabra se entienda o explique de diversas maneras. Esto es lo que suce-
dió con la palabra Valoración. La palabra valoración es vaga, ya que no es
posible establecer de manera previa y en abstracto en qué casos los jueces
pueden considerar que existe falta de valoración en el diagnóstico o no
existe. Para fijar el significado y, por lo tanto, en virtud de ello proceder a
la búsqueda de keywords y realizar el entrenamiento correspondiente, era
necesario que los jueces de la Corte realicen un refinamiento humano para
delimitar y expresar el significado que se le daba y más aún que expresen
los motivos por los cuales en los casos concretos consideraban que existía
ausencia de valoración. En general, estos problemas son abordados una
vez que se ha avanzado en los entrenamientos y testeos debido a que la re-
gla general consiste en que, si existe una especie que es posible interpretar
de manera explícita, se aborda en un primer momento. Por el contrario,
aquellas especies a las que se arriba de manera implícita o bien por deriva-
ción o inferencia, se aborda posteriormente, ya que se requiere un análisis
más fino. Las máquinas para ser interpretadas requieren precisión.
Para mantener el predictivo trazable, cada vez que se modifiquen los
criterios y se realice un refinamiento de keywords y, por lo tanto, se pro-
duzca un cambio en el entrenamiento del sistema, es necesario comuni-
carlo a los trabajadores que lo aplican, documentar las novedades y po-
nerlo en conocimiento de interesados/as. Todas las personas que forman
parte de la organización deben tener un conocimiento fehaciente acerca
del modo de trabajo del sistema y los motivos por los que genera un de-
182 terminado resultado.
 Protocolo sobre gobernanza algorítmica…

5.1.3. Despliegue

PretorIA es un sistema de caja blanca, completamente explicable en

la totalidad de las etapas de su ciclo de vida. Por este motivo, el sistema
cumple con la totalidad de los principios que surgen de las Recomenda-
ciones dictadas por los Organismos Internacionales (Ver supra Principios
para una administración de la IA confiable).

—  Principio de trazabilidad y transparencia algorítmica

Todas las fases de desarrollo de PretorIA desde el desarrollo, gober-
nanza de datos, programación, despliegue, implementación, son explica-
bles y se encuentran documentadas.
En particular:
• Los motivos que llevaron a la aplicación de inteligencia artificial
en las tareas de selección de casos prioritarios en la Corte Consti-
tucional de Colombia.
• Las discusiones y toma decisión en torno al tipo de técnica de IA
que correspondía desarrollar: Clasificación y detección inteligente.
• Se ha prestado particular atención en la selección de la muestra
para la gobernanza de datos y el entrenamiento y prueba del siste-
ma, así como la formación de datasets.
• El sistema es completamente explicable en cuanto a la selección
de los criterios por parte del equipo de trabajo de la Corte Consti-
tucional de Colombia.
• La interpretación de los criterios y su alcance brindados por la
Corte Constitucional de Colombia se encuentran documentados.
• Los cambios realizados en los criterios se encuentran registrados.
También se encuentran registrados los criterios incorporados con
posterioridad y las razones que llevaron a la decisión.
• Las bases de datos utilizadas y completadas por el equipo de go-
bernanza de datos en cada una de las etapas se encuentran dispo-
nibles desde la primera versión y pueden ser consultadas.
• Se encuentran registradas las reuniones entre los equipos de go-
bernanza y programación con la Corte Constitucional de Colom-
bia y las solicitudes y observaciones realizadas, así como los traba-
jos de refinamiento de keywords.
• Es posible conocer asimismo la evolución de las tasas de acierto
obtenidas en cada criterio y el trabajo realizado entre los equipos 183
 Corvalán - Montenegro - Papini - Puig - Pitrau - Quartesan - Stringhini

de gobernanza de datos y programación a fin de modificarlas. Se

ha explicitado el porcentaje de acierto que logró el sistema en
cada etapa del entrenamiento y los ajustes necesarios para lograr
tasas mayores al 96%.
• Se encuentran identificadas las personas que intervinieron en
cada una de las etapas del ciclo de vida del sistema y la Corte
Constitucional de Colombia, es la responsable de la aplicación del
sistema y de permitir las auditorías correspondientes. Asimismo,
el equipo de programación, se encontrará monitoreando constan-
temente el sistema a fin de corregir el sistema si ante el ingreso de
nuevos casos a futuro

—  Valores centrados en el ser humano, diversidad, no discrimina-

ción y equidad
La selección de la tarea a la cual aplicar inteligencia artificial se realizó
con el fin de garantizar de manera más efectiva los derechos humanos
de los justiciables —principalmente el derecho a un plazo razonable— a
través de la identificación eficiente y rápida de aquellos casos prioritarios
por los derechos en juego.
PretorIA fue entrenada y es aplicada por expertos/as con especial for-
mación en derechos humanos que observan e intervienen constantemen-
te en el proceso en conjunto con los programadores/as. El aprendizaje del
sistema se llevó adelante de manera supervisada. Todo el proceso se realizó
bajo el debido control de la Corte Constitucional de Colombia, en la que el
equipo de trabajo, como es posible intuir, poseen una gran perspectiva y co-
nocimiento en materia de derechos humanos. Téngase en cuenta que, como
PretorIA impacta de manera directa en los derechos de los ciudadanos/as y
es aplicada por el Sector Público, es necesario controlar su actuación, desde
el desarrollo mismo, a partir de la evaluación de los datos que se ingresan al
sistema a la luz de los derechos humanos, como los resultados que libera.
Obsérvese que a fin de cooperar en la garantía de los derechos huma-
nos y evitar la discriminación, se han llevado adelante las medidas perti-
nentes por parte del equipo de gobernanza a fin de que la selección de la
muestra seleccionada para la gobernanza de datos y el entrenamiento del
sistema y los datasets utilizados resulten cuantitativa y cualitativamente
amplios a fin de evitar sesgos que imposibiliten la identificación de los
criterios. De este modo, se logró obtener una muestra en la que podían
ser identificados la totalidad de los criterios que la Corte Constitucional,
de acuerdo con los Tratados Internacionales definió. Asimismo, la mues-
tra fue suficiente para identificar las palabras clave que permitieron que
el sistema clasifique y detecte los correspondientes criterios, por lo que se
184
 Protocolo sobre gobernanza algorítmica…

evitaron los problemas relacionados con la falta de representatividad y de

candidatos positivos o negativos.

—  Robustez, seguridad y protección

Para mantener la seguridad del sistema y, por lo tanto, brindar protec-
ción de aquellas personas cuyos derechos se encuentran en juego se lleva-
rán adelante las auditorías internas y externas pertinentes. Asimismo, los
entrenadores del sistema se encargarán de controlar el funcionamiento de
manera constante, así como de realizar los ajustes pertinentes ante un re-
sultado negativo. Se aconseja que el sistema sea sometido a las auditorías
que se realicen periódicamente en la Corte Constitucional de Colombia.

5.1.4. Operación y monitoreo

En esta etapa será necesario el control constante del sistema, ya que a

medida que aparezcan nuevos casos es probable que se descubran defectos
que afecten la vida útil del sistema. Si esto sucede, es necesario realizar los
ajustes correspondientes. Todo error que se presente, debe ser corregido.

185