Scribd
Cargar
58 vistas55 páginas

Directrices IA

Cargado por

hector davila
Derechos de autor
© © All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como PDF o lee en línea desde Scribd
58 vistas55 páginas

Directrices IA

Cargado por

hector davila
Derechos de autor
© © All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como PDF o lee en línea desde Scribd
GRUPO INDEPENDIENTE DE EXPERTOS DE ALTO NIVEL SOBRE eee leew ale yl CREADO POR LA COMISION EUROPEA EN JUNIO DE 2018 aK bd a EAN ios Fa DIRECTRICES ETICAS PARA UNA IA FIABLE DIRECTRICES ETICAS para una [A FIABLE Grupo de expertos de alto nivel sobre inteligencia artificial Esta documanto ha sido redactado por él Grupo de expertos de alto nival sobre inteligancia artificial (IA). Los miembros del Grupo de expertos cltados en este documento respaidan el marco general para una IA flable escrito en las presentes directrices, aunque no estén necesariamente de acuerdo con todas y cada una de las afirmaciones que se realizan en ellas.. La lista para la evaluacién de Ia fiabilidad de la (A que se expone en el capitulo ill de este documento se somatera a una fase de experimentacién con caracter piloto por las partes interesadas, a fin de recabar sus opiniones practicas. A principios de 2020 se presentara a la Comision Europea una versién revisada de dicha lista de evaluacion, teniendo en cuenta los comentarios recogidos durante la fase de experimentacion. EI Grupo de expertas de alto nivel sobre IA es un grupo de expertos independientes constituide por la Comision Europea en Junio de 2028. Contacto Nathalie Smuhs - Coordinadora del Grupo de expertos de alt nivel sobre A Correa electrénico CNECT-HLG-A1@ec auropa eu Comisién Europea B 1049 BRUSELAS Documanco publica ae abr de 2018 £118 de diciembre de 2018 se publicé un primer borrador de este documento, que se someti6 a un proceso de consulta abierta a través del cual se recogieron comentarios de més de 500 partcipantes. Los autores desean expresar su sincero ‘agradecimiento a todas las personas que realizaron aportaciones al primer borrador del documento; dichas aportaciones, ‘2 tuvieron on cuenta durante la elaboracion de esta version revicada. Nila Comision Europea ni cualquier persona que actue en ‘Geis bs repr Sie Pace aes toss ene deis fares Teweres tates aatracin det fable ~ (> Aes y pean erase St ease “crane camplmiento es reqs ‘vabar y aborcar consiztemente esis “Gesten de la pracdacy de os datos ane erwistos alo eign cela ae waa ge“ Tareparenco en “The eine ed “ton ett 2 «a “fens dees Garatarla esiaenrcicade bs eqystescive —Atatarns a acacin especie aA ustrocién 1: Las dvectices como marco pora una a fable 31) 22) 33) 34) 35) 36) Capitulo I: Fundamentos de una IA fiable En este capitulo se sientan las bases de uns iA fable, basada en los derechos fundamentales y respaldada por cuatro principios éticos que deben cumplirse para garantizar una IA ética y robusta. Este capitulo se centra en el campo de la ética, Le étics de la inteligencia artificial es un subcampo de Ia étics aplicada que estucia los problemas étices que plantes el desarrollo, despliegue y utilizacién de le IA. Su preocupacién fundamental es identificer de qué modo puede la [A mejorar o despertar inquietudes para Ia vida de las personas, ya sea en términos de calided de vida o de la autonomia y [a libertad humanas necesarias para una socledad democrstica, La reflexién ética sobre la tecnologia de la IA puede sorvir para multiples fines. En primer luger, puede estimular le reflexién sobre la necesidad de proteger @ las personas y los grupos en él nivel més bésico. En segundo lugar, ouede estimular nuevos tipos de innoveciones que busquen fomentar valores éticos, come ‘aquellas que contribuyen a lograr los Objetivos de Desarrolla Sostenible de las Naclones Unidas®, que se encuentran firmemente Integradas en la préxima Agenda 2030 de la Ue™ Pese a que este documenta se centra en el primaro de astos finas, no se debe subestimar la importancia que puede tener a ética en al segundo de ellos. Una IA fiable puede mejorar el bienestar individual y el bienestar colective mediante la generacién de prosperidad, la creacién de valor y Ia maximizacién de la riquezs. Puede contribuir a construir una sociedad juste, eyudando 2 mejorar la salud y el bienestar de los cludadanos de maneras que promuevan I igualdad en la distribucién de las oportunidades econémicas, sociales y paliticas.. Por lo tanto, es imprescindible que comprendamos cual as la mejor forma de apoyar el desarralio, despliague ¥y utilizacion de la IA, con objeto de garantizar que cualquier persona pueda prosperar en un mundo basado en la inteligencie artificial, y crear un futuro mejor, manteniendo al mismo tiempo nuestra competitividad scala mundial. Como sucede con cualquier tecnologia potente, el uso de sistemas de IA en nuestra sociedad plantes diversos desafios éticos, relacionados, por ejemplo, con los efectos de personas y la sociedad, las capacidades de adopcién de decisiones y la seguridad. Si se va a realizar un uso reciente de los sistemas de Al o 2 delegar decisiones en allas, es nacesario que nas aseguremas d2 que dichos sistemas afectan de un modo equitativo a la vida de las personas, que estdn en consonancia con los valores que consideramos fundamentales y que son capaces de actuar en consecuancia, Para ello, nacasitamos contar con pracesos de rendicién de cuentas adecuados. 12 tecnologia sobre las Europa debe definir la vision normativa que desea perseguir sobre un futuro en el que la /A tenga un pape! preponderante y, por tanto, entender qué cancepto de 1A dabe estudiarse, desarrollarse, desplegarse y utiizarse en Europa para hacer realidad esa vision. Con aste documento, nuastra intencion es contriouir a este cesfuerzo introduciendo el concepto de IA fiable, que craemos que es la forma adecuada de construir un futuro con IA. Un futuro en el que la democracia, el estado de Derecho y los derechos fundamentales sustenten los sistemas de 1A, y en el que dichos sistemas mejoren constantemente y defiendan |e cultura democrat también haré posible un entorno en el que puedan prosperar la innovacién y la competitivided responsable. Un codigo ético especitico de un ambito determinado —por muy coharantas y sofisticadas que puedan ser sus futuras versiones— nunca puede sustituir al razonamiento ético, que debe ser sensible en todo momento 2 detalles contextuales que no es posible capturar en unas directrices generales. Para garantizar la fiabilided de Ia IA 25 necesario, més alla de desarrollar un conjunto de normas, crear y mantener una cultura y una mentalidad éticas a través del debate piiblica, la educacién y el aprendizaje préctico, 1. Los derechos fundamentales como derechos morales y lagales btps://ee-2uropaeu/comirission/publctions/reflection-paper-towards sustainable europe 2030 es. ces: /sstamaaieaevslonment un ora/?menue1200 un 37) Creemas en un enfoque de la ética en la 1A basado en los derechos fundamentales consagrados en los Tratados de la UE, la Carta de los Derachos Fundamentales de la Uniéa Europes (le wCarta de 'g UE>) y la legislacién internacional de derechos humanos¥. El respete de los derechos fundementales, dentro de un marco de democracia y estado de Derecho, proporcione la base més prometedore pare identiicar los princpios y valores éticos abstractos que se pueden poner en préctica en el contesto dea A. 38) Los Tratados de la Union y Ia Carta de Ia UE prescriben una serie de derechos fundamentales que los Estados miembros y las instituciones de la Unién Europes tienen la obligacién legal de respetar al aplicar la legislacién de la UE, Dichos derechos se describen en la Carte de la UE mediante referencias a la dignidad, las licertades, la igualdad y Ia solidaridad, los derechos de los ciudadanos y ls justicla. La base comin a todos estos derechos puede considerarse arraigada en el respeto de la dignidad humana, reflejanda as lo que describimos como un ‘eenfoque centrado en la persona» en al que el ser humano dlsfruta da una condlcion moral nies ¢ inalienable de primacia en las esfaras civil, politica, econémica y social”. 39) Pace a que los darachos racogidos an la Carta de la UE son Juridicamante vinculantes®*, es importante reconocer que les derachos fundamentalas no slempre ofrecen una protaccidn Juridica Integral. en lo que respecta a la Carta de la UE, por ejemplo, es importante subrayar que su ambito de aplicacign se limita a areas, del Derecho de Ia UE. La lagislacién internacional de derechos humanos y, en particular, el Convenio Europeo de Derechos Humanos son de abligado cumplimiento para los Estados miembros de le UE, incluso en campos que quedan fuera del émbito de aplicacién del Derecho de le UE. Al mismo tiempo, es preciso destacar que los derechos fundamentales también se atribuyen a personas fisicas y (en cierta medida) grupos en virtud de su condicién moral como seres humanos, con Independencia de [a fuerza legal de dichos derechos. Entendidos como derechos legalmente exigibles, los derechos fundamentalas forman parte, por tanto, del primer componente de la IA flabla (la IA lcita), que garantiza el cumplimianto de la legislacién. Entendidos como derechos de cualquier persone, arraigades en la condicién moral inherente a los seres humanos, también sustentan el segundo componente de la IA fable [la IA ética), que se ocupa de las normas éticas que, pese ano ser necesariamente juridicamente vinculantes, son cruciales para garantizar le flabilidad. Dado que este documento no tiene e! objetivo de ofrecer orientacién sobre el primer componente, a efectos de estas diractricas no vinculantes, las referencias a los derechos fundamentalas se antanderén hechas al segundo. 2. Delos derechos fundamentales a los principios éticos 21 Los derechos fundamentales como base para una IA fiable 40) Entre el ampli conjunto de derechos Indivisibles recagido en la legislacién Internacional de derechos hhumanos, los Tratados de la UE y la Carta de la UE, las Familias siguientes de derechos fundamentales rasultan particularmente aptas para cubrir los sistemas de IA. En determinadas circunstancias, muchos de esos derechos son legalmente exigibles en la UE, por lo que son de obligado cumplimiento desde el punto de vista legal. Pero, incluso una ver lograda la exigibilidad legal de los derechos fundamentales, la reflexién étics pued= ayudarnos a comprender el mado en que el desarrollo, despliegue y utiizacin de la IA pueden afectar a los derechos fundamentales y sus valores subyacentes, y de qué manera pueden contribuir 2 ofrecer orlantacionas mas datalladas a la hora de tratar de Identificar aquello que debemas hacer en lugar de lo que podemos hacer lactualmente) con Ia tecnologia, % —LaUE se base en un compromso constitucionl de protege ls derechas fundamentals eincvisibies Ge los sereshuencs, satanic oresoeto de estado de Derecno,fomenta a bert derocratcayeromover el bien coman, Tals darecnos estan refeiados en los areuls 2 3 del Tratado de la Union Euronea asfcomo en la Ceta de los Derechos Furdamentales cela Unidn Euron = Oror nctnenentos rics raljan estas meres campromizosy profundiaan en lls, como, gor seraplo, Cars Socal Europes el Consejo de Europa 0 determinadas eyes coma el Raglamento General de Protecsign de Dates dela UE. ce pracio sefelar que un compromizo cen ure IA cervads ena persona y con su ara en os derechos humanosrequete ures fundamentessecilesyconsttuconales colectives en los quel ibertadinvidualy el respeto dela digridac humana sean tanto posiles en prctica como sgnteatves, en uger Ge igicar una concepeicnindebidamence ndvdualste del er humana, B= ervtusoe artcuie Si oe a Carta se plea alas nsulonesestades miembros Gla UE cuando 2p 21 Derecho 3 & Unc, 2 42) 42) 4) a) 45) Respeto de Ia dignidad humana. \a digridad humana contiene en si a idea de que todo ser humano posee un «valor intrinseco> que jamas se debe menoscabar, poner en peligro ni ser abjato de represin por parte de otros (ni de las nuevas tecnologias, como los sistemas de IA).** En ol contexto de Is inteligencia artificial, el respeto de Is dignidad humana implica que todas las personas hen de ser tratadas con el debido respeto que merecen como sujetos morales, y no como simples objetos que se pueden fitrer, ordenar, puntuar, dirigir, condicionar o manipular. En consecuencia, los sistemas de IA deben desarrollarse de un modo que respete, proteja y esté al servicio de la integridad fisica y mental de los seres humenos, el sentimiento de identided personal y cultura y la satisfaccion de sus necesidades asenciales™. Libertad individual. Los seres humanos deben ser libres para tomar decisiones vitales por si mismos. Esto Implica libertad frente a intromisiones soberanas, pero también requiere la intervenciéa de organtzaciones gubernamentales y no gudemamentales para garantizar que los individuas 0 las personas en rlasgo de exclusion distruten de iguaidad de acceso a los baneficios las oportunidades que ofrece Ia IA. En el contexto de la intaligencia artifical, la ioertad individual exige mitigar la coercién ilegitima (in}diracta, las amenazas a la autonomia mental y la salud mental, [a vigilancia injustificada, el engafio y la manipulacién injusta. De hecho, [a libertad individual entrafia un compromiso de permitir que los individuos ejerzan un control ain mayor sobre su vide, incluidos (entre otros derechos) la proteccién de le libertad de empresa, la libertad de las artes y de las clancias, la libertad de expresién, el derecho a la privacidad y la vida privada y [a libertad de reunion y Respeto de la democracia, Ia justicia y el estado de Derecho. En les democracias constitucionales, todo poder gubernamental debe estar autorizado legalmente y limitado por la legislacién. Los sistemas de lA deberian servir para mantener @ impulsar procesos democraticos, asi como para respetar la pluralidad de valores y eleccionas vitales de las personas. Los sistemas de IA no deben sovavar los procesos democraticos, las deliaeraciones humanas ni los sistemas demacratices de votacién. Asimismo, los sistemas de 1A daban inclule un compromiso de garantizar que su funcionamiento no menoscabe los compromisos asanclalas en los que se fundamenta el estado de Derecho —asi como las leyes y reglamentos de obligado cumplimiento— y de segurar el respeto de las garantias procesales y Ia igualdad ante la ley. Igualdad, no alscriminacién y solidaridad, incluidos los derechos de las personas en riesgo de exclusisn. Es preciso garantizar por igual el respato del valor moral y la dignidad da todos los seras humanos. este requisite ‘va mas alla de la no discriminaci6n, que tolera el establecimiento de distinciones entra situaciones diferentes sobre la base de justificaciones objetivas. En el contexto de la IA, [a igualdad implica que el funcionamiento de este tipo de sistemas no debe generar resultados injustamente sesgados (por ejemplo, los dates utlizados para la formacién de los sistemas de IA deben ser lo més inclusivos posibles, de forma que estén representados los diferentes grupos de poblacién). Esto tambign requiere un adecuado respeto de las personas y grupos potencialmente vulnerables*, como los trabajadores, las mujeres, las personas con discapacidad, las minarfas étnicas, los nlfias, los consumidores u otras personas en riesgo de exclusién. Derechos de los ciudadanas. Los ciudadanos disfrutan de una amplia variedad de derechos, como el derecho de voto, el derecho a una buena edministracién, el derecho de acceso a documentos publicos 0 é! derecho de peticién e la administracién. Los sistemas de IA ofrecen un potencial muy importante para mejorar el alcance y la eficiencia del goblerno en la prestacion de blenes y servicios piiblicos a la sociedad. Al mismo tiempo, determinadas aplicaciones de la 1A también pueden afectar negativamante a los derechos de los cludadanas, que deban protegerse. La utilizacion del término aderechos de los cludadanos» en el presente documento no significa que se nieguen o ignoren los derechos de los nacionales de terceros paises o de las personas que se . MeCrudsen, Human Dignity ond cil Interpretation of Human Rights, EL, (4, 2008 Fare comerender el concept de -cigrdad huranas ues en aste Gocumerto, véane © wlgendert, «Problem Areasin the Diy Debate and the Ensemble Theory of Human Dignity en:D. Gren, A. Kemmerer, € Millers (eds), Haman Bignty in Context Explorations of a Contested Cone. 2038.9 325 ys {en elalosaro rude consutese una deserzcign dl termi tl como s iia 30 lrz0 de este documento, B 4s) 47) 48) 43) encuentran en situacién Irregular (0 llagal) an Ia LE, que también tlenen derechos al amparo de la legisiacién Internacional, incluso —por tanto— en el campo de la IA 2.2 Principios éticos en el contexto de los sistemas de IA Muchas organlzaciones puiblicas, privadas y clviles s@ han Inspirado en las derechos fundamentales para elaborar marcos éticos para la IA. En la UE, el Grupo europeo de ética de la cencia y de las nuevas tecnologias propuso un conjunto de queve principios bésicas, apoyados en los velores fundamentales recogidos en los Tratados de la UE y en Ia Carta de los Derechos Fundamentales de la Unién Europes™. Este documento también se basa en ase trabajo, reconoclendo la mayorla de los principlos que propugnan los diferentes grupos y, al misma tiempo, aclarando las fines que todas asos principlos tratan de allmentar y respaldar. Estos principios éticos pueden inspirar instruments reglamentarios nuevos y especificos, contriouir 2 interpretar los derechos fundamentales a maida que vaya evolucionando nuestro entorno saciotacnico y guiar la légica del desarrollo, utiizacion y aplicacién de los sistemas de lA, de forma que se adepten dindmicamente conforme evolucione la propia sociedad. Los sistemas de IA deberian mejorar a! blanestar Individual y colectivo. en asta seccién se enumeran cuatro principios éticos, arraigados en los derechos fundamentales, que deben cumplirse para garantizar que los sistemas de IA se deserrollen, desplieguen y utilicen de manera fiable. Se establece especificamente que se trata de imperatives éticos que los profesionales de la 1A deben esforzarse en todo momento por observar. Sin imponer una jerarquie entre ellos, los principios se enumeran a continuacién siguiendo el orden de ‘aparicién de los derechos fundamentales en los que se basan en la Carta de la Ui Se trate de los principios de: 1) respeto de Ia autanom'a humana; 1) prevencion det dano: Il) equidad; \) — explicabilided Muchos de ellos aparecen recogidos ya en gran medida en los requisites legales existentes de obligado cumplimiento, por lo que antran dentro del mbito de la aiA licitay, a primer componente de Ia A fiable®. Sin embargo, como se ha sefialado anteriormente, pese a que numerosas obligaciones legales reflejan principios €ticos, el cumplimiento de estos ditimos trasclende el mero cumplimianto de las leyas existentes””. El principio del rasoato dela sutonomia humana Estes princiios se aplean también a desarrallo,despegue utizacén de otras teencloglas,porle que no so especies os sSstemas de IA. Els piginas que siguen hemes pretercide establecer su pertrencis en un contexo especifcamente relacionade con wi Einacho da aasemosonlos derechos tunsamantalas 2yUCetamblan 2 imitartaInceridumarereglamntara, pues contamos can cécades oe practic ans protacion da talotdarcchos an Iz UE que nes cecon candad egildséyprewsibldad gs recertamente, grupe de rabelo Alf sopleha etusiade i mensioneces principe del Grupo euroace de ice dle ciency elas nuevas teenoogisy otres teint y eis princoies étios propuestes hast la fecha, y los ha agltinado en cuatro pringpios gencralesL Flori -Cowls tA Betvamett R Chala, P.Chazerend, V. Dignum, C. Lustge,R Madein, U.Pegalo, F. Ras 8 Schater, .vacke, EM. Vayene (2018), "AlePacple ~An ethical =Yamework tora Goce Al Secety: Opportunies, RINKS, Principles. 2no Becomimenastene, Mins an Machines 284) 68707 {ireeaate dels autanomia humana ats cetrechomerte relacianade con al derazho als signs y [alberta hurmanae(recogise en losartcuice 1y $8 la Cart|. La revancn del cao eas Uertementevnculase «ie proteca de la ntagrias face o mentl (Cefsiaca en elersculo 3) Le equidad ess estechamenteascciadaz los derechos le no cscfninacién, la soldeticedylajustcia ecogidos en elariculo 21 y aulentes). La exoleablidad y ia resporsabildad estan relacionadas, a su vez con ies erethes ‘taramtes a usica (eteados en 01 rte 47). Pignzae, por eempo, nl Reglmento General de Proteccén de Dates enles replmentoe dele UE en materia de pretecion de los consumidores. Fare obtener informacion actonal sobre este tema, consites, por elemplo, Lori «Sot Ethics anc the Governance of te Digkals, entosopny& Tecmlogy mara Ge 2018, voumen 31," LBD. 2-8 4 0) 52) 32 ) ) Los derachas fundamentales en los que se apaya Ia UE van dirigidas a garantizar el raspato de la lbertad y la ‘utonomia de los seres humanos. Las parsonas que interactUen con sistemas de IA deben poder mantener una ‘autonomia plana y efectiva sobre si mismas y ser capaces de participar en al proceso democratico. Los sistemas de IA no deberian sudordinar, coaccionar, engafiar, manipular, condicionar o dirigir a los seres humanos de manera injustificada. En luger de ello, los sistemas de |A daberian disefiarse de forma que aumenten, complementen y potencien las aptitudes cognitivas, sociales y culturales de las personas. Le distrioucién de funciones entre los seres humanos y los sistemas de IA deberia seguir principios de disefio centrados en las personas, y dejar amplias oportunidades para la eleccin humana, Esto implica garantizar la supervisién® y al contral humanos sabre los procasas de trabajo de los sistemas de IA. Los sistemas de Ia ‘también puaden transtormar de un mado fundamental el mundo dal trabajo. Oeberian ayudar a las personas en el entorno laboral y aspirar a crear empleos itiles. Elprincipio de prevencién del datio. los sistemas de IA no deberian provocar dafios (0 agrevar los existentes}* ni perjudicar de cualquier otro mado a los seres humanos®. Esto conlleva la proteccién de la dignidad humana, asi como de la integrided fisica y mental. Todas los sistemas y entornos da IA en los que operan estos deben ser seguros. Tamblén debaran ser robustos desde el punto de vista técnico, y debara garantizarse que no puadan dastinarse a usos malintencionados. Las personas vulnerables deberian recibir mayor atencién y participar en el desarralio y despliegue de los sistemas de IA. Se deberd prestar también una atencién particular a las situaciones en las que los sistemas de IA puedan provocar efectos adversos (o agravar los existentes) debido a asimetrias de poder o de informacién, por ejemplo entre empresarios y trabajadores, entre empresas y consumidores © entre goblernos y cludadanos. La prevencién del dafto implica asimismo tener en cuenta el entorno natural y @ ‘todos los sares vivas. Elprincipio de equidad EI desarrollo, despliegue y utlizacién de sistemas de IA debe ser equitativo. Pese a que reconocemos que evisten muchas Interpretacionas diferentes de la equidad, creamos que esta tlene tanto una dimensién sustantiva como procedimental. La dimansién sustantiva implica un compromiso de: garantizar una distrioucion justa e igualitaria de los benaficios y costes, y asagurar que las personas y grupos no sufran sesgos injustos, discriminacion ni estigmatizacion. Si se pueden evitar los sesgos injustos, los cistemas de IA podrian incluso aumentar la equidad social. También se deberia fomentar la igualdad de oportunidades en términos de acceso @ la educacién, los bienes los servicios y la tecnologia. Ademés, el uso de sistemas de IA no deberia Cconducir Jamas @ que se engafle a los usuarlos (finales) ni se limite su libertad de elecclon, Asimismo, a equidad implica que los profesionales de la 1A daberian respatar al principlo de proparcionalidad entre adios Y fines, y estudiar cuidadosamente como alcanzar un equilibrio entre los diferentes intereses y abjetivos contrapuestos™, La dimension procedimental de ls equidad conlleva la capacidad de oponerse a las decisiones adoptadas por los sistemas de IA y por las personas que los manejan, asi como de tratar de obtener El concepto de superisisn humana se dasarralla en el punto 65 Losaatos ausden serindiveuice ¢colstvee,¢incuirdafe insangibes 3 ntorne soi, elturalypaltee. Esto trnbin barca elmode de vies Ge los incvics y grupos sociales, evitanco cause, por ejempl,dafios clturales, sto guar relacen cone nce de proporcionaldad [reelado en la ménima de eno matar moscas a caPionazos) Las mecidas adoncacas rar ogra un fn (por elemplo, as medicas Ge acraccon Ge datbs que se nteduacan gare que la 1A Cuma su Tuncion de ‘Sptmaciin dcberaninitarse lar eevietanartanoseearias fete implies Scere Quo, cuanda vanas masidas compan pra conecucién de un odjetva, deberts dese provdad aequala que mens perjuciqu los derechos fundementalsy ls normas tess (Ger empl, ls dsarreladares de A deteran prefer en tedo momente dstesprepore.enados pore sector publea frente aloe (tos personales), También abe hace referencia la proporcionaliad entre el usuario yl responsable de! desplegue, tentndo en ‘cuenta bo una part, 1s derechos de as empresas (hci ia propiedad intelectual la convidencalcad) , por ove os derechos ‘eo usvares 53) 52) compensaciones adecuadas frente a allas*. Con este fin, se dabe poder identificar a la entidad responsable de la decision y axplicar los procesos de adopcion de dacisionas, ELprincipio de exolicabiidad La explicabilidad es crucial para conseguir que los usuarios contion en los sistemas de \A y para mantaner dicha confianza, Esto significa que los procesos han de ser transparentes, que es praciso comunicar abiartamente las cepacidades y Ia finalidad de los sistemas de IA y que las decisiones deben pode explicerse —en ls medida de lo posible~ a las partes que se vean afectadas por ellas de manera cirecta o indirecta. Sin esta informacion, no es posible impugnar adecuadamente una decisién, No siempre resulta posible explicer por qué un modelo hha generado un resultado 0 una dacision particular (ni qué combinact6n de factores contribuyeron a ello). ES0s casos, que se denominan algaritmas de «caja negra», requieren espacial atencidn. en tales clrcunstanclas, puade ser necesario adoptar otras medidas relacionadas con la explicabilidad (por ejamplo, la trazabilidad, la uditabilidad y Ia comunicacion transparente sobre las prestaciones de! sistema), siempre y cuando el sistema fen su conjunto respete los derechos fundamentales. El grado de necesidad de explicabilidad depends en gran medide del contexto y la gravedad de las consecuencias derivadas de un resultado errénec o inadecuado™, 2.3 Tensiones entre los diferentes pri abe Ia posiblidad de que surjan tenslones entre las principlcs anterloras, y no existe una solucién establecida para rasolverlas, En consonancia con el compramiso fundamental de la UE con la participacion damocratica, al respeto de las garantias procesales y la participacion ablerta en la esfora politica, deberian establecerse métodos que posibiliten un debate responsable sobre dichas tensiones. A modo de ejemplo, los princigios de prevencién del daiio y de autonomia humana pueden entrar en conflicto en diversos ambitos. Considérese 2! ejemplo de la utiizacién de sistemas de IA para la cactuacién policial predictivan, que puede ayudar @ reducir la delincuencia, pero de formas que incluyan actividades de vigilancia que vulneren la libertad y la privacidad Individuales. Ademds, los beneficios giobales de los sistemas de 1A deberian ser sustanclalmente superlores 2 los riasgos individuales previsibles. Pese a que estos principios ofracen certamente una orientacién para la biisqueda de soluciones, no dejan de ser prescripciones éticas abstractas. Por lo tanta, no se debe esperar que los profesionales de la IA encuentren la solucién adecuade baséndose en los principios anteriores; no obstante, deberdn afrontar los dllemas éticos y analizar las ventajas e inconvenlentas a través de un proceso de reflexion razonada con base empirica, en lugar de gularse por Ia Intulclén o par criterlos aleatarios. Pasa a ‘todo, pueden axistir s'tuaciones en las que no sea posible identificar compensaciones aceptables desde 2! punto de vista ético, Determinados derechos fundamentals y principies correlacionados son de caracter absoluto y no pueden ser objeto de un ejercicio de busqueda de equilibrio (es el caso, por ejemplo, de le dignidad humane). Incluse meefort leericio de u dereshe de aecicién yd efliactin aun sinsicato en un encom labora, segin o puesto ene rule 22 oe la Cartage les Dareches Fundarrentales dela Unén Curonee Por ejemplo, un stera de A que genere unas recomendacones de compra poco acertades ro despertaré excesivas preccupaciones ‘esde © punto de vista co a ifarerca de os sstemas de 1A que evallan se debera concader la iberad consconal aura persona candenad2 or un dito pera 16 55) 56) 57) Jorientaciones clave derivadas del capitulo Iz Y Desartollar, desolegar y utilizar los sistemas de IA respetando les principios éticos de: respeto de lo ‘utonomia humana, prevencién del dafo, equidad y explicabridad. Reconacer y abordar las tensiones que puedan surgir entre astos principlos, Y _ Prestar una atencisn especial a las situaciones que afecten a los grupos més vulnerables, come los nifios, las personas con discapacidad y otras colectivos que s= hayan visto histéricamente desfavorecidos © que se encuentren en riesgo de exclusién o en situaciones caracterizadas por asimetrias de poder o de Jnformacién, como [as que pueden producirse entre empresarios y trabajadores 0 entre empresas y consumidores*. /~ Reconocer y tener presente que, p=se a que pueden aportar numerosos y sustanciales beneficios a las personas y a la sociedad, algunas aplicaciones de \A también puaden tenar efectos nagatives, algunos de los cuales pueden resultar dificles de prever, identificar o medir (por ejemplo, sobre la democracia, al estado de Derecho y la justicia distrbutiva, 0 sobre la propia mente humana). Adoptar medidas adecuadas para mitigar estos riesgos cuando proceds; dichas medidas debergn ser proporcionales a le magnitud del riesgo. Capitulo Il: Realizacién de la 1A fiable Este capitulo ofrece orientaciones de cara a la materializacién y el logro de una |A flable a través de une liste de siete requisitos que se deberfan cumplir, basados en los princlpios establecidos en el capitulo |, Ademés, se presenta una serie de métodos técnicas y no técnicos actualmente disponibles para garantizar el Cumplimianto de dichos requlsitos alo largo da todo el ciclo de vids de los sistemas de IA, 4. Requisitos de una 1A fiable Los principios expuestos en el capitulo I deben traducirse en requis flable. Dichos requisitos son aplicables a las diferentes partes interesadas que participan en algiin momento del ciclo de vida de los sistemas da IA: desarralladares, responsables del daspllegue y usuarios finales, asi como a la sociedad en su conjunto. Con al término edesarrolladores» nos refarimos a las personas dadicadas 2 la investigacién, el disefo 0 el desarrollo de sistemas de IA. Por erasponsables del despliqgue» entendemos las corganizaciones pablicas 0 privadas que utiizen sistemas de IA en sus procesos internos y para ofrecer productos y servicios a otros agentes. Los «usuarios finales» son aquellos que interactiian con el sistema de IA, ya sea de forma directa o Indirecta, Por ditimo, la «sociedad en su conjunto» engloba el resto de agentes, personas y entidades afectadas de manera diracta o indirecta por los sistemas de 1A, tos concretos para hacer realidad una lA Las diferentes clases de partes interesadas tienen diversos papeles que desempefiar para gara cumplimiento de los reauisitos: 2. las dasarrolladores deben Introduciry aplicar los requistos de los procesas de dlseho y desarrollo; los rasponsables del daspliague deben asegurarse de que los sistemas que utilizan y los productos y servicios que ofrecen curplen los requisites establecidos; los usuarios finales y la sociedad en su conjunto deben permanecer informados sobre dichas requisites vy tener la capacidad de pedir que se cumplan. \Veanae lcs ertlulos 24827 de a Cart dela UE, que trata ste los derechos Ge lus ifs de las pers mayore, le integracin ce as personas con dstepacad y los derechos dos rabajadores. Veasetambiane articulo 38 relatvo a le proteccin de los consumicerss v7 58) Acontinuacion se ofrace una lista no exhaustiva da los requisitos™. Incluye aspectos sist@mices, individuales y sociales: 1 Acci6n y supervisién humanas Incluidos les derechos fundamentales, lo accién humano y la supervisién humana. 2. Solider técnica y seguridad Incluida la copacided de resistencia a los otagues y la seguridad, un plan de repliegue y !a seguridad general, precision, fiabilidad y reproducibilidad. 2. Gestién de la privacidad y de los datos Incivido el respeto de lo priveciiad, la colidad y la integriad de los datos, asi como el acceso a estos. 4 Transparencia Incluidas la trazabilidad, la explicabilidad y la comunicacién. 5. Diversidad, no disctiminacién y equidad Incluida Jo ausencia de sesges injustos, fa accesibiliad y e! diselio universal, ast como lo particlpacién de los portes interesodas. © Blenestar social y ambiental Incluida ia sostenibilidad y el respeto del medio ambiente, el impacto social, la sociedad y la democracia. 7 Rendicién de cuentas Inciuidas lo auditabilidad, la minimizacién de efectos negativos y la norificactén de estas, ia busqueda de ‘equilibries y las compensociones. \W G@ “ SZ Gestén dela privacidad y slustracién 2: nterrelaccnes existentes entre los siete requistas: teces tienen idéntca lmpartancia, se apayan entre si Sin imponer una jeraraua entre ellos ls principio se enumeran a cortnuacisn sguiende elrden de aparicion de los rinciies ‘erechos con tos ave estan reacionados na Carta 21a UE 2 59) 60) 62) 62) 3) 6) vy deberian cumplise y eveluarse a lo large de todo el ciclo de vido de un ssterna de 4 Pese a que todos los requisitos tlenen la misma importancia, serd necesario tener en cuenta el contexto y las tensiones que pueden surgir entre ellos a la hora de aplicarios en diferentes dmbitos y sectoras. Estos requisitos deberfan satistacerse a lo largo de todo al ciclo de vida de un sistema de |A, un cumplimiente que depande de la aplicacion espacifica del sistema, Pese 2 que la mayoria de ellos son aplicables a todos los sistemas de IA, se prasta una atencién espacial alos que afactan de manera directa o indirecta a las personas, Por lo tanto, su pertinencia puede ser menor en el caso de determinadas aplicaciones (en entornas industrieles, por ejemplo). Los requisites anterlores Incluyen elementos que, en algunos casos, ya figuran reflajados en las leyes existentes. Relteramos que —an consonancia con el primer componente de la IA— los desarrolladores y responsables del despliegue de sistemas de |A tienen el deber de garantizar que dichos sistemas cumplan las obligaciones legales vigentes, tanto en lo que respects a las normas de aplicacién horizontal como a la normativa de cardcter sectorial. En los parrafos que siguan se analiza con datalle cada uno de los requisitos. ‘Acci6n y supervision humanas Los sistemas de A deberian respalder la autonom’a y Ia toma de decisiones de les persons, tal como prescribe el principio del respeto de la autonomfa humana. Esto requiere qué los sistemas de 1A acten tanto como faclitadores de una sociedad democritica, préspera y equitativa, apoyando Ia accion humana y promoviendo los derechos fundamentales, ademas de permitir la supervision humana, Derechos fundamentales. Al igual que muchas ctras tecnologias, los sistemas de IA oueden tanto favorecer los derechos fundamentales como abstaculizarlos. Estos sistemas pueden ser beneficiosos pare las persons, por ejemplo ayudéndolas a llevar a catio un seguimiento de sus datos personales o mejorando la accesibiidad de la educacién, facilitanda asf el ejerciclo del derecho a la educacidn. Sin embargo, dado el alcance y la capacidad de los sistemas de IA, también pueden afectar negativamente a los derechos fundamentales. En situaciones en las que existan riasgos de este tipo, deberd llevarse a cabo una evaluacién del impacto sobre los derechos fundementales. Esta eveluaci6n deberia llevarse a cabo antes del desarrollo de los sistemas de lA en n de las posibilidades de reducir dichos riesgus o de justificar estos como. necesarios en una sociedad democrética para respetar los derechos y libertades de otras personas. Ademds, debarian crearse macanismos que permitan conacer las opiniones externas sobre los sistemas de 1A que pueden vulnerar los derachas fundamentales. cuestién e incluir una evaluat Accién humana, Los usuarios deberian ser capaces de tomar decisiones auténomas con conccimiento de cause en relacién con los sistemas de IA. Se les deberian proporcionar los conocimientos y herremientas necesarios para comprender los sistemas de Id e interactuar con ellos de manera setisfactoria y, siempre que resulte posible, permitirseles evaluar por sf mismos o cuestionar el sistema, Los sistemas de 1A deberian ayudar 2 as parsonas 2 tomar majores decisiones y can mayor conacimlenta de causa de conformidad con sus objetivos. En ocasiones se pueden dasplegar sistemas de IA con el objetivo de condicionar e influir en al comportamiento humano a través de mecanismos que pueden ser diffcles de detectar, dado que puaden explotar procesos del subconsciente mediante diversas formas de manipulacién injusta, engafo, direccién y condicionamiento, todas las cuales pueden sugoner una amenaza pars la eutonomia individual. El principio general de autonomfs del usuario debe ocupar un lugar central en le funcionalided del sistema. La clave pare ello es el deracho a no ser sometida a una decisiin asada exclusivamente en pracesos autamatlzados cuando ‘tal dacislon produaca efectos juridicos sobre los usuarios o les afacte de forma significativa por motives 65) 66) 67) Supervisién humana. La supervisién humana ayuda a garantizar que un sistema de IA no socave la autonomia humana 0 provoque otros efectos adversos. La supervision se puede llevar a cabo a través de mecanismos de godernanza, tales como los enfoques de participacién humana, control humano a mando human. La participacion humana hace referancia 2 la capacidad de que inte-vangan seres humanos en todos los ciclos de decision del sistema, algo que en muchos casos no es posible ni deseable. E! control humano se rafiere a la capacidad de que intervengan seres humanos durante el ciclo de disefio del sistema y en el seguimiento de su funcionamiento, Par iltimo, el mando humano es la capacidad de supervisar Ia actividad global del sistema de 1A (incluidos, desde un punto de vista més amplio, sus efectos econdmicos, sociales, juridicos y éticos), asi como la capacidad de decidir cémo y cudndo utilizar el sistama en una situaclin detarminada. Esto puade Inclulr la decisién de no utilizar un sistema de 1A an una situaclén particular, establecer niveles de discrecionalidad humana durante al uso dal sistema 0 garantizar la posibilidad de ignorar una decision adoptada por un sistema. Ademds, se debe garantizar que los resporsables publicos puedan ejercer Ia supervisién en consonancia con sus respectives mandatos. Puede ser nacesario introducir mecanismes de supervision en diferentes grados para respelder otras medides de segurided y control, dependiendo del 4mbito de aplicacién y el riesgo potencial del sistema de IA. Si el resto de las circunstancias no cambian, ‘cuanto menor sea el nivel de supervisién que pueda ejercer una persona sobre un sistema de IA, mayores y ms exigentes sera las verificaciones y la gabarnanza nacesarias, Solider técnica y seguridad Un componente crucial de Ia 1A fiable es la solider técnica, que esté estrechamente vinculada al princiove de prevencién del dofio. La solidez técnica requiere que los sistemas de (A se desarvollen con un enfogue preventivo en relacién can los riesgos, de modo que se comporten siempre segtn lo esperado y minimicen los anos Involuntarios @ Imprevistas, evitando asimismo causar dafos Inaceptables. Lo anterior deberia aplicarse ‘también a los cambios potencialas en su entorno operative o a la presencia de otros agentes (humanos y artifciales) que puedan interactuar con al sistema de manera contenciosa. Ademds, dedaria garantizarse la integridad fisica y mental de los seres humanos. Resistencia a los ataques y seguridad. Los sistemas de 1A, como todos Jos sistemas de software, daben protegerse frente a las vulnerabilidadas que puedan permitir su explotacién por parte de agentes malintencionados, como, por ejemplo, los pirstas Informétlcas. Los ataques pusden Ir dirgides contra los datos (envenenamiento de los datos), el modelo fallo del mods!o) o Ia infraestructura informatica subyacente, tanto el software como el hardware. En el caso de que un sistema de IA sea objeto de un atzque, por ejemplo por parte de agentes malintencionades, se podrian alterar los datos y el comportamiento del sistema, de modo que este adopte decisiones diferentes o, sencillamente, se desconecte. Los sistemas y los datos también pueden corromperse debido @ intenciones malicioses 0 por verse expuestos @ sitvaciones Inesperadas. Unos procesos de seguridad insuficientes también pueden dar lugar a decisiones erréneas 0 incluso a dafios fisicos. Para que los sistemas de IA se consideren seguros,”” es praciso tener en cuenta las posibles aplicaciones imprevistas de a 1A (aplicaciones que puedsn utlizarse para fines diferentes, por ejemplo} asi como el abuso potencial de un sistema de IA por parte de agentes malintencionados; también se deberén adoptar medidas pare prevenir y mitigar es0s abe hacer referereiaalarculo 22 del SPD, onal que ya est recogido este derecho. eance, pr ejemplos cansedarzconas racagias ah 2 purto 27 dal plan cooraineéo de orci Eh loque rexpecte ale seguridad de los sistemas de A, puede reslterimarescralle tener la cageldas de crear un leulevinuose nel bio de a rvestigacgn yel Gesarolo entela comprensén dees ataques desarrollo de medics de proteccién adecuades Yla melota de as metadoicgis de evalcion Para eo, se Geberapromever a convergenca entre la comunisad dadkade ala Ala Comunidze expeciaeda en segLncad. Asamas, todos ls agentes Invlucrados anon la esponstlldao de crear norms camunes Ini Europes sabre la intaigerca 20 63) 6) 70) 7) m2) Plan de repliegue y seguridad general. Los sistemas de ia deberian contar con salvaguardias que posibilten un plan de repliegue en el caso de que surjan problemas. Esto ouede significar que los sistemas de IA pasen de un procedimiento basado en estadisticas a otro basado en normas, o que soliciten la intervencién de un ‘operador humano antes de proseguir con sus actuaciones.* Es preciso gerantizar que el sistema se comportaré de acuerdo con /o que se espera de él sin causer dafios a los seres vivos nial medio ambiente. Esto incluye la minimizacién de las consecuencias y errores imprevistos. Ademés, se deberian establecer procesos dirigidos a aclarar y evaluar los posibles riesgos asoclados con el uso de sistemas de A en los diversos émbitos de aplicacion, EI nivel de las medidas de seguridad requerldas depende de la magnitud del rlesgo que plantee un sistema de IA, que a su ver depende de las capacidadas del sistema. Cuando se pravea que al proceso de desarrcllo 0 al propio sistema plantaara riesgos particularmante altos, es crucial desarrollar y probar medidas de seguridad de forma proactiva. Precisién, La precisién estd relacionads con la capacidad de un sistema de (A para realizar juiclos correctos — como, par ejemplo, clasificar carrectamente Informacion en las categorias adecuadas—, 0 con su capacidad para efectuar predicciones, formular racomendaciones 0 tomar dacisionas correctas basandose en datos 0 modelos. Un proceso de desarrollo y evaluacién explicito y correctamente diseflado puade respaldar, mitigar y corregir los riesgos imprevistos asaciados a pradicciones incorrectas. Cuando no sea posible evitar este tipo de predicciones, es importante que el sistema pueda indicar la probabilidad de que se produzcan esos errores. Un alto nivel de precisin resulta particularmente crucial en situaciones en que un sistema de IA afecte de manera directa ala vida humana. Fiabilidad y reproducibilidad. Es esencial que los resultados de los sistemas de IA sean reproducibles, ademas de fiables. Un sistema de IA fiable es aquel que funciona adecuadamente con un conjunto de informacion y en diversas situaciones. Esto es necesario para evaluar un sistema de IA y evitar que provogue dafios involuntaries. La reproducibilidad describe si un experimento con IA musstra el mismo comoortamiento cuando se repite varias veces en las mismas condiciones. Esto permite a los cientificos y responsables politicos escribir con exactitud lo que hacen los sistemas de IA. Los archivos de replicacién®? pueden facilitar el proceso de ansayo y repraduccldn de compartamlentas Gestion de Ia privacidad y de los datos Ls privacidad es un derecho fundamental que se ve esvecislmente afectado por los sistemas d= JA, y que guarda una estrecha relacién con el principfo de prevencién del dafio, La prevencién del dato la privacidad también requiere una adacuada gestién de los datos, que abarque [a calidad y la integridad de los datos utllzados, su partinencla an contrast can el dmlto en el qua s2 desplagaran los sistemas de 1A, sus protocolos de acceso y la capacidad para procesar datos sin vulnerar la privacidad, Proteccién de la intimidad y de los dates. Los sistemas de 1A deben garantizar le proteccién de la intimidad y de los datos a lo largo de todo el ciclo da vida da un sistama", esto Incluye la Informacién Iniclalmente faciitada por el usuario, si como Ia informacién generada sobre el usuario en el contaxto de su interaccién con el sistema (por ejemplo, los productos que genere el sistema de Al para determinados usuarios 0 la respueste de estos a determinadas recomendaciones). Los registros digitles del comportamiento humano pueden posibiltar que los sistemas de IA no solo infieran las preferencies de las personas, sino también su orientacion sexual, edad, género u opiniones palticas y religlosas. Para permitir que los indviduos confien en cen mater Ge segura y proteccicn tanstrontatizas,as'como de establecer un entorno deconftanza mutua@mpulsr ia (aboracioninternacoral. Sobre as poses meridas,vease Molcious Use orl (avin Brundage Mea, 2038) Tamrban sa dcbardn etular los posible escanaris a os qua Po seria posble cantar con ntarvencion humana de marera inmate [ste trmine se refere alos archives que repicarin cade paso del proceso de dsarclo de un sistema del, desde la investigaciény 1a recog inal de datos hast os resuados CCabehacerreferenca als eyes exstantas en materia de proceccion de privacidad, como RGED ol prOdine Reslamento soe ta prvacdao y as comunicecloneselecranicas, a 73) 74) 75) 76) ™ 78) fl procasa de racapliacién de datas, 2s pracisa garantizar que la Informacién recapada sobre ellos no se utlizara para diseriminarlos de forma injusta o ilegal Calidad © integridad de os datos. La calidad de los conjuntos de datos utlizados es primordial para el desempeiio de los sistemas de 1A. Cuando se recopilan datos, estos pueden contener sesgos sociales, Imprecisiones y errores. Este problema debe abordarse antes de llevar a cabo cualaquler tipo de formacién en la que se utlice cualquier conjunto de datas. Adamas, es nacecarlo garantizar la Integridad de los datas. La Introduccion de datos malintencionades en un sistema de IA puede alterar su comportamianto, sobre todo si se trata de sistemas con capacidad de autoaprencizaje. Los procesos y conjuntos de datos utiizados decen ponerse @ prueba y documentarse en cada paso, por ejemplo, en la planificacién, formacion, verificacién y despliegue. Esto deberia aplicarse igualmente a los sistemas de IA que no hayan sido desarrollados internamente, sino adquiridos externament=, ‘Acceso a los datos. En cualquier organizacion que mangje datos personales (con Independencia de si alguien es usuario del sistema o no) deberian establecerse protocols que rijan al acceso a los datos. En esos protocolos deberia describirse quién puede acceder a los datos y en qué circunstancias, Solamente deberia permitirse acceder a los datos personales 3 o2rsonal debidemente cualificado, poseedor de les competencias adecuadas y que necesite acceder a la informacién pertinente. ‘Transparencia Este requisito guarda una relacion estracha con el principio de explicabiliaad e Incluye la transparancia de los elementos pertinantas para un sistema de IA: os datos, el sistema y los modelos de negoclo. Trazabilidad. Los conjuntos de datos y los procesos que dan lugar a la decisidn da! sistema de IA, incluidos los relatives 2 la recopilacién y etiquetado de los datos asi como a los algoritmos utllzedos, deberian documentarse con arreglo a la norma mas rigurosa posible con el fin de postbiltar la trazabilidad y aumentar la transparencia. esto también es aplicable 2 las dacisiones que adopte al sistema de IA. esto permitica Identificar los motives de una dacision erronea por parte dal sistema, lo que a su ve2 podria ayudar a prevanir futuros errores, La trazabilidad, por tanto, facilita la auditabilidad y la explicabiligad. Explicabilidad. (2 explicabilidad concierne a |e capacidad de explicar tanto los procesos técnicos de un sistema de 1A como las decisiones humanas asocladas (por ejemplo, las 4reas de aplicacion de un sistema de 1A). La explicabilidad técnica cequiere que las decisionas que adopte un sistema de IA sean comprensibles para los seres humanos y estos tengan la posibilidad de rastrearlas. Ademds, puade que sea nacesarlo buscar un equilibrio entre la mejora de la explicabilidad de un sistema (que puede reducir su pracision) 0 una mayor precision de este (a costa de la explicabilidad). Cuando un sistema de IA tenga un impacto significative en la vida de las personas, deberia ser posible reclamar una explicacién adecuads de! proceso de toma de decisiones del sistema de IA. Dicha explicacién deberia ser oportuna y adaptarse el nivel de especializacién de Ja parte Interesada (que puede ser una persona no experta en la materia, un regulador 0 un investigador). ‘Adams, deberla ser posible dlsponar de explicaciones sobre |a madida en que el sistema de IA condiciana € influye en el proceso de toma de dacisiones de la organizacién, sobre las dacisionas de disefo del sistema y sobre la logica subyacente a su dospliegue (garantizando asi Ia transparencia dal modelo de negocio). Comunicacién. Los sistemas de lA no deberian presentarse a si mismos como humanos ante los usuatios; las personas tienen derecho a saber que estn interactuando con un sistema de |A. Por Io tanto, os sistemas de 1A deban ser identificablas como tales. Adamas, cuando sea nacesarlo, se daberia afracer al usuarlo la posibilidad de dacidir si prefiere Interactuar con un sistema de 1A 0 con otra persona, con el fin de garantizar al cumplimiento de los derechos fundamentales. Mac alld de lo expuosto, se daberia informar sobre las capacidades y imitaciones del sistema de IA a los profesionales o usuarios finales; dicha informacion deberia proporcicnarse de un mado adacusde segtin el caso de uso de que se trate y deberis incluir informacién cerca del nivel de precisién del sistema de IA, asi como de sus limitaciones. 2 79) 80) 83) 32) Para hacer realidad la IA fiable, as preciso garantizar la inclusion y la diversidad a lo largo de todo el ciclo de vida de los sistemas de inteligencia artifical. Ademas de tener en cuenta a todos los afectados y garantizar su participacion en todo el proceso, también es necesario garantizar la igualdad de acceso mediante procesos de disefio inclusivos, sin olvidar le igualdad de trato. Este requisito esté estrechamente relacionado con el principio de equidod. Necesidad de evitar sesgos injustos. Los conjuntos de datos qua utilizar les sistemas de IA (tanto con fines de formacién como para su funcionamiento) pueden presantar sesgos histéricos inadvertidos,lagunas o modelos de gestisn incorrectos. £1 mantenimiento de dichos sesgos podria dar lugar a prejucios y discriminacién*® (in}directose involuntarios contra determinados grupos o personas, lo que podria agravar los estereotipos y la marginacién. La explotacién Intencionada de los sesgos (de los consumidores) 0 la competencia desleal ‘también pueden provocar situacions parjudiciales, como la hamogenalzacién de los precios madlante la colusion 0 Ia falta de transparancia dal mercado." Siempre que sea posible, los sesgos idantificables y discriminatorios daberian eliminarsa en la fase de recopilacién de la informacién. Los propias métsdos de desarrollo de los sistemas de IA (por ejemplo, la programacién de slgoritmas) también pueden presentar sesgos injustos. Esto se puede combatir mediante procesos de supervision que permitan analizar y abordar el propésto, las restricciones, los requisites y las decsiones del sistema de un modo claro y transparente Ademas, la contratacién de personas procedentes de diversos contextos, culturas y cisciplinas puede garantizar a diversidad de opiniones y deberta fomentarse. Accesibilidad y disefo universal. En el imbito espacitico de las relaciones entre empresas y consumidores, los sistemas deberian estar centrados en el usuario disefarse de un modo que permitan que todas las personas utilicen los productos servicios de IA con independencia de su edad, género, cepacidades o ceracteristicas. Le accesiilidad de esta tecnologia para les personas con discapacidad, que estén presentes en todos los grupos sociales, reviste una importancia particular. Los sistemas de IA daben sar adaptables y taner en cuenta los principios del Disefio Universal“ para servir al mayor nimero posible de usuarios, observando las normas de accesibilidad pertinentes. Esto permitiré un acceso equitativo y una participacién active de todas las personas en las actividades humanas informatizedas existentes y emergentes, asi como en lo que atafie las ‘tecrologias asistenciales."* Participacion de las partes interesadas. Con el fin de desarrollar clstemas de 1A flables, es recomendable consultar 2 las partas interasadas qua se pueden ver afactadas de manera directa o indiracta por al sistema a lo large de todo su ciclo de vida. Conviane padir opiniones periédicamente incluso después del dasolicgue de los sistemas de IA y establecer mecanismos para la participacién de las partes interesadas = largo plazo, por ejemplo gerentizando la informacién, consulta y participacién de los trabajadares a lo largo de todo el proceso deimplantacién de este tipo de sistemas en las organizaciones. Bienestar social y ambiental Puede concultarse una doiniign de deriminacién directa cindiect, por clmplo, ancl artful 2 dela iret 2000/79/CE da Conse. de 27 de noviembre de 2000, relative! estblecimianto de un marco gener! pave a iualied de veto en elempleeyle ‘ccuoaton. Vease tambien el riculo 21 ea Cara de es Derechos Fundamentals dla UE ‘ease anialo publcado por le Agencia dees Derechos Fundamentals de a Lion Eurcpe BigDats: Dscrminction i cats-tupportad dacision mating (2018)> itera europa su/en/pubictin/ 2018 /oi-data- iverminaton. Elarfel 42 de la Directive sobre contratecién bea enige que las expecticecionesterics tngan en cuenta la acesbidady isefio para todas as personas. Por ejempi, nora EN 301 548 Ese recuisto est elacionado con Convencion ae as Nacones Unidas sede os Derachas oe as Parsenas con Discapacisad 2 33) 84) 85) 86) 87) 88) a) En consanancia can las principlas de equidad y prevencidn del dafo, se deberia tener en cuenta tamblén 2 Ia sociedad en su conjunto, al resto de seres sensibias y al madio ambianta como partas intarasadas 2 lo largo de todo e! ciclo de vida de la IA. Se deberia fomentar la costenibilidad y la responsabilidad ecolégica de los sistemas de IA, asi como impulsar la investigacién de soluciones de inteligencia artificial pera hacer frente a los ‘temas que suscitan preocupacién a escala mundial, como los Objetivos de Deserrollo Sostenible. Lo ideal es que Ia IA se utilice en beneficio de todos los seres humanos, incluidas las generaciones futures. Una 1A sostenible y respetuosa con el medio ambiente. Los sistamas de inteligencia artificial prometen ayudar ‘8 abordar algunas de las preacupaciones sociales mas urgentas; no obstante, se dabe garantizar que lo hagan del modo mas respatuoso posible con a! medio ambiente. En ese sentido, daberia evaluarse en su integrided el proceso de desarralio, despliague y utilizacién de sistemas de IA, asi como toda su cadena de suministro, 2 ‘través, por ejemplo, de un examen critico del uso de los recursos y del consumo de energla durante le formacién, dando prioridad a las opciones menos perjudiciales. Se deberfan promover medidas que garanticen el respeto del medio amblente par parte de tedos los aslabones de la cadena de suministra, Impacto social. La exposicién ubicus a los sistemas sociales de IA® en todas las esferas de nuestra vids (sea en mbitos come la educacién, el trabajo, el cuidado o el entretenimiento) oueden alterar nuestra concepcién de la accign social o afectar a nuestras relaciones y vinculos sociales. Aungue [os sistemas de IA se pueden utilizar para mejorar las competenclas sociales, también pued2n contribuir a su deterloro, Esto puede afectar al blenestar fisico y mental de las personas. Por lo tanto, sera nacesario tener en cuenta y llevar a cabo un seguimiento exhaustivo de los efactos de esos sistemas, Sociedad y democracia, Ademas de evaluar el impacto que ejerce el desarrollo, desoliegue y utilizacién de un sistema de IA sobre las personas, se deberian evaluar también sus repercusiones desde la perspectiva social, teniendo en cuenta sus efectos sobre las instituciones, la democracla y la sociedad en su conjunto, El uso de sistemas de A deberia cer objeto de un estudio pormenarizada, sobre todo en situaciones relacionadas con | proceso demacratico, no solo en el terrano de la adopcién de dacisiones paliticas sino también en contextos electorales. Rendlicién de cuentas Los requisitos anteriores se complementan con el de rendicién de cuentas, estrachamente relacionado con el principio de equidad. Este requisite exige establecer mecanismos que permitan garantizar la responsabilidad y rendicién de cuentas sobre los sistemas de IA y sus resultados, tanto antes de su implantacién come despues desta, Auditabilidad. La auditabilidad es la capacidad para evaluar los algoritmas, los dates y los procesos de disefio. Esto no implica necesariamente que siempre deba disponerse de forma inmediata de la informacién sobre los modelos de negocio y la propiedad intelectual del sistema de IA. Le evaluacién cor parte de auditores internos y externos y la disponibilidad de los correspondientes informes de evaluacién pueden contribuir a la fabilidad de esta tecnologia. En aplicaciones que afacten a los derechos fundamantales, Incluldas las aplicaciones esenciales desde el punto de vista de la seguridad, los sictamas de IA daberian poder someterse a auditorias independientes. Minimizacién de efectos negativos y notificacién de estos. &s oreciso garentizar tanto la capecidad de sta expresion dena los sscemas de A ae Se comunicane inceractdan con los eres numanos meclante la simulation dela sodaidad ona ineracion entre humanos y ebots (1A intesrada) en forma de avetare en el arbi dei realidad vu. De este odo, cichos Sstemat Hanan a potancial de tansiermar nucerae practices saccalturaes Valid Ga nest ids socal \esee, por eerie, a preyectaFrerciceo gor ls UE decode el assrrate de software pasado en A que posbite que lee rabote Inueractian és efcazmante cen nos autstas en sesionas de terapi ciigidas no" umanos,eyudando aielorar us eottuces| sociales y de comunicacion i/2 ew op eu/reseerh/infocentra/aicle_en ctmPide/teseerch/headines/naws/arice_13_03_12_enhimPntecentrasiter rrocerte aris=a99t8, 24 20) 32) 92) Informar sobre las acclonas 0 dacisiones que contribuyen 2 un daterminada resultado del sistema camo de respondar a las consacuencias de dicho resultado. La identificacion, evaluacion, natificacién y minimizacion de los posibles efectos negativos de los sistemas de 1A resulta especialmente crucial para quienes raculten (in)directamente afectades por ellos. Debe protegerse debidamente ¢ los denunciantes anénimos, las ONG, los sindicatos u otras entidades que trasladen preocupaciones legitimas en relecin con un sistema basado en 1A, Le utiizecién de evaluaciones de impacto (como, por ejemplo, los «equipos rojos» o determinados tipos de evaluacién algoritmica de impacto) antes y después del desarrollo, despliegue y utilizaciin de sisternas de la puede rasultar Util para minimizar sus efectos negativos, Estas evaluaciones deben ser proporcionadas al rlasgo que plantaen los sistamas de 1A Bisqueda de equilibrios. A la hora de aplicar los requisitos anteriores pueden surgir tensiones entre ellos, por lo que puede ser necesario buscar e! equilbrio, Este tipo de situaciones deberian abordarse de manera raclonal y metddica de acuerdo con el nivel técnico actual, Esto significa que se daberian identificar los Intaresas y valores subyacantes al sistema de [Ay que, en el caso de que surjan canflictas, se deberd explicitar como se ha intentado buscar el equiliorio entre allos y evaluar dicho aquiliorio en términes del riasgo que plantea para los principios éticos, incluidos los derechos furdamentalas. En las situacionas en que no sea posible identifier equilibrios aceptables desde el punto de vista ético, no se deberia cor desarrollo, despliegue y utiizacién del sistema de IA en la forme prevista. Cualquier decision sobre le biisqueda de equilibrios debe razonarse y documentarse convenientemente. El encargado de la adopcién de decisionas debe ser responsable de la forma en que se busque el equiligrio en cuestién, y revisar constantemente la Idoneldad de la decisién resultante para garantizar que se pusdan introducir los cambios necesarlos en el sistema cuanda saa preciso, * Compensaciones. Cuando se produzcan efectos adversos injustos, deberian preverse mecanismos accesibles que aseguren una compensacién adecuada™. El hecho de saber que se podré obtener una reparacién si las cosas no salen saguin lo previsto es crucial para garantizar la conflanza. Se deberla prastar atencldn a las personas 0 grupos vulnerables, 2. tétodas técnicas y no téenicos para hacer realidad la 1a lable Para cumplr los requisites anteriormente expuestos, cabe utilizar tanto métedos técnicos como de otro tipo. Dichos métodes abarcan todas las fases del ciclo de vida de un sistema de IA, Deberia llevarse a cabo una evaluacin constante de los métados empleados para cumplir os requisitos; asimismo, se deberia informar y justificer! en todo momento los cambies introducides en el proceso de aplicacién de estos. Dado que los sistemas de IA evolucionan sin cesar y actdan en un entorno dindmico, la realizacién de la lA flable es un proceso continua, como muestra le lustract6n 3, vist diferentes modelo de gobenanaa que pueden eyuderelograr este abet, Pareja, lapresenca de un experteo conselo ei ty especTica del sect Interna oeaterne pod resulta Ul para Gestacar bs des en las que pueden suri conmictos Yysugetv a mer forma de reslver esos. Laceleacin de consulasy debates percnentes con as partes mteresadas, inCUidas as ‘ue corn elrago do vores perucieasa por un eterna ao IA tambisn ct do gran ayuda Lat unwsreldade curopeas astern ‘eur un papel ce derango an ls formacién de os eszecliztae en Aten cesarce| \Véese también el dictamen de la Agencia de os Derechos Fundamentales dela Unién Europea (2017) sobre le mejor el aczeso 2 compensaciones en el Ambito de los negocios los derechos humanos a escala dela Uni6n Europes, bntps:/fra.europa.eu/en/opinion/2017 lusiness-humar-rights. Esto coieva, por elempio, la sification dees cecsones acoptedas en elacon con el seo. desarrooy el desplague del .ssiema pars ncorpora 6s feqstos ateiormente menconados 3 93) 94) 35) 96) 97) L= } Lo] l=) ‘ustracin 2 Le construcetn de una 18 fable a la largo de todo e cla ce vida del sistema Los métodos siguientes pueden considerarse complementarios o alternativos entre si, dado que los diferentes requisitos —y las diversas sensibilidades— pueden plantear la necesidad de utilizar métodos de aplicacién distintas. La deseripcién que sigue no pretende ser exhaustiva, completa ni de obligado cumplimiento. Su ‘inalldac es ofracer una lista de métodos propuastos que pueden resultar utiles pars lograr una lA fiable. En esta seccion se describe una serie de métodos técnicos para garantizar Ia fiablidad do la IA que se pueden incorporar en las fases de cisefio, desarrollo y utilizacién de un sistema de IA. Los métodos que se enumeran continuacién presentan un nivel de madurez variable®. Arquitecturas pore una lA fiable Los requisites de une IA fiable deben «traducirse en procedimientos (0 en la imposic sobre estos) que deben Integrarse en la arquitectura de los sistemas de IA. Esto puede lograrse a través de un conjunte de narmas de tipo «lista blanca» (compartamlantas o estades) que el sistema deberia cegulr en taco momento, restriccionas (ulista negra») sobre detarminados comportamientos 0 estados que el sistema jamas deberia transgredir y combinaciones de ambas, o garantias demostrables mis complejas sobre el comportamiento de! sistema. El control del cumplimiento de dichas restricciones por parte del sistema durante su funcionamiento puede llevarse a cabo 2 través de un proceso separado, Los sistemas de 1A con capacidades de aprendizaje que puaden adaptar su conducta de forma dinamica pueden entenderse como un sistema no determinista que podria exhibir un comportamiento inesperad. Este tipo de sistemas se ve a menudo a través del prisma tedrico de un ciclo «sentir planear-actuars, La adaptacién de esta arquitecture pare garantizar la flabilidad de le IA exige integrar los requi etapas del ciclo: i] en la etapa esentics, el sistema deberie deserrollarse de modo que reconozca todos los elementos del entorno necesarios para garantizar el cumplimianto de los requisites; i en le etapa «planear», el sistema debaria tener en consideracién Gnicamente aquellos planes que cumplan los requisitos; il) en | etapa «actuary, las acciones del sistema deberian limitarse a comportamlentos que cumplan los requisites. 1s descritos en las tres La arquitecture que equi se esboza es de cardcter genérico y Gnicamente ofrece una descriocién imperfecta para le mayoria de los sistemas de IA. No obstante, también proporciona puntos de partida para las restricciones y politicas que deberian reflejarse en madulos especificos a fin de crear un sistema global fiable y que sea percibido como tal Etica y estado de Derecho desde el disefio ese aque elgunes de elcsyaestn deponiles ena actulidad, oto: todavia requicran invesigeioneseccionles.Aqulls Gress enlas que es preciso cortnuarirvestigenco también zportardn informacion de cara la elaborisn cel segundo ertvegable del Grupo de experts 6 at ive soe wtelgencia iis saber, las recomendaciones sobre plies e inversion, 25 38) 29) 100) 201) Los métodos dlrigidos a garantizar determinados valoras desde el propio disefo ofrecen vinculas precisos y explicitos entre los principios abstractos que se exige que cumpla el sistema y las decisiones espacificas relativas a su aplicacién. La idea de que el cumplimianto de las normas puade intraducirse en el disefio del sistema de 1A es clave en este método. Las empresas son responsables de identificar los efectos de sus sistemas de 1A desde el principio, asi como las normas que deberian cumplir dichos sistemas pars evitar efectos negatives. En la actualidad ya se utilizan numerasos conceptos diferentes que incluyen la exoresién adesde el disefion, como la privacidad desde el disefio 0 la seguridad desde el disefio. Como se ha indicado anterlormente, la conflanza en la 'A depende de la seguridad de sus procesos, datos y resultados, asf como de Un diseto robusto que le permita hacer frente a posibles datos y ataques mallntancionados. Los sistemas de 1A debarian incluir un macanismo de apagado 2 prueba de fallos, que ademas posibilite [a reanudacion del funcionamiento del sistema tras un apagado forzado (por ejemplo, un ataque) métodos de explicacién Para que un sistema sea fable, hemos de ser capaces de comorender por qué se comporté de una determinada manera y por qué ofrecié una interpretacién especifica. Existe todo un campo de investigacién, Ia I explicable (conocido por las siglas XAl), que intenta resolver esta cuestién a fin de entender mejor los mecanismos subyacentes 2 estos sistemas y encontrar soluciones. Hoy en dia este sigue siendo un desafio abierto para los sistemas de IA basadlos en redes neuronales. Las procesos de formacién con redes neuronales pueden dar lugar a pardmetros de red configurados con valores numéricas dlficllas de correlacionar con resultados. Ademas, a vaces unas pequefias variacionas en los valoras de los datos puedan traducirse en interpretaciones completamente diferentes, provacando, por ejemplo, que el sistema confunda un autobus escolar con un avestruz. Esta vulnerabilidad también se puede explotar durante los ataques contra el sistema, Los métodos que incluyen Investigaciones XAl resultan vitales, no solo para explicar a los usuarios el comportamiento de los sistemas, sino también para desplegar tecnologia fiable Realizacién de ensayos y validacion Debido a la naturaleza no determinista y especifice del contexto de los sistemas de IA, los enseyos tradicionales no bastan. Los errores de los conceptos y representaciones que utiliza el sistems podrian rmanifestarse dinicamente cuando se aplique un programa a datos suficientemente realistas, En consecuer para veriticar y validar el tratamiento da los dates, dave llevarse a cabo un seguimiento minucioso de Is estabilidad, solide y funcionamiento del modelo subyacente, tanto durante Ia formacién como durante el despliegue, dentro de unos limites predecibles y correctamente entendidos. Debe garantizarse que el resultado del proceso de planificacién sea coherente con la informacién introducida, y que las decisiones se adopten de un made que permita la validacién del proceso subyacente. El ensayo y la validacion dal sistema deban tener lugar lo antes posible, garantizando que al sistema se comporte segiin lo pravisto a lo largo de todo su ciclo de vida y, en especial, tras su despliegua, Dicha fase de ensayo y validacién deberia abarcar todos los componentes de un sistema de IA, incluidos fos datos, los modelos previemente formados, los entornos y el comportamiento del sistema en su conjunto. Su disefio y elecucién deberian correr a cargo de un grupo de personas lo més diverso posible. Se deberian desarrollar mmiltiples pardmetros que engloben las categorias sometidas ¢ verificacién, con el fin de obtener diferentes perspectivas. S2 puede estudiar la posibiidad de realizar ensayos mediante procedimmientos contradictarios @ cargo de cequipes rojos» diversas y de conflanza, en los que se Intente «destrulr» dellberadamente el sistema para encontrar posiblas vuinerabilidades, asi como de concader pramias a agentes axternos que sean capaces de detectar e informar de forma responsable sobre los errores y datilidades del sistema. Por ditimo, debe garantizarse que los productos 0 acciones sean coherentes con los resultados de los procesos precedentes, para lo cual seré necesario comparatlos con las politicas previamente definidas a fin de garantizar que no se vulneren, Indicadores de colided del servicio 7 102) 103) 304) 305) 106) 107) existe la posibilidad de definirIndicadares adacuados de calidad dl sarviclo para los sistemas de 1A con abjeto de garantizar que sea posible saber si dichos sistemas se han ancayado y desarrollado teniendo presentes las consideraciones relativas a la seguridad. Estos indicadores podrian incluir parémetros para avaluar los ensayo realizados y ls formacion de algoritmos, asi como los parémetros tradicionales de funcionalidad del software, surendimiento, usabilidad, fabilidad, seguridad y fecilidad de mantenimiento. Métodos no técnicos en esta seccién se dascriben dlvarsos métadas no técnicos que pueden rasultar muy utlles para garantlzar y mantener la flablidad de la IA. Estos métodos también deberian someterse a una evaluacion constante Normativa como ya s2 ha menclonado anteriormante, hoy en dia ya existe normativa de apoyo a la ‘labllidad de la 1A Piensese, por ejemplo, en la legiclacion sobre seguridad de los productos y en los marcos de responsabilidad, En la medida en que se considere que puede ser necesario revisar 0 adaptar dicha normativa —o introducir , tanto con fines de orateccién como de fomento, dicha necesidad se planteard en nuestro segundo entregable, @ saber, las recomendaciones en materia de politicas e inversién en el mbito de la IA. Odigos de conoucta Las organizaciones y partes interesadas pueden adoptar estes directrices y adapter sus cartas de responsabilidad empresatial, sus indicadores clave de rendimiento («KPIa), sus cOdigos de conducta 0 sus documentos intarnas de politica para contribu a los esfuerzos conducentes a la creaciin de una 1A flable Desde un punto de vista mas general, una organizacién que trabaje en un sistema de IA puede documentar sus intenciones y sustentarlas en daterminados valores considerados deseables, como los derechos fundamentales, la transparencia 0 el principio de no causar dafo, Normatizacién Las normas, como las relativas al disefio, la fabricacién o las prdcticas empresariales, pueden funcionar como un sistema de gestién de la calidad para los usuarios de la IA, los consumidores, las organizaciones, las instituciones de investigacién y los gobiernos, ofreciendo a todos estos agentes la capacidad de reconocer y fomentar una conducts ética a través de sus decisiones de compra. Mis alld de las normas convencicnales, existen enfoques de regulacién conjunta: sistemas de acreditacién, cédigos éticos profesionales © normas dlirigidas a garantizar que el disefto respete los derechos fundamentalas. Entre las ejemplos axistentes an la actualidad se encuentran, por ejemplo, las normas ISO 0 la serle de normas IEEE P7000, aunque en el futuro podria rasultar adecuado crear un sello de WIA fiables que, a partir de las normas técnicas espaciticadas, confirme por ejemplo que el sistema cumple los raquisitos de seguridad, solide: técnica y explicabllidad, certpicacién Dado que no esbe esperar que todas y cada una de las personas comprendan plenamente el funcionamiento y los efectos de los sistemas de IA, puede tenerse en consideracién @ aquellas organizaciones que pueden acreditar ante el pdblico que un sistema de IA es transparente, responsable y equitativo'™, Estas certificaciones aplicarlan normas dasarrolladas para diferentes ambitos de aplicacién y técnicas de 1A, convenientemente alineadas con las normas industriales y sociales del contexto especifico de que se trate. No obstante, Ia certificacién nunca puede sustituir2 la responsabilidad. Por lo tanto, daberia complementarse con marcos de rendicién de cuentas que incluyan cléusulas de exencién de rescansabilidad, asi como con mecanismos de Tal como etiende por elem, a niiatva pata un Deo Ainezco con aca dl Irstituta de genres elervins yelecrnices (EEE): rips/standates lee orgfneustryccnmections/e/autoncrous-systems MM 23

También podría gustarte