La roboética en salud

Antoni Baena
Director del Programa del Máster Universitario en Salud
Digital (MUSD). Estudios de Ciencias de la Salud.
Universitat Oberta de Catalunya (UOC)
La roboética en salud Inteligencia artificial en salud. Retos éticos y científicos

Introducción La tecnología no consiste en sustituir lo que ya tenemos, sino en reemplazar

un instrumento o un procedimiento por herramientas digitales transforma-
La pandemia de COVID-19 ha sido la primera pandemia que la sociedad ha doras, innovadoras; y es, precisamente, esta capacidad de innovación la que
tenido que afrontar, una pandemia que ha impactado sobremanera en muchos hace que muchas veces se haya dado prioridad a la capacidad tecnológica por
aspectos como la economía, la educación o las relaciones sociales, pero, por encima de la beneficencia humana. Las máquinas, hasta hace relativamente
encima de todo, sobre la salud física y mental. De hecho, si se ha podido supe- poco, sustituían o facilitaban las tareas físicas, hasta que se fueron implemen-
rar o rebajar dicha tensión ha sido gracias a la tecnología, que ha sido capaz en tando soluciones que empezaron a asumir tareas intelectuales. Primero, las
un tiempo récord de desarrollar diferentes vacunas, por una parte. repetitivas y automatizadas, liberando a las personas de las tareas más comple-
Por otra, si nos centramos en otros aspectos de la salud como el impacto que el jas y, habitualmente, las de mayor importancia, calidad y productividad.
aislamiento haya provocado, especialmente en algunos grupos vulnerables Esta evolución llevó al desarrollo de la IA, una disciplina que intenta replicar
como personas mayores, dependientes o sin acceso a internet, la tecnología fue los procesos inteligentes mediante la computación. En definitiva, mediante la
también una solución. Además de utilizarse para evitar el aislamiento y poder, programación y análisis de datos la tecnología es capaz de crear la falsa ilusión
de alguna forma, monitorizar el estado de nuestros seres queridos, también se de inteligencia, razonamiento y aprendizaje, palabras que hasta ese momento
aceleraron los diferentes procesos de tecnificación de la atención sanitaria a solo se relacionaban con las funciones cognitivas humanas.
distancia, campo que llevaba un ritmo incluso demasiado lento para las necesi-
dades y demandas de la sociedad. Gracias al uso de internet muchos pacientes Esta dependencia tecnológica, que en un inicio fue valorada muy positiva-
pudieron seguir con sus tratamientos o incluso iniciar otros nuevos, ante la mente, a medida que iba pasando el tiempo, provocó diferentes reacciones,
incapacidad de acceder inicialmente a un centro presencialmente. El final de siendo uno de los aprendizajes más claros el hecho de que el uso de la tecno-
la distancia física se ha aceptado como cotidiano e incluso como deseable o im- logía en la salud requería una mayor y mejor planificación, valoración y, sobre
parable. Primero como una simple sustitución o reemplazo de tecnologías: hacer todo, de profesionales con competencias suficientes. Pero estábamos ante una
lo mismo, pero con alguna mejoría (más rápido, más barato, más limpio…), emergencia sanitaria global, no había tiempo que perder.
pero lo mismo. Sin embargo, el gran salto proviene del uso de la tecnología para Precisamente esa urgencia y aceleración hizo, en su momento, casi imposible
conseguir un proceso nuevo, diferente y transformador, es decir, innovador. un análisis objetivo, con lo que las críticas al uso de las tecnologías arreciaron
Nos hemos acostumbrado a utilizar la tecnología en cada ámbito de nuestra aún más. Es hoy cuando se está valorando qué aspectos son mejorables, cómo
vida diaria (asistentes virtuales, chatbots, aplicaciones para todo, etc.), de for- se hubiese desarrollado la pandemia con unos procesos tecnológicos analiza-
ma que a veces no somos conscientes de estar hablando con una máquina, dos, probados y efectivos, qué se tenía que priorizar para que en situaciones
pues los sistemas de inteligencia artificial (IA) ya son capaces de tomar ciertas parecidas la respuesta fuese mucho mejor.
decisiones, aparentemente poco importantes, por nosotros. Lo que no deja de
parecer una tarea intelectual, si no fuera porque la propia máquina no sabe el
porqué de la decisión tomada. Pero ¿quién toma esa decisión, con base a qué,
La roboética
quién se hace responsable, se han tomado medidas de control, se ha pensado Dos aspectos de la salud digital han sido los más valorados. Uno el que hace
en posibles efectos iatrogénicos o sesgos de género, raza o ideología? En otras referencia a las competencias digitales de los profesionales de la salud, ya que
palabras, ¿se ha tenido en cuenta la ética o la deontología previamente a la se ha constatado que el nivel de competencias digitales aplicadas era mucho
implantación de la tecnología? menor del previsto, con lo que es muy necesario analizar y formar a todo el

72 73
La roboética en salud Inteligencia artificial en salud. Retos éticos y científicos

Introducción La tecnología no consiste en sustituir lo que ya tenemos, sino en reemplazar

un instrumento o un procedimiento por herramientas digitales transforma-
La pandemia de COVID-19 ha sido la primera pandemia que la sociedad ha doras, innovadoras; y es, precisamente, esta capacidad de innovación la que
tenido que afrontar, una pandemia que ha impactado sobremanera en muchos hace que muchas veces se haya dado prioridad a la capacidad tecnológica por
aspectos como la economía, la educación o las relaciones sociales, pero, por encima de la beneficencia humana. Las máquinas, hasta hace relativamente
encima de todo, sobre la salud física y mental. De hecho, si se ha podido supe- poco, sustituían o facilitaban las tareas físicas, hasta que se fueron implemen-
rar o rebajar dicha tensión ha sido gracias a la tecnología, que ha sido capaz en tando soluciones que empezaron a asumir tareas intelectuales. Primero, las
un tiempo récord de desarrollar diferentes vacunas, por una parte. repetitivas y automatizadas, liberando a las personas de las tareas más comple-
Por otra, si nos centramos en otros aspectos de la salud como el impacto que el jas y, habitualmente, las de mayor importancia, calidad y productividad.
aislamiento haya provocado, especialmente en algunos grupos vulnerables Esta evolución llevó al desarrollo de la IA, una disciplina que intenta replicar
como personas mayores, dependientes o sin acceso a internet, la tecnología fue los procesos inteligentes mediante la computación. En definitiva, mediante la
también una solución. Además de utilizarse para evitar el aislamiento y poder, programación y análisis de datos la tecnología es capaz de crear la falsa ilusión
de alguna forma, monitorizar el estado de nuestros seres queridos, también se de inteligencia, razonamiento y aprendizaje, palabras que hasta ese momento
aceleraron los diferentes procesos de tecnificación de la atención sanitaria a solo se relacionaban con las funciones cognitivas humanas.
distancia, campo que llevaba un ritmo incluso demasiado lento para las necesi-
dades y demandas de la sociedad. Gracias al uso de internet muchos pacientes Esta dependencia tecnológica, que en un inicio fue valorada muy positiva-
pudieron seguir con sus tratamientos o incluso iniciar otros nuevos, ante la mente, a medida que iba pasando el tiempo, provocó diferentes reacciones,
incapacidad de acceder inicialmente a un centro presencialmente. El final de siendo uno de los aprendizajes más claros el hecho de que el uso de la tecno-
la distancia física se ha aceptado como cotidiano e incluso como deseable o im- logía en la salud requería una mayor y mejor planificación, valoración y, sobre
parable. Primero como una simple sustitución o reemplazo de tecnologías: hacer todo, de profesionales con competencias suficientes. Pero estábamos ante una
lo mismo, pero con alguna mejoría (más rápido, más barato, más limpio…), emergencia sanitaria global, no había tiempo que perder.
pero lo mismo. Sin embargo, el gran salto proviene del uso de la tecnología para Precisamente esa urgencia y aceleración hizo, en su momento, casi imposible
conseguir un proceso nuevo, diferente y transformador, es decir, innovador. un análisis objetivo, con lo que las críticas al uso de las tecnologías arreciaron
Nos hemos acostumbrado a utilizar la tecnología en cada ámbito de nuestra aún más. Es hoy cuando se está valorando qué aspectos son mejorables, cómo
vida diaria (asistentes virtuales, chatbots, aplicaciones para todo, etc.), de for- se hubiese desarrollado la pandemia con unos procesos tecnológicos analiza-
ma que a veces no somos conscientes de estar hablando con una máquina, dos, probados y efectivos, qué se tenía que priorizar para que en situaciones
pues los sistemas de inteligencia artificial (IA) ya son capaces de tomar ciertas parecidas la respuesta fuese mucho mejor.
decisiones, aparentemente poco importantes, por nosotros. Lo que no deja de
parecer una tarea intelectual, si no fuera porque la propia máquina no sabe el
porqué de la decisión tomada. Pero ¿quién toma esa decisión, con base a qué,
La roboética
quién se hace responsable, se han tomado medidas de control, se ha pensado Dos aspectos de la salud digital han sido los más valorados. Uno el que hace
en posibles efectos iatrogénicos o sesgos de género, raza o ideología? En otras referencia a las competencias digitales de los profesionales de la salud, ya que
palabras, ¿se ha tenido en cuenta la ética o la deontología previamente a la se ha constatado que el nivel de competencias digitales aplicadas era mucho
implantación de la tecnología? menor del previsto, con lo que es muy necesario analizar y formar a todo el

72 73
La roboética en salud Inteligencia artificial en salud. Retos éticos y científicos

colectivo sanitario. El segundo aspecto que ha adquirido importancia es la Este aumento de la preocupación y el interés por los derechos digitales quedó
roboética: la ética aplicable a las máquinas. claro cuando en enero de 2022 se publicó la Declaración Europea de los De-
rechos y Principios Digitales, cuyo contenido establece que: 1) las personas
Hemos llegado a un punto de desarrollo social en el que se piensa en un pro-
son el núcleo de la transformación digital; 2) se debe apoyar la solidaridad y
blema, se mira a la tecnología como solución y, por último y si se llega a hacer
la inclusión; 3) garantizar la libertad de elección y expresión; 4) aumentar la
en algún momento, se valora si dicha solución es idónea u ocasiona más pro-
blemas de los que soluciona. Si la solución se implementa y, por casualidad o seguridad y empoderamiento de los ciudadanos, y 5) promover la sostenibili-
por azar, no provoca ninguna incidencia, se sigue con su uso sin más crítica. dad en un entorno digital fiable, diverso, multilingüe y seguro. Es decir, el
Solo se revisa si se detecta algún problema, no habiendo dado importancia a objetivo final no es ni más ni menos que intentar equiparar los derechos offline
la prevención de dichas situaciones, como debería ser. Y esto sucede princi- y online, aunque no dejan de ser unos principios más descriptivos que norma-
palmente porque la ética o las buenas prácticas suelen darse por hecho y los tivos, ya que no son vinculantes.
profesionales implicados o no han sido formados en esta disciplina o no se les Pero previamente ya había habido algunas reuniones de expertos como la que
requiere. Lógicamente, a medida que la tecnología se ha ido adentrando en la se realizó en 2017 en Asilomar (California, EE. UU.), cuyo resultado fueron los
salud, cada proceso es más complicado que el anterior y, por tanto, es más Principios Asilomar de la Inteligencia Artificial, donde se consensuaron 23 prin-
factible que se trate de procesos delicados y sensibles. Paralelamente, las per- cipios que deben servir de guía para el análisis ético-deontológico de cualquier
sonas sobre las que se aplica la tecnología también se han ido preocupando y tecnología aplicada.
preparando cada vez más para su autocuidado, tomando decisiones persona-
les y empoderadas sobre su salud.
La importancia de los datos
En definitiva, habitualmente se nos ha intentado convencer de que la tecnolo-
gía es neutra, cuando es falso. Así nos podíamos olvidar o dejar en segundo Difícilmente se podrá innovar si no se tienen datos suficientes como para plan-
plano la importancia de diseñar y controlar éticamente cualquier nueva apli- tear escenarios y respuestas múltiples. Hasta ahora se le ha dado un valor exce-
cación tecnológica y, únicamente, centrarnos en los supuestos beneficios. sivo a la captación de los datos, sin tener en cuenta su fiabilidad y su represen-
Como es lógico, la ideología es diseñada y aplicada por personas con ideolo- tatividad, como si el hecho de tener la capacidad de computar millones de
gía, y esta se transmite a su producto. datos superase la importancia de realizar una buena retroalimentación y valo-
ración constante de los resultados. De hecho, en muchos casos las matemáticas
La casi ausencia de planificación ética ha provocado una mayor dependen-
se han confundido con la realidad, de forma que la realidad resultante solo
cia con respecto a la tecnología ya que, en lugar de adaptar esta a las necesi-
existía teóricamente. No olvidemos que la IA proyecta un futuro analizando
dades reales, se ha planificado pensando más en la adaptación del usuario a
datos del pasado, confunde resultados con realidad, de forma que la realidad ya
la tecnología. Aunque claramente es una situación en rápido retroceso,
no importa, incluso no existe, solo los resultados marcan el camino.
principalmente porque los usuarios y usuarias de salud han dado un paso al
frente para controlar diferentes procesos y así evitar convertirse en simples
espectadores de las actuaciones sobre su salud, incluso gracias a decisiones La ética en los chatbots
algorítmicas arbitrarias no fundamentadas, ni eficaces, ni claras. El negocio
está en la predicción y sin datos no es posible; por eso, la captación de datos, ¿Qué hay más humano y complejo que el lenguaje y la comunicación? Por eso,
más allá incluso de su calidad, es lo que mueve actualmente a muchos desa- en la década de 1960, se empezaron a desarrollar aplicaciones que simulaban
rrolladores. conversar interaccionando con respuestas automáticas previamente estableci-

74 75
La roboética en salud Inteligencia artificial en salud. Retos éticos y científicos

colectivo sanitario. El segundo aspecto que ha adquirido importancia es la Este aumento de la preocupación y el interés por los derechos digitales quedó
roboética: la ética aplicable a las máquinas. claro cuando en enero de 2022 se publicó la Declaración Europea de los De-
rechos y Principios Digitales, cuyo contenido establece que: 1) las personas
Hemos llegado a un punto de desarrollo social en el que se piensa en un pro-
son el núcleo de la transformación digital; 2) se debe apoyar la solidaridad y
blema, se mira a la tecnología como solución y, por último y si se llega a hacer
la inclusión; 3) garantizar la libertad de elección y expresión; 4) aumentar la
en algún momento, se valora si dicha solución es idónea u ocasiona más pro-
blemas de los que soluciona. Si la solución se implementa y, por casualidad o seguridad y empoderamiento de los ciudadanos, y 5) promover la sostenibili-
por azar, no provoca ninguna incidencia, se sigue con su uso sin más crítica. dad en un entorno digital fiable, diverso, multilingüe y seguro. Es decir, el
Solo se revisa si se detecta algún problema, no habiendo dado importancia a objetivo final no es ni más ni menos que intentar equiparar los derechos offline
la prevención de dichas situaciones, como debería ser. Y esto sucede princi- y online, aunque no dejan de ser unos principios más descriptivos que norma-
palmente porque la ética o las buenas prácticas suelen darse por hecho y los tivos, ya que no son vinculantes.
profesionales implicados o no han sido formados en esta disciplina o no se les Pero previamente ya había habido algunas reuniones de expertos como la que
requiere. Lógicamente, a medida que la tecnología se ha ido adentrando en la se realizó en 2017 en Asilomar (California, EE. UU.), cuyo resultado fueron los
salud, cada proceso es más complicado que el anterior y, por tanto, es más Principios Asilomar de la Inteligencia Artificial, donde se consensuaron 23 prin-
factible que se trate de procesos delicados y sensibles. Paralelamente, las per- cipios que deben servir de guía para el análisis ético-deontológico de cualquier
sonas sobre las que se aplica la tecnología también se han ido preocupando y tecnología aplicada.
preparando cada vez más para su autocuidado, tomando decisiones persona-
les y empoderadas sobre su salud.
La importancia de los datos
En definitiva, habitualmente se nos ha intentado convencer de que la tecnolo-
gía es neutra, cuando es falso. Así nos podíamos olvidar o dejar en segundo Difícilmente se podrá innovar si no se tienen datos suficientes como para plan-
plano la importancia de diseñar y controlar éticamente cualquier nueva apli- tear escenarios y respuestas múltiples. Hasta ahora se le ha dado un valor exce-
cación tecnológica y, únicamente, centrarnos en los supuestos beneficios. sivo a la captación de los datos, sin tener en cuenta su fiabilidad y su represen-
Como es lógico, la ideología es diseñada y aplicada por personas con ideolo- tatividad, como si el hecho de tener la capacidad de computar millones de
gía, y esta se transmite a su producto. datos superase la importancia de realizar una buena retroalimentación y valo-
ración constante de los resultados. De hecho, en muchos casos las matemáticas
La casi ausencia de planificación ética ha provocado una mayor dependen-
se han confundido con la realidad, de forma que la realidad resultante solo
cia con respecto a la tecnología ya que, en lugar de adaptar esta a las necesi-
existía teóricamente. No olvidemos que la IA proyecta un futuro analizando
dades reales, se ha planificado pensando más en la adaptación del usuario a
datos del pasado, confunde resultados con realidad, de forma que la realidad ya
la tecnología. Aunque claramente es una situación en rápido retroceso,
no importa, incluso no existe, solo los resultados marcan el camino.
principalmente porque los usuarios y usuarias de salud han dado un paso al
frente para controlar diferentes procesos y así evitar convertirse en simples
espectadores de las actuaciones sobre su salud, incluso gracias a decisiones La ética en los chatbots
algorítmicas arbitrarias no fundamentadas, ni eficaces, ni claras. El negocio
está en la predicción y sin datos no es posible; por eso, la captación de datos, ¿Qué hay más humano y complejo que el lenguaje y la comunicación? Por eso,
más allá incluso de su calidad, es lo que mueve actualmente a muchos desa- en la década de 1960, se empezaron a desarrollar aplicaciones que simulaban
rrolladores. conversar interaccionando con respuestas automáticas previamente estableci-

74 75
La roboética en salud Inteligencia artificial en salud. Retos éticos y científicos

das. El primer chatbot de la historia fue diseñado por el informático Joseph ser si obtiene más o menos datos de calidad, sino si el algoritmo que analiza
Weizenbaum en 1966 cuando construyó un programa que simulaba una con- los datos arroja unas soluciones basadas en un modelo ético robusto, transpa-
versación con una psicóloga llamada Eliza. Es decir, la primera simulación rente y revisable. Recordemos que en breve las máquinas tendrán más datos
cognitiva de una máquina iba dirigida a resolver problemas cognitivos. Una que las propias personas que los aportan.
pretensión quizá demasiado elevada ya que, si bien los chatbots son capaces de
Existen principalmente dos tipos de chatbots. El primero corresponde a los
interactuar con una persona a partir de la entrada de texto, o incluso voz, la
dirigidos a tareas automáticas como la resolución de consultas de los usuarios,
experiencia difícilmente se parecería a una conversación simple entre personas.
el diagnóstico a partir de cuestionarios, etc. Son interacciones muy estructu-
De ahí que el desarrollo principal de este tipo de tecnología se haya dirigido a
radas y cerradas, reduciendo la posibilidad de error y facilitando su uso, pla-
mejorar la experiencia conversacional: al uso de un lenguaje cada vez más pa-
nificación y gestión, de ahí que sean los más utilizados. Así que, si existe una
recido al humano que pueda ser percibido como más real y agradable.
tecnología que imita sentimientos y conciencia, también debería imitar la
En definitiva, los chatbots se plantean como una tecnología que confunda, que moral y la ética. Sin embargo, no son este tipo de chatbots los que realmente
mienta y que elimine la separación entre personas y máquinas. Dilema que ya provocan más preocupaciones sobre su uso.
fue previsto por Turing al postular un estándar que diferenciase la «inteligen-
El segundo tipo de chatbots son más complejos, ya que son capaces de inte-
cia» de un bot a la de una persona. En el hipotético caso de que no se pudiese
ractuar con los usuarios y arrojar respuestas automáticas a las diferentes peti-
diferenciar el comportamiento de una máquina con el de una persona, se
ciones recibidas. Estos son los que pueden provocar discriminaciones que en
habría alcanzado un nivel de imitación complejo con una serie de dilemas
según qué casos pueden ser realmente importantes, más si se utilizan, por
éticos nuevos e interesantes que hay que gestionar lo antes posible.
ejemplo, para un cribado de salud. Estos chatbots predictivos tienen algorit-
Está claro que la IA tiene importantes ventajas. En concreto, los chatbots pro- mos desarrollados con IA para detectar conductas, pensamientos o estados de
porcionan un servicio 24/7, rápido y para muchas personas, resolviendo las ánimo gracias a la cantidad ingente de datos que recogen (big data y data
tareas más tediosas y automáticas eficazmente. En cambio, se habla poco de mining). Los datos no generan conocimiento por sí solos; es su correcto pro-
los inconvenientes que intentar reemplazar la atención personal pueda tener cesamiento el que lo consigue al crear determinados patrones mediante la
sin haber realizado un análisis de cuáles serían las funciones adecuadas, cómo comparación. Por eso, si se comparan con datos erróneos o sesgados, perpe-
gestionar errores, limitaciones, urgencias y otras situaciones problemáticas tuarán una discriminación injusta.
previamente o, por lo menos, intentando adelantarse a que pasen. Por encima
Imaginemos un software que implemente IA y que quiere detectar la probabi-
de todo la IA no tiene moral, ni ética, ni deontología hasta que se programe y
lidad de padecer cierta enfermedad, pero que, para implementar el algoritmo,
corrija constante y correctamente.
se ha basado en datos fiables pero recogidos únicamente de personas de cierta
Cuando interactuamos con un chatbot estamos interactuando con una má- localidad, blancas, predominantemente hombres y con una edad superior a
quina programada para crear la ilusión de humanidad y eficiencia gracias a los 50 años, cuando la incidencia de dicha enfermedad es baja entre este co-
una lógica previamente establecida y que puede contener errores. Más aún lectivo. Claramente, solo reflejará las variables predictoras de dicha enferme-
si los procesos a los que responde el chatbot son cada vez más complejos como dad cuando interaccionen con personas de esas características. Es decir, la
los sanitarios. Y es gracias al uso de cada vez más datos lo que crea la ilusión utilidad de dicho chatbot no es que sea negativa, es que directamente provoca
de una inteligencia real, por lo que el impacto sobre las personas es cada vez una discriminación y puede empeorar la situación de algunas personas a las
mayor. Por eso, el factor más importante y limitante de un chatbot no debería que el algoritmo informará que tienen un riesgo mínimo, siendo falso. En

76 77
La roboética en salud Inteligencia artificial en salud. Retos éticos y científicos

das. El primer chatbot de la historia fue diseñado por el informático Joseph ser si obtiene más o menos datos de calidad, sino si el algoritmo que analiza
Weizenbaum en 1966 cuando construyó un programa que simulaba una con- los datos arroja unas soluciones basadas en un modelo ético robusto, transpa-
versación con una psicóloga llamada Eliza. Es decir, la primera simulación rente y revisable. Recordemos que en breve las máquinas tendrán más datos
cognitiva de una máquina iba dirigida a resolver problemas cognitivos. Una que las propias personas que los aportan.
pretensión quizá demasiado elevada ya que, si bien los chatbots son capaces de
Existen principalmente dos tipos de chatbots. El primero corresponde a los
interactuar con una persona a partir de la entrada de texto, o incluso voz, la
dirigidos a tareas automáticas como la resolución de consultas de los usuarios,
experiencia difícilmente se parecería a una conversación simple entre personas.
el diagnóstico a partir de cuestionarios, etc. Son interacciones muy estructu-
De ahí que el desarrollo principal de este tipo de tecnología se haya dirigido a
radas y cerradas, reduciendo la posibilidad de error y facilitando su uso, pla-
mejorar la experiencia conversacional: al uso de un lenguaje cada vez más pa-
nificación y gestión, de ahí que sean los más utilizados. Así que, si existe una
recido al humano que pueda ser percibido como más real y agradable.
tecnología que imita sentimientos y conciencia, también debería imitar la
En definitiva, los chatbots se plantean como una tecnología que confunda, que moral y la ética. Sin embargo, no son este tipo de chatbots los que realmente
mienta y que elimine la separación entre personas y máquinas. Dilema que ya provocan más preocupaciones sobre su uso.
fue previsto por Turing al postular un estándar que diferenciase la «inteligen-
El segundo tipo de chatbots son más complejos, ya que son capaces de inte-
cia» de un bot a la de una persona. En el hipotético caso de que no se pudiese
ractuar con los usuarios y arrojar respuestas automáticas a las diferentes peti-
diferenciar el comportamiento de una máquina con el de una persona, se
ciones recibidas. Estos son los que pueden provocar discriminaciones que en
habría alcanzado un nivel de imitación complejo con una serie de dilemas
según qué casos pueden ser realmente importantes, más si se utilizan, por
éticos nuevos e interesantes que hay que gestionar lo antes posible.
ejemplo, para un cribado de salud. Estos chatbots predictivos tienen algorit-
Está claro que la IA tiene importantes ventajas. En concreto, los chatbots pro- mos desarrollados con IA para detectar conductas, pensamientos o estados de
porcionan un servicio 24/7, rápido y para muchas personas, resolviendo las ánimo gracias a la cantidad ingente de datos que recogen (big data y data
tareas más tediosas y automáticas eficazmente. En cambio, se habla poco de mining). Los datos no generan conocimiento por sí solos; es su correcto pro-
los inconvenientes que intentar reemplazar la atención personal pueda tener cesamiento el que lo consigue al crear determinados patrones mediante la
sin haber realizado un análisis de cuáles serían las funciones adecuadas, cómo comparación. Por eso, si se comparan con datos erróneos o sesgados, perpe-
gestionar errores, limitaciones, urgencias y otras situaciones problemáticas tuarán una discriminación injusta.
previamente o, por lo menos, intentando adelantarse a que pasen. Por encima
Imaginemos un software que implemente IA y que quiere detectar la probabi-
de todo la IA no tiene moral, ni ética, ni deontología hasta que se programe y
lidad de padecer cierta enfermedad, pero que, para implementar el algoritmo,
corrija constante y correctamente.
se ha basado en datos fiables pero recogidos únicamente de personas de cierta
Cuando interactuamos con un chatbot estamos interactuando con una má- localidad, blancas, predominantemente hombres y con una edad superior a
quina programada para crear la ilusión de humanidad y eficiencia gracias a los 50 años, cuando la incidencia de dicha enfermedad es baja entre este co-
una lógica previamente establecida y que puede contener errores. Más aún lectivo. Claramente, solo reflejará las variables predictoras de dicha enferme-
si los procesos a los que responde el chatbot son cada vez más complejos como dad cuando interaccionen con personas de esas características. Es decir, la
los sanitarios. Y es gracias al uso de cada vez más datos lo que crea la ilusión utilidad de dicho chatbot no es que sea negativa, es que directamente provoca
de una inteligencia real, por lo que el impacto sobre las personas es cada vez una discriminación y puede empeorar la situación de algunas personas a las
mayor. Por eso, el factor más importante y limitante de un chatbot no debería que el algoritmo informará que tienen un riesgo mínimo, siendo falso. En

76 77
La roboética en salud Inteligencia artificial en salud. Retos éticos y científicos

otras palabras, una herramienta que podría ser muy útil para ahorrar tiempo, cretas. Al ir paulatinamente superando esta limitación, cada vez será más
detectar fácilmente a personas en riesgo y prevenir la situación, tan solo sirve frecuente encontrar que determinados procesos asistenciales integrados serán
para una pequeña parte de la población que puede ser difícil de detectar en controlados y gestionados por algoritmos. Situaciones ética, deontológica y
según qué proyectos o protocolos en los que se habrá basado el algoritmo legalmente comprometidas, especialmente en relación con la cantidad, segu-
inicialmente. Pero no olvidemos que el algoritmo se retroalimentará de los ridad y calidad de los datos recogidos y la gestión de los posibles errores oca-
datos recogidos, sesgando aún más los resultados si no se corrige o retroali- sionados y sus responsabilidades.
menta con otras fuentes de información. Imaginemos también que dicho
En cualquier caso, habría que enseñar ética al programador o programadora
chatbot ha llegado a un nivel de desarrollo conversacional en el que no solo porque alguien tiene que ser responsable de los actos del chatbot. Es suma-
utiliza y reconoce algunas frases simples comprensibles, sino que tiene tal ni- mente importante definir cuándo la persona deber tener el control final (hu-
vel de desarrollo que los usuarios son incapaces de diferenciarlos de un profe- man-in-the-loop, HITL), es decir, las personas deben seguir teniendo la última
sional de la salud; de hecho, creen que están interaccionando con uno o una, palabra sobre decisiones que afecten a la vida; cuándo se deben supervisar las
ya que en ningún lugar pone que no sea así. La mayoría de pacientes creerá acciones de una máquina (human-on-the-loop, HOTL), o cuándo la maquina
más firmemente en el diagnóstico erróneo de un algoritmo mal diseñado. podrá decidir autónomamente (human-out-of-the-loop, HOOTL). Y en mu-
Otro ejemplo, no relacionado con la salud, podría ser el uso de un algoritmo chos casos no sirve el ensayo y error, y hay que trabajar con una mentalidad
para la vigilancia policial en un barrio considerado conflictivo. Dicho algorit- predictiva lógica.
mo recogerá más datos de ese barrio creando un bucle de retroalimentación
pernicioso en el que cuanta más vigilancia policial más probabilidad de en-
contrar y registrar delitos, justificando los nuevos datos la necesidad de dicha Conclusiones
vigilancia. Curiosamente los sesgos siguen dirigiéndose hacia colectivos vul- La salud digital sin ética o deontología crea un problema donde debería solu-
nerables definiendo una realidad imperfecta y perpetuando una tecnología cionarlo. La tecnología puede ser la respuesta a muchos problemas, pero si es
nociva, en mayor o menor medida, que analizará de forma incompetente por la propia tecnología la que crea el problema, la solución la encontraremos en
máquinas mientras que las personas privilegiadas seguirán siendo atendidas una tecnología mejor, en una tecnología ética y que busque el bienestar global
por personas. y no la ganancia económica de unos pocos.
Es decir, uno de los pilares más importantes del uso tecnológico en salud, que Por suerte, los profesionales de la salud y el resto de profesionales involucra-
radica en acercar la atención de calidad y la eficacia al máximo de personas, si dos en la salud digital están empezando a reaccionar a tiempo poniendo en el
no se utiliza éticamente aumentará la actual brecha de acceso al sistema sani- centro de la ecuación a la persona, no a la tecnología, pero también evaluando
tario en lugar de reducirlo. Si las condiciones cambian, el modelo debería la pertinencia o no de las intervenciones y creando mecanismos de retroali-
hacerlo también, siendo dinámico, ya que no es más que una representación mentación constante que detecte los sesgos, los posibles daños y perjuicios del
simplificada y abstracta de ciertos procesos. Tenemos que valorar si, con la uso de la tecnología mediante modelos dinámicos actualizados y no algorit-
tecnología, en lugar de eliminar el sesgo humano lo que hemos hecho es ca- mos cerrados.
muflarlo, justificarlo y perpetuarlo.
En poco tiempo asistiremos al desarrollo de redes de comunicación 5G, lo que
Aun así, actualmente la IA no es capaz de desarrollar tareas múltiples comple- permitirá a la IA desarrollar funciones mejoradas y predicciones más rápidas,
jas, pero sí una gran personalización y orientación a soluciones o tareas con- fiables y móviles. Seguramente, los asistentes personales serán la norma gene-

78 79
La roboética en salud Inteligencia artificial en salud. Retos éticos y científicos

otras palabras, una herramienta que podría ser muy útil para ahorrar tiempo, cretas. Al ir paulatinamente superando esta limitación, cada vez será más
detectar fácilmente a personas en riesgo y prevenir la situación, tan solo sirve frecuente encontrar que determinados procesos asistenciales integrados serán
para una pequeña parte de la población que puede ser difícil de detectar en controlados y gestionados por algoritmos. Situaciones ética, deontológica y
según qué proyectos o protocolos en los que se habrá basado el algoritmo legalmente comprometidas, especialmente en relación con la cantidad, segu-
inicialmente. Pero no olvidemos que el algoritmo se retroalimentará de los ridad y calidad de los datos recogidos y la gestión de los posibles errores oca-
datos recogidos, sesgando aún más los resultados si no se corrige o retroali- sionados y sus responsabilidades.
menta con otras fuentes de información. Imaginemos también que dicho
En cualquier caso, habría que enseñar ética al programador o programadora
chatbot ha llegado a un nivel de desarrollo conversacional en el que no solo porque alguien tiene que ser responsable de los actos del chatbot. Es suma-
utiliza y reconoce algunas frases simples comprensibles, sino que tiene tal ni- mente importante definir cuándo la persona deber tener el control final (hu-
vel de desarrollo que los usuarios son incapaces de diferenciarlos de un profe- man-in-the-loop, HITL), es decir, las personas deben seguir teniendo la última
sional de la salud; de hecho, creen que están interaccionando con uno o una, palabra sobre decisiones que afecten a la vida; cuándo se deben supervisar las
ya que en ningún lugar pone que no sea así. La mayoría de pacientes creerá acciones de una máquina (human-on-the-loop, HOTL), o cuándo la maquina
más firmemente en el diagnóstico erróneo de un algoritmo mal diseñado. podrá decidir autónomamente (human-out-of-the-loop, HOOTL). Y en mu-
Otro ejemplo, no relacionado con la salud, podría ser el uso de un algoritmo chos casos no sirve el ensayo y error, y hay que trabajar con una mentalidad
para la vigilancia policial en un barrio considerado conflictivo. Dicho algorit- predictiva lógica.
mo recogerá más datos de ese barrio creando un bucle de retroalimentación
pernicioso en el que cuanta más vigilancia policial más probabilidad de en-
contrar y registrar delitos, justificando los nuevos datos la necesidad de dicha Conclusiones
vigilancia. Curiosamente los sesgos siguen dirigiéndose hacia colectivos vul- La salud digital sin ética o deontología crea un problema donde debería solu-
nerables definiendo una realidad imperfecta y perpetuando una tecnología cionarlo. La tecnología puede ser la respuesta a muchos problemas, pero si es
nociva, en mayor o menor medida, que analizará de forma incompetente por la propia tecnología la que crea el problema, la solución la encontraremos en
máquinas mientras que las personas privilegiadas seguirán siendo atendidas una tecnología mejor, en una tecnología ética y que busque el bienestar global
por personas. y no la ganancia económica de unos pocos.
Es decir, uno de los pilares más importantes del uso tecnológico en salud, que Por suerte, los profesionales de la salud y el resto de profesionales involucra-
radica en acercar la atención de calidad y la eficacia al máximo de personas, si dos en la salud digital están empezando a reaccionar a tiempo poniendo en el
no se utiliza éticamente aumentará la actual brecha de acceso al sistema sani- centro de la ecuación a la persona, no a la tecnología, pero también evaluando
tario en lugar de reducirlo. Si las condiciones cambian, el modelo debería la pertinencia o no de las intervenciones y creando mecanismos de retroali-
hacerlo también, siendo dinámico, ya que no es más que una representación mentación constante que detecte los sesgos, los posibles daños y perjuicios del
simplificada y abstracta de ciertos procesos. Tenemos que valorar si, con la uso de la tecnología mediante modelos dinámicos actualizados y no algorit-
tecnología, en lugar de eliminar el sesgo humano lo que hemos hecho es ca- mos cerrados.
muflarlo, justificarlo y perpetuarlo.
En poco tiempo asistiremos al desarrollo de redes de comunicación 5G, lo que
Aun así, actualmente la IA no es capaz de desarrollar tareas múltiples comple- permitirá a la IA desarrollar funciones mejoradas y predicciones más rápidas,
jas, pero sí una gran personalización y orientación a soluciones o tareas con- fiables y móviles. Seguramente, los asistentes personales serán la norma gene-

78 79
La roboética en salud Inteligencia artificial en salud. Retos éticos y científicos

ral, con lo que muchas gestiones serán más eficientes y la sociedad estará más Real AP. La Declaración de derechos y principios digitales de la Comisión
conectada, algo que sin un control ético estricto será un fracaso y retrasará su Europea. ¿Hacia un marco constitucional de los derechos digitales en Eu-
desarrollo aumentando las reticencias de los pacientes para usarlo. Por eso es ropa? Derecho Digital e Innovación. Digital Law and Innovation Review.
tan importante iniciar, lo antes posible, una regulación completa de la imple- 2021; (10): 2.
mentación de la IA en la salud digital y conseguir programar algoritmos be-
neficiosos para el máximo de personas posible.

Bibliografía
Acero-Rodríguez PD, Baena A. Ética y deontología de la telesalud mental. En:
Martí Noguera JJ, coordinador. Manual de telesalud mental: Tecnologías
digitales en la práctica clínica. Madrid: Pirámide; 2022. p. 29-41.
Burzaco Samper M. Protección de datos personales y garantía de los derechos
digitales, n.o del Estado, E. J. Ley Orgánica 3/2018, de 5 de diciembre
(2020). Madrid: Dykinson; 2021. Disponible en: https://doi.org/10.2307/j.
ctv17hm980
Cebrián RP, de la Torre Martí M. Eficacia de la intervención por telesalud
mental en adultos. En: Martí Noguera JJ, coordinador. Manual de telesa-
lud mental: Tecnologías digitales en la práctica clínica. Madrid: Pirámide;
2022. p. 81-89.
Garbowski M. A critical analysis of the Asilomar AI principles. Zeszyty
Naukowe. Organizacja i Zarządzanie/Politechnika Śląska; 2018.
Hsiung R. Suggested Principles of Professional Ethics for the Online Provision of
Mental Health Services. Studies in Health Technology and Informatics. 2001;
84: 1296-1300. Disponible en: https://doi.org/10.1089/153056201300093895
Mahoney N, Walaszek A, Caudill R. Incorporating Technology into the
Psychiatric Residency Curriculum. Academic Psychiatry. 2018; 42(6):
847-851. Disponible en: https://doi.org/10.1007/s40596-018-0978-3
Midkiff DM, Joseph Wyatt W. Ethical Issues in the Provision of Online Mental
Health Services (Etherapy). Journal of Technology in Human Services. 2008;
26(2-4): 310-332. Disponible en: https://doi.org/10.1080/15228830802096994

80 81
La roboética en salud Inteligencia artificial en salud. Retos éticos y científicos

ral, con lo que muchas gestiones serán más eficientes y la sociedad estará más Real AP. La Declaración de derechos y principios digitales de la Comisión
conectada, algo que sin un control ético estricto será un fracaso y retrasará su Europea. ¿Hacia un marco constitucional de los derechos digitales en Eu-
desarrollo aumentando las reticencias de los pacientes para usarlo. Por eso es ropa? Derecho Digital e Innovación. Digital Law and Innovation Review.
tan importante iniciar, lo antes posible, una regulación completa de la imple- 2021; (10): 2.
mentación de la IA en la salud digital y conseguir programar algoritmos be-
neficiosos para el máximo de personas posible.

Bibliografía
Acero-Rodríguez PD, Baena A. Ética y deontología de la telesalud mental. En:
Martí Noguera JJ, coordinador. Manual de telesalud mental: Tecnologías
digitales en la práctica clínica. Madrid: Pirámide; 2022. p. 29-41.
Burzaco Samper M. Protección de datos personales y garantía de los derechos
digitales, n.o del Estado, E. J. Ley Orgánica 3/2018, de 5 de diciembre
(2020). Madrid: Dykinson; 2021. Disponible en: https://doi.org/10.2307/j.
ctv17hm980
Cebrián RP, de la Torre Martí M. Eficacia de la intervención por telesalud
mental en adultos. En: Martí Noguera JJ, coordinador. Manual de telesa-
lud mental: Tecnologías digitales en la práctica clínica. Madrid: Pirámide;
2022. p. 81-89.
Garbowski M. A critical analysis of the Asilomar AI principles. Zeszyty
Naukowe. Organizacja i Zarządzanie/Politechnika Śląska; 2018.
Hsiung R. Suggested Principles of Professional Ethics for the Online Provision of
Mental Health Services. Studies in Health Technology and Informatics. 2001;
84: 1296-1300. Disponible en: https://doi.org/10.1089/153056201300093895
Mahoney N, Walaszek A, Caudill R. Incorporating Technology into the
Psychiatric Residency Curriculum. Academic Psychiatry. 2018; 42(6):
847-851. Disponible en: https://doi.org/10.1007/s40596-018-0978-3
Midkiff DM, Joseph Wyatt W. Ethical Issues in the Provision of Online Mental
Health Services (Etherapy). Journal of Technology in Human Services. 2008;
26(2-4): 310-332. Disponible en: https://doi.org/10.1080/15228830802096994

80 81