Suscríbete a DeepL Pro para poder traducir archivos de mayor tamaño.

Más información disponible en [Link]/pro.

Artículos

Modelo de inteligencia artificial basado en aprendizaje

profundo para ayudar al diagnóstico y manejo de nódulos
tiroideos: un estudio de diagnóstico multicéntrico
Sui Peng*, Yihao Liu*, Weiming Lv*, Longzhong Liu*, Qian Zhou*, Hong Yang, Jie Ren, Guangjian Liu, Xiaodong Wang, Xuehua Zhang, Qiang
Du, Fangxing Nie, Gao Huang, Yuchen Guo, Jie Li, Jinyu Liang, Hangtong Hu, Han Xiao, Zelong Liu, Fenghua Lai, Qiuyi Zheng, Haibo Wang, Yanbing Li,
Erik K Alexander, Wei Wang, Haipeng Xiao

Resumen
Antecedentes Las estrategias para integrar la inteligencia artificial (IA) en el tratamiento de los nódulos tiroideos Lancet Digit Health 2021;
3: e250-59
requieren más desarrollo y pruebas. Desarrollamos un modelo de IA de aprendizaje profundo (ThyNet) para
diferenciar entre tumores malignos y nódulos tiroideos benignos y nos propusimos investigar cómo ThyNet podría *Contribución a partes iguales a
este trabajo
ayudar a los radiólogos a mejorar el rendimiento diagnóstico y evitar la aspiración innecesaria con aguja fina.
Unidad de Ensayos Clínicos
(Prof S Peng PhD, Y Liu MD,
Métodos ThyNet se desarrolló y entrenó con 18 049 imágenes de 8339 pacientes (conjunto de entrenamiento) de Q Zhou MS, Prof H Wang MPH),
dos hospitales (el Primer Hospital Afiliado de la Universidad Sun Yat-sen, Guangzhou, China, y el Centro Departamento de
Oncológico de la Universidad Sun Yat-sen, Guangzhou, China) y se probó con 4305 imágenes de 2775 pacientes Endocrinología (Y Liu, F Lai
MM, Q Zheng MD, Prof Y Li
(conjunto total de pruebas) de siete hospitales (el Primer Hospital Afiliado de la Universidad de Medicina China de PhD, Prof H Xiao PhD),
Guangzhou, Guangzhou, China; el Sexto Hospital Afiliado de la Universidad Sun Yat-sen, Guangzhou, China; el Departamento de Ecografía
Hospital General del Ejército de Guangzhou, Guangzhou, China; el Tercer Hospital Afiliado de la Universidad Sun Médica, Instituto de
Yat-sen, Guangzhou, China; el Primer Hospital Afiliado de la Universidad Sun Yat-sen; el Centro Oncológico de la Ecografía Diagnóstica e
Intervencionista (Y Liu, J Liang
Universidad Sun Yat-sen; y el Primer Hospital Afiliado de la Universidad Médica de Guangxi, Nanning, China) en tres PhD, H Hu MD, Han Xiao MD,
etapas. Todos los nódulos del conjunto de entrenamiento y de prueba fueron confirmados patológicamente. El Z Liu MD, Prof W Wang), y
rendimiento diagnóstico de ThyNet se comparó primero con el de 12 radiólogos (conjunto de pruebas A); se Departamento de Cirugía de
desarrolló una estrategia asistida por ThyNet, en la que ThyNet ayudaba a los radiólogos a realizar los Mama y Tiroides
(Prof. W Lv PhD, J Li PhD),
diagnósticos, para mejorar el rendimiento diagnóstico de los radiólogos mediante imágenes (conjunto de pruebas The First Affiliated Hospital of
B); la estrategia asistida por ThyNet se probó después en un entorno clínico real (mediante imágenes y vídeos; Sun Yat-sen University,
conjunto de pruebas C). En un escenario simulado, se calculó el número de aspiraciones innecesarias con aguja fina Guangzhou, China;
evitadas por la estrategia asistida por ThyNet. Department of Ultrasound,
Sun Yat-sen University Cancer
Center, State Key Laboratory
Hallazgos El área bajo la curva receiver operating characteristic (AUROC) para el diagnóstico preciso de ThyNet (0- of Oncology in South China,
922 [IC 95%: 0-910-0-934]) fue significativamente superior a la de los radiólogos (0-839 [0-834-0-844]; p<0-0001). Guangzhou, China (L Liu PhD);
Department of Medical
Además, la estrategia asistida por ThyNet mejoró el AUROC conjunto de los radiólogos de 0-837 (0-832-0-842)
Ultrasound, the First
cuando diagnosticaban sin ThyNet a 0-875 (0-871-0-880; p<0-0001) con ThyNet para revisar las imágenes, y de 0- Affiliated Hospital of Guangxi
862 (0-851-0-872) a 0-873 (0-863-0-883; p<0-0001) en la prueba clínica, en la que se utilizaron imágenes y vídeos. Medical University, Nanning,
En el escenario simulado, el número de aspiraciones con aguja fina disminuyó del 61-9% al 35-2% utilizando la China (Prof H Yang PhD);
estrategia asistida por ThyNet, mientras que la malignidad no detectada disminuyó del 18-9% al 17-0%. Department of Medical
Ultrasonics,
el Tercer Hospital Afiliado de
Interpretación La estrategia asistida por ThyNet puede mejorar significativamente el rendimiento diagnóstico de los la Universidad Sun Yat-sen,
radiólogos y ayudar a reducir las aspiraciones innecesarias con aguja fina de nódulos tiroideos. Guangzhou, China
(Prof. J Ren PhD);
Departamento de
Financiación Fundación Nacional de Ciencias Naturales de China y Proyecto de Ciencia y Tecnología de Guangzhou. Ultrasonidos Médicos, Sexto
Hospital Afiliado de la
Copyright © 2021 Los autores. Publicado por Elsevier Ltd. Este es un artículo de acceso abierto bajo la CC BY-NC- Universidad Sun Yat-sen,
Guangzhou, China (G Liu PhD);
ND Departamento de
Licencia 4.0. Ultrasonidos Médicos,
Primera
Introducción los adultos asintomáticos de la población general.1 son cáncer de
Los nódulos tiroideos se encuentran hasta en el G8% de Aproximadamente el 7-15% de los nódulos tiroideos tiroides, que es la

[Link]/digital-health Vol 3 Abril 2021 e250

 neoplasia maligna que aumenta más rápidamente en todas Las características citológicas son lentas, subjetivas y a Hospital of Guangzhou
University of Chinese
las poblaciones.2 El gran número de nódulos tiroideos, menudo dependen de la experiencia del radiólogo y de Medicine, Guangzhou, China
siendo sólo una fracción cancerosos, exige un método los dispositivos de ultrasonidos disponibles.3 Las (X Wang MD); Department of
fiable para diferenciar con precisión los nódulos conclusiones de los ultrasonidos son a menudo Ultrasound, the Guangzhou
malignos de los benignos. incoherentes e incluso con aspiraciones con aguja fina, Army General Hospital,
Guangzhou, China
La toma de decisiones rutinaria en pacientes con entre el 15 y el 30% de las muestras siguen arrojando (X Zhang MD);
nódulos tiroideos depende de la ecografía o de la resultados citológicos indeterminados.4 Se necesitan Xiaobaishiji, Pekín, China
aspiración invasiva con aguja fina.2 Sin embargo, la métodos sólidos adicionales para mejorar el diagnóstico (Q Du ME,
evaluación de la ecografía y las estrategias de aspiración con aguja fina para F Nie ME, G Huang DE);
Instituto de Ciencias
adaptarse al crecimiento exponencial de las necesidades Cognitivas y del Cerebro,
de los pacientes y la carga de los servicios médicos. Universidad Tsinghua,
Se ha informado de que la inteligencia artificial (IA) Pekín, China
(Y Guo ME); Sección de tiroides,
iguala o supera a los expertos humanos en imagen
médica.5–8 Algunos

e251 [Link]/digital-health Vol 3 Abril 2021

 Artícul
os

Hospital Brigham & Women's, exploramos el potencial de la estrategia asistida por ThyNet
Facultad de Medicina de La investigación en su contexto para ayudar a los radiólogos a evitar aspiraciones
Harvard, innecesarias con aguja fina.
Boston, MA, [Link]. Pruebas anteriores a este estudio La estrategia asistida por ThyNet no sólo mejoró la
(Prof E K Alexander MD) Se realizaron búsquedas en PubMed desde el inicio de la base de datos hasta rendimiento de los radiólogos al revisar únicamente las
Correspondencia a: imágenes,
Prof Haipeng Xiao, 20 de septiembre de 2020, para artículos de investigación con los términos de búsqueda " deepbut also when reviewing
Departamento de
Endocrinología, The First images and videos in a clinical setting. learning" OR "machine learning" OR "artificial intelligence" OR Cabe destacar que
Affiliated Hospital of Sun Yat-sen la combinación de la American College of "convolutional neural network" AND "thyroid cancer" OR "
University, Guangzhou 510080, thyroidRheumatology Thyroid Imaging Reporting and Data
China
xiaohp@[Link] System nodule" OR "thyroid carcinoma", sin restricciones deidioma. clasificacióncon asistencia de IA mejoró
o el negativo
Prof. Wei Wang, Departamento
Se identificaron 15 estudios sobre el desarrollo y la validación de modelos de inteligencia artificial (IA) para la diferenciación
de Ultrasonidos Médicos, de nódulos tiroideos, que redujeron el número de aspiraciones con aguja fina innecesarias.
Instituto de Ultrasonidos con la del modelo de IA. No encontramos publicaciones que
Implicaciones of all the pruebas disponibles
Diagnósticos e informó específicamente de cómo el aprendizaje profundo de diagnóstico o la máquina de
Intervencionistas, Primer estrategia
Hospital Afiliado de la
Los algoritmos de aprendizaje podrían ayudar al rendimiento de los radiólogos en la asistida
porThyNet could mejorar significativamente the
Universidad Sun Yat-sen, el
Guangzhou 510080, rendimiento diagnóstico de los radiólogos y ayudar a
manejo de los nódulos tiroideos. La ausencia de formación multicéntrica
China reducir the número
wangw73@[Link] cohortes y un reducido de dispositivos de ultrasonidos en
of innecesarios fine aspiraciones con
o estudios
aguja tiroideas for nódulos. On the basis of our hallazgos, AI
Prof Erik K Alexander, Thyroid restringió su generalizabilidad en la práctica clínica.
Section, Brigham & Women's programas de diagnóstico
Hospital, Harvard Medical
debe extenderse a la práctica clínica de los nódulos tiroideos
estudios se han
Valor añadido centrado en una comparación del estudio Hasta
de este
School, Boston, MA 02115, USA
ekalexander@[Link]
rendimiento diagnóstico
donde sabemos, de laesIA
este estudio con losenclínicos
el primero en la
desarrollar un
diferenciación de los nódulos tiroideos.9–11
En nuestro
Estrategia asistida por IA para el tratamiento de nódulos tiroideos.
estudio preliminar, un sistema de aprendizaje automático
mostró un mejor valor predictivo para los nódulos tiroideos
malignos en comparación con los humanos utilizando el
Sistema de Informes y Datos de Imágenes Tiroideas
(TIRADS) del Colegio Americano de Reumatología
(ACR).7 La introducción del aprendizaje profundo en las
imágenes de tiroides también ha logrado un mejor
rendimiento diagnóstico que los radiólogos
experimentados.12,13 Los estudios anteriores que aplican
algoritmos de aprendizaje profundo se han centrado
principalmente en la comparación de radiólogos y modelos
de aprendizaje profundo mediante la lectura de imágenes
de ultrasonido. Sin embargo, en un entorno real, el
diagnóstico final debe seguir siendo realizado por
radiólogos. Por lo tanto, evaluar las mejoras de diagnóstico
proporcionadas por la cooperación entre radiólogos y
sistemas de IA es más similar al entorno clínico. Los
radiólogos podrían mejorar su rendimiento leyendo vídeos
dinámicos en lugar de sólo imágenes estáticas, pero habría
que investigar si un modelo asistido por IA puede ayudar a
los radiólogos a mejorar su rendimiento diagnóstico
procesando tanto imágenes como vídeos. Por otra parte,
pocos estudios analizan la influencia de la IA en la
aspiración con aguja fina o en los consejos sobre el
tratamiento de la tiroidectomía dados por los profesionales
sanitarios, por lo que esta cuestión sigue siendo imprecisa.
Desarrollamos un modelo de IA de aprendizaje
profundo (ThyNet) para diferenciar los tumores
malignos de los nódulos tiroideos benignos.
Investigamos si los radiólogos podrían mejorar su
rendimiento diagnóstico con la ayuda del modelo
ThyNet al leer imágenes y vídeos de ultrasonidos y

[Link]/digital-health Vol 3 Abril 2021 e252

 incluyeron todas las imágenes, pero las imágenes
ecográficas de baja calidad, como las que
presentaban artefactos graves (p. ej., artefactos de
movimiento y artefactos de propagación y refracción
Artícul de la velocidad) o baja resolución de imagen, se
os excluyeron tras la selección.
Las imágenes del conjunto de entrenamiento se
recopilaron del Primer Hospital Afiliado de la
Universidad Sun Yatsen de Guangzhou (China) y del
Centro Oncológico de la Universidad Sun Yatsen de
Guangzhou (China) (18049 imágenes de 8339
pacientes). Para el conjunto de pruebas A, se
incluyeron 2185 imágenes de 1424 pacientes con
nódulos tiroideos de cuatro hospitales independientes
(el Primer Hospital Afiliado de la Universidad
Médica de Guangxi, Nanning, China; el Primer
Hospital Afiliado de la Universidad de Medicina
China de Guangzhou, Guangzhou, China; el Sexto
Hospital Afiliado de la Universidad Sun Yatsen,
Guangzhou, China; y el Hospital General del
Ejército de Guangzhou, Guangzhou, China). Para el
conjunto de pruebas B, se registraron 1754 imágenes
de 1048 pacientes con nódulos tiroideos del Primer
Métodos Hospital Afiliado de la Universidad Sun Yatsen y del
Diseño del estudio y Tercer Hospital Afiliado de la Universidad Sun
conjuntos de datos Yatsen, Guangzhou, China. Para el conjunto de
Se trató de un pruebas C, se incluyeron 3GG imágenes de 303
estudio pacientes con nódulos tiroideos del Primer Hospital
multicéntrico de Afiliado de la Universidad Sun Yatsen y del Tercer
diagnóstico que Hospital Afiliado de la Universidad Sun Yatsen de
utilizó conjuntos Guangzhou (China).
de imágenes
ecográficas de
siete hospitales
de China. Los
pacientes de 18
años o más con
nódulos tiroideos
de al menos 3
mm de diámetro
identificados con
ecografía que
tenían un
resultado
patológico
definitivo
benigno o
maligno
(espécimen
quirúrgico o
aspiración con
aguja fina
[categoría
Bethesda II o
VI]) fueron
elegibles para su
inclusión en el
conjunto de
entrenamiento y
en los conjuntos
de prueba. Los
diagnósticos
patológicos
fueron realizados
por dos
patólogos, uno de
ellos con más de
8 años de
experiencia.
Inicialmente se
e253 [Link]/digital-health Vol 3 Abril 2021
 Artícul
os

prueba tenían un resultado patológico definitivo benigno

de la Universidad Sun Yatsen, el Centro Oncológico de la Todas las imágenes
o maligno basado en un espécimen quirúrgico. Se
Universidad Sun Yatsen y el Primer Hospital Afiliado de de ecografía tiroidea
confirmó que 1752 pacientes del conjunto de formación y
la Universidad Médica de Guangxi. extraídas de la base
819 pacientes de los conjuntos de prueba tenían un
Este estudio fue aprobado por el Comité Ético de de datos de imágenes
resultado patológico definitivo benigno o maligno basado
Investigación del Primer Hospital Afiliado de la tiroideas se
en una aspiración con aguja fina (categoría Bethesda II o
Universidad Sun Yatsen. Se renunció al consentimiento convirtieron a
VI).
informado para las imágenes ecográficas recogidas formato JPEG. Varios
retrospectivamente, que se anonimizaron. Se obtuvo el modelos de equipos
consentimiento informado por escrito de los pacientes de ultrasonido
cuyas imágenes ecográficas y vídeos dinámicos se producidos por 13
recogieron prospectivamente. fabricantes diferentes
(GE Healthcare,
Resultados Chicago, IL, [Link].;
El criterio de valoración principal de nuestro estudio fue Philips, Ámsterdam,
el área bajo la curva receiver operating characteristic Países Bajos;
(AUROC) del diagnóstico de nódulos tiroideos. Los Siemens, Múnich,
criterios de valoración secundarios de nuestro estudio Alemania; Canon,
fueron la precisión, la sensibilidad, la especificidad, el Tokio, Japón;
valor predictivo positivo y el valor predictivo negativo Samsung, Seúl, Corea
del diagnóstico de nódulos tiroideos. El análisis posthoc del Sur; Esaote,
incluyó la precisión diagnóstica de ThyNet en diferentes Génova, Italia;
subtipos patológicos de y la estrategia de aspiración con Mindray, Huntingdon,
aguja fina asistida por ThyNet. Reino Unido;
SonoScape,
Procedimientos Shenzhen, China;
Para el conjunto de entrenamiento, se recuperaron Aloka, Wallingford,
retrospectivamente imágenes de ultrasonido de pacientes CT, [Link].; BK
consecutivos con nódulos tiroideos de la base de datos de Medical, Peabody,
imágenes tiroideas individuales en el Primer Hospital MA, [Link].;
Afiliado de la Universidad Sun Yatsen y el Centro de Supersonic,
Cáncer de la Universidad Sun Yatsen, entre el 1 de enero AixenProvence,
de 2009 y el 30 de noviembre de 2018. Un total de 19 312 Francia; Vinno,
imágenes de 8339 pacientes se incluyeron en el conjunto Suzhou, China; e
de entrenamiento, con 12G3 imágenes excluidas debido a Hitachi, Tokio,
la mala calidad de la imagen. Japón). El control de
No hubo solapamiento entre los pacientes de los calidad de las
conjuntos de entrenamiento y de prueba, ni entre los tres imágenes se realizó
subconjuntos de prueba. Las imágenes del conjunto de para el conjunto de
prueba para la comparación entre ThyNet y los radiólogos entrenamiento y los
(conjunto de prueba A) y la evaluación de la estrategia conjuntos de prueba.
asistida por ThyNet (conjunto de prueba B) se obtuvieron Para el control de
retrospectivamente de seis hospitales independientes (el calidad de las
Primer Hospital Afiliado de la Universidad Médica de imágenes de
Guangxi, el Primer Hospital Afiliado de la Universidad de ultrasonido, se
Medicina China de Guangzhou, el Sexto Hospital Afiliado examinaron todas las
de la Universidad Sun Yatsen, el Hospital General del imágenes de tiroides y
Ejército de Guangzhou, el Primer Hospital Afiliado de la se eliminaron las
Universidad Sun Yatsen y el Tercer Hospital Afiliado de la imágenes de baja
Universidad Sun Yatsen) entre el 1 de enero de 2009 y el calidad que contenían
30 de julio de 2019. En la prueba de entorno clínico artefactos graves o
(conjunto de pruebas C), se recopilaron prospectivamente reducciones
tanto imágenes como vídeos dinámicos de nódulos de significativas de la
pacientes hospitalizados en el Primer Hospital Afiliado de resolución de la
la Universidad Sun Yatsen, el Centro Oncológico de la imagen. El cribado de
Universidad Sun Yatsen y el Primer Hospital Afiliado de las imágenes fue
la Universidad Médica de Guangxi entre el 1 de octubre y realizado por dos
el 30 de noviembre de 2019 (apéndice p 4). Se confirmó radiólogos (HanX y
que un total de G587 pacientes en el conjunto de ZL) que tenían al
entrenamiento y 195G pacientes en los conjuntos de menos 1 año de
[Link]/digital-health Vol 3 Abril 2021 e252
 experiencia en ecografía. Si no había consenso sobre la
localización del nódulo entre la imagen y el informe
patológico, se eliminaba la imagen. 2345 imágenes de
1424 pacientes del conjunto de pruebas A para la
Artícul
comparación entre ThyNet y los radiólogos cumplían los
os con las imágenes 1G0 excluidas. 189G
criterios,
imágenes de 1048 pacientes cumplieron los criterios de
inclusión y se utilizaron en la evaluación de la estrategia
de diagnóstico asistida por ThyNet, con 142 imágenes
excluidas tras el control de calidad de imagen (conjunto de
pruebas B). 401 imágenes de 303 pacientes en el conjunto
de pruebas C cumplieron los criterios de inclusión y se
utilizaron en la evaluación de la estrategia de diagnóstico
asistida por ThyNet en un entorno real, con 35 imágenes
excluidas tras el control de calidad de las imágenes.
Todos los datos se desidentificaron (incluidos los datos
retroespecíficos recopilados para los conjuntos de
entrenamiento) antes del desarrollo y la evaluación del
modelo.
El algoritmo de aprendizaje profundo ThyNet se diseñó
específicamente para diagnosticar malignidad a partir de
imágenes de ecografía tiroidea. Se trata de una
arquitectura combinada de tres redes: ResNet, ResNeXt y
DenseNet (apéndice p 5). ResNet utiliza bloques de
aprendizaje residual para reducir el efecto de la
desaparición del gradiente. ResNeXt es una versión
modificada de ResNet, desarrollada mediante la
repetición de un bloque de construcción que agrega un
conjunto de transformaciones con la misma topología.
ResNeXt introdujo además el concepto de sparsity y
convolución en grupo para mejorar la capacidad de la IA
de aprender la información semántica con menos
parámetros. DenseNet es una nueva arquitectura de red
que conecta cada capa con todas las demás de forma
feedforward.14 DenseNet hace que la red sea más
profunda, pero reduce el número de parámetros y evita el
sobreajuste. Las tres ramas de redes se entrenaron por
separado en el mismo conjunto de entrenamiento y se
ensamblaron mediante un algoritmo de voto mayoritario.
Para buscar los pesos óptimos de cada rama de la red y
obtener la salida ensamblada, utilizamos el método de
búsqueda por fuerza bruta mediante crosstest en los
conjuntos de entrenamiento. Los coeficientes de
ponderación finales son 0-40 para ResNet, 0-35 para
ResNeXt y 0-25 para DenseNet.

Véase el anexo en línea

e253 [Link]/digital-health Vol 3 Abril 2021

 Artícul
os

Conjunto de Conjuntos de pruebas

entrenamie Radiólogos vs ThyNet Radiólogos asistidos por ThyNet Cohorte prospectiva en la práctica
nto clínica

1º 2ª 1º 2ª Final
vs

ThyNet
basada en
aprendizaje
18049 imágenes profundo 12 radiólogos leen 12 radiólogos leen 1.754 imágenes 12 radiólogos leen 366 imágenes y vídeos con
5122 nódulos malignos y 3217 2185 imágenes con ayuda de ThyNet ayuda de ThyNet
benignos patológicamente
probados
Figura 1: Perfil del estudio
Utilizando conjuntos de datos de dos centros, se entrenó a ThyNet para diferenciar nódulos tiroideos. A continuación, ThyNet se probó en tres conjuntos de datos sin
solapamiento (conjuntos de prueba A-C).
En primer lugar, se comparó el rendimiento diagnóstico entre radiólogos y ThyNet basado en imágenes estáticas. En segundo lugar, se comparó el rendimiento diagnóstico de los
radiólogos antes
(primer diagnóstico) y después (segundo diagnóstico) se evaluó la asistencia por ThyNet basada en imágenes estáticas. En tercer lugar, se registró el primer diagnóstico
basado en imágenes estáticas y el segundo diagnóstico basado en vídeos dinámicos. A continuación, con la asistencia de ThyNet, se obtuvo el diagnóstico final y se
comparó con los diagnósticos independientes realizados por radiólogos sin ThyNet.

independiente se realizó en una plataforma de calificación

Un radiólogo (HH) eliminó manualmente la
basada en la web. La revisión de cada lesión incluyó la
información de ruido (p. ej., parámetros del ecógrafo),
asignación de puntos basada en las categorías ACR
que se distribuía principalmente en las zonas periféricas
TIRADS15 (composición, ecogenicidad, forma, margen y
de las imágenes originales. Las imágenes se
focos ecogénicos) y la determinación de un diagnóstico
redimensionaron a 25G × 25G píxeles antes de ser
maligno o benigno (apéndice pp 17-24).
recortadas a 224 × 224 píxeles. A continuación, se realizó
el preprocesamiento de imágenes estándar (recorte,
volteo y rotación) para el aprendizaje profundo con el
fin de generar un conjunto de datos más amplio,
complicado y diverso para mejorar la precisión y la
generalizabilidad. El aumento se realizó de forma
independiente antes de cada época con un algoritmo
seleccionado aleatoriamente de los tres algoritmos de
aumento. Nuestro modelo tomó las imágenes
aumentadas (por un algoritmo de aumento para cada
época; entrada) y calculó la probabilidad de que cada
imagen fuera un diagnóstico maligno (salida) después
de entrenar un cierto número de épocas (apéndice p G).
Utilizamos los pesos de cada red, preentrenados en
ImageNet, como inicialización de los pesos de nuestro
modelo. Se aplicaron los mismos parámetros de
entrenamiento a cada rama de la red. Para el ajuste de
los pesos de la red y la optimización del algoritmo se
utilizaron el descenso de gradiente estocástico y la
pérdida de entropía cruzada. La tasa de aprendizaje
inicial fue 0-01, que se redujo en una décima cada 100
épocas; la tasa de aprendizaje final fue 0-0001. Para
evitar el sobreajuste, se utilizó la normalización por
lotes y la tasa de decaimiento de los pesos se fijó en 0-
0005. Se utilizó un tamaño de lote de 128 imágenes y
una función de activación de unidad lineal rectificada.
Los mapas de calor se generaron mediante los métodos
gradcam.
12 radiólogos, incluidos seis radiólogos junior (1-3
años de experiencia) y seis radiólogos senior (>8 años
Más información sobre la de experiencia), revisaron los dos conjuntos de datos
plataforma de calificación retrospectivos y el conjunto de datos prospectivos. A los
véase
[Link]
radiólogos se les ocultó la confirmación patológica del
estado del nódulo y los objetivos de la investigación
antes del proceso de revisión. El proceso de revisión
[Link]/digital-health Vol 3 Abril 2021 e254
 maligno o benigno. Todos los datos fueron
ThyNet se
desidentificados antes de su transferencia a los
probó en tres
investigadores, y los radiólogos también fueron
fases (figura 1).
enmascarados respecto a los informes patológicos.
Artícul
En primer lugar,
Se informó a los radiólogos de su rendimiento
se comparó
os el
diagnóstico en comparación con ThyNet antes de
rendimiento
utilizar el sistema de aprendizaje profundo para
diagnóstico de
ayudarles en el diagnóstico.
ThyNet con el de
los radiólogos Radiólogos de dos hospitales utilizaron ThyNet
(con el conjunto para ayudar en el proceso de diagnóstico. La revisión
de pruebas A); en inicial independiente y el diagnóstico fueron
segundo lugar, se realizados únicamente por radiólogos. El diagnóstico
evaluó la mejora del radiólogo se comparó con un diagnóstico de
en el rendimiento referencia de ThyNet. Si no coincidían, los
diagnóstico de los radiólogos podían optar por mantener su diagnóstico
radiólogos al ser o adoptar el diagnóstico de ThyNet como diagnóstico
asistidos por final. Se registraron tanto el diagnóstico inicial como
ThyNet (con el el diagnóstico final asistido.
conjunto de ThyNet se probó en un entorno clínico real en tres
pruebas B); y en hospitales. La revisión y el diagnóstico iniciales
tercer lugar, se independientes fueron realizados por 12 radiólogos
investigó la que revisaron imágenes estáticas y se obtuvo un
aplicación de segundo diagnóstico basado en vídeos dinámicos del
ThyNet en la nódulo. Los 12 radiólogos fueron los mismos que
práctica clínica evaluaron las imágenes en los conjuntos de pruebas
real (con el A y B. El diagnóstico final se realizó después del
conjunto de diagnóstico de referencia asistido por ThyNet. Los
pruebas C). tres diagnósticos independientes
En la primera
fase se utilizaron
imágenes
ecográficas de
cuatro hospitales
independientes
para comparar el
rendimiento de
ThyNet con el de
los radiólogos. Se
invitó a los
radiólogos a
revisar las
imágenes y
realizar
diagnósticos de
forma
independiente. Se
realizó un
proceso de
revisión en una
plataforma de
calificación
basada en web,
que integraba los
datos de todos los
conjuntos de
datos de
validación. La
revisión de cada
lesión incluyó lo
siguiente
asignación de
puntos basada en
cinco categorías
ACR TIRADS 18
(composición,
ecogenicidad,
forma, margen y
focos ecogénicos)
y determinación
de un diagnóstico
e255 [Link]/digital-health Vol 3 Abril 2021
 Artícul
os

Se registraron los diagnósticos inicial, segundo y final si está indicada una aspiración con aguja fina posterior.
de cada radiólogo. Según el ACR TIRADS, los nódulos que puntúan 2
En la práctica clínica del tratamiento de los nódulos puntos o menos no necesitan aspiración con aguja fina,
tiroideos, una decisión crucial tras la puntuación ACR en cuyo caso la probabilidad de ser benignos (predictivo
TIRADS es negativo

A B
AUROC agrupado=0-922 Radiólogos individuales
GXMU AUROC=0-922 Radiólogos senior AUROC=0-857
GUCM AUROC=0-928 Radiólogos junior AUROC=0-821
SYSU06 AUROC=0-924 Todos los radiólogos AUROC=0-
839
1-0 GAGH AUROC=0-921

0-8

0-6
Sensibilid

1-00 0-95
0-95 0-90
ad

0-90
0-4 0-85
0-85
0-80
0-80
0-75 0-75
0-2 0-70 5 0 5 0 75 70 0-70 -95 0 5 80 -75 -70
0-9 0-9 0-8 0-8 0- 0- 0 0-9 0-8 0- 0 0

0-0

C D
Radiólogos senior AUROC=0-855 Radiólogos senior con imágenes estáticas AUROC=0-837
Radiólogos sénior con asistencia de IA AUROC=0-885 Radiólogos sénior con vídeos dinámicos AUROC=0-871
Radiólogos junior AUROC=0-819 Radiólogos senior con asistencia de radiólogos AI AUROC=0-881
Juniorcon asistencia de IA AUROC=0-866 Radiólogos junior con imágenes estáticas
AUROC=0-809 Radiólogos junior con vídeos
dinámicos AUROC=0-853 Radiólogos junior con
asistencia de IA AUROC=0-866
1-0

0-8

1-00 1-00 Radiólogo superior con asistencia de IA

0-6 Radiólogos senior
Radiólogo senior
0-95 con asistencia AI Radiólogo junior con asistencia AI 0·95 Radiólogo junior
Sensibilid

con vídeos dinámicos

with AI asistencia Radiólogo senior
0-90 0-90 con imágenes
ad

Radiólogo senior Radiólogo junior

estáticas
0-4 Radiólogo junior
Junior radiólogo con vídeos dinámicos
0-85 0-85
con imágenes estáticas
0-80 Radiólogos 0-80 Diagnóstico inicial con
con ayuda de la imagen Segundo diagnóstico
0-2 IA con vídeo Diagnóstico final
0-75 0-75
con IA
5 0 5 0 5 0
0-9 0-9 0-8 0-8 0-7 0-7
95

85

70
90

80

5
0-7

0-
0-

0-
0-

0-

0-0
1-0 0-8 0-6 0-4 0-2 0 1-0 0-8 0-6 0-4 0-2 0
Especificidad
Especifici
Figura 2: Rendimiento diagnóstico de ThyNet dad y los radiólogos en pruebas seriadas para la discriminación de nódulos tiroideos malignos de benignos.
(A) AUROCs para evaluar el rendimiento diagnóstico de ThyNet en el conjunto total de pruebas y en cada institución externa en la primera prueba comparando ThyNet con radiólogos.
(B) Rendimiento diagnóstico de ThyNet comparado con cada radiólogo en el conjunto total de pruebas. Los puntos redondos indican las sensibilidades y
especificidades diagnósticas de radiólogos individuales, el triángulo indica las sensibilidades y especificidades agrupadas de todos los radiólogos junior, la estrella
indica las sensibilidades y especificidades agrupadas de todos los radiólogos senior, y el cuadrado indica las sensibilidades y especificidades agrupadas de todos los
radiólogos. (C) Resultados diagnósticos de los radiólogos solos y de los radiólogos asistidos por ThyNet. Los puntos redondos indican las sensibilidades y
especificidades del primer diagnóstico, y los cuadrados indican las sensibilidades y especificidades del segundo diagnóstico con asistencia de ThyNet. (D)
Rendimiento diagnóstico de los radiólogos asistidos por ThyNet en un entorno clínico. Los puntos redondos indican las sensibilidades y especificidades del
primer diagnóstico basado en imágenes estáticas, los triángulos indican el segundo diagnóstico basado en vídeos dinámicos, y los cuadrados indican el diagnóstico
final del radiólogo con asistencia de ThyNet. IA=inteligencia artificial. AUROC=área bajo la curva receiver operating characteristic. GAGH=Hospital General del Ejército de
Guangzhou. GUCM=Primer Hospital Afiliado de la Universidad de Medicina China de Guangzhou. GXMU: Primer Hospital Afiliado de la Universidad Médica de
Guangxi. ROC=curva característica de funcionamiento del receptor. SYSU06=Sexto Hospital Afiliado de la Universidad Sun Yat-sen.
[Link]/digital-health Vol 3 Abril 2021 e256
 Artícul
os

AUROC valor p Precisión valor p Sensibilidad valor p Especificid valor p PPV VAN κ F1
(IC 95%) (IC 95%) (IC 95%) ad (IC
95%)
ThyNet-only 0-944 -- 0-891 -- 0-949 -- 0-812 -- 0-871 0-922 0-772 0-909
(0-940-0-947) (0-886-0-895) (0-945-0-953) (0-803-0-820) (0-866-0-877) (0-916-0-928)
Radiólogos sin asistencia ThyNet
Todos 0-837 <0-0001* 0-845 <0-0001* 0-894 <0-0001* 0-779 <0-0001* 0-845 0-846 0-680 0-869
(0-832-0-842) (0-840-0-850) (0-889-0-900) (0-771-0-788) (0-839-0-851) (0-838-0-854)
Senior 0-855 <0-0001* 0-863 <0-0001* 0-904 <0-0001* 0-806 0-555* 0-863 0-862 0-716 0-883
(0-848-0-862) (0-856-0-869) (0-897-0-912) (0-795-0-818) (0-854-0-871) (0-851-0-873)
Junior 0-819 <0-0001* 0-828 <0-0001* 0-885 <0-0001* 0-753 <0-0001* 0-828 0-829 0-644 0-856
(0-811-0-826) (0-821-0-836) (0-876-0-893) (0-740-0-765) (0-818-0-837) (0-817-0-841)
Radiólogos con asistencia ThyNet
Todos 0-875 <0-0001† 0-883 <0-0001† 0-929 <0-0001† 0-821 <0-0001† 0-875 0-896 0-758 0-901
(0-871-0-880) (0-879-0-888) (0-925-0-934) (0-813-0-829) (0-869-0-881) (0-889-0-903)
Senior 0-885 <0-0001† 0-892 <0-0001† 0-935 <0-0001† 0-835 <0-0001† 0-884 0-905 0-777 0-909
(0-879-0-891) (0-886-0-898) (0-928-0-941) (0-824-0-846) (0-876-0-892) (0-896-0-914)
Junior 0-866 <0-0001† 0-874 <0-0001† 0-924 <0-0001† 0-808 <0-0001† 0-866 0-887 0-739 0-894
(0-859-0-872) (0-868-0-880) (0-917-0-930) (0-796-0-819) (0-857-0-874) (0-877-0-897)

AUROC=área bajo la curva receiver operating characteristic. F1 = media ponderada del VPP y la sensibilidad. VPN = valor predictivo negativo. VPP=valor predictivo positivo. *Rendimiento del proceso asistido por
ThyNet con ThyNet solo. †Comparación del rendimiento diagnóstico sin ThyNet.

Tabla: Rendimiento diagnóstico de ThyNet solo, radiólogos solos y radiólogos asistidos por ThyNet.

) es alto. Por su parte, los nódulos con una puntuación Análisis estadístico
de 7 o más tienen una alta probabilidad de malignidad y Todos los análisis estadísticos se
el valor predictivo positivo de la aspiración patológica realizaron con R (versión 3.5.0). Las
con aguja fina se sitúa entre el 7G-G-95-4%.1G–18 Si la comparaciones con valores p de dos
estrategia asistida por ThyNet puede proporcionar un caras inferiores a 0-05 se
valor predictivo positivo similar al de la aspiración con consideraron estadísticamente
aguja fina, el procedimiento invasivo podría no estar significativas.
justificado. Por lo tanto, para aliviar la carga mediática
causada por la creciente necesidad de aspiraciones con
aguja fina, simulamos el escenario omitiendo las
aspiraciones con aguja fina para nódulos con una alta
probabilidad de ser benignos (valor predictivo negativo)
o de alto riesgo de malignidad (valor predictivo
positivo), basándonos en el diagnóstico humano ACR
TIRADS y ThyNetassisted.
Se calculó el valor predictivo negativo de los nódulos
con puntuación ACR TIRADS de 0-2. También
evaluamos el valor predictivo negativo de los nódulos
con puntuaciones ACR TIRADS de 3-G, diagnosticados
como benignos con el proceso de asistencia ThyNet.
Esperábamos que el intervalo de puntuación pudiera
ampliarse sin pérdida de valor predictivo negativo en
comparación con las puntuaciones ACR TIRADS de 0-
2; por lo tanto, podrían omitirse las aspiraciones con
aguja fina para los nódulos diagnosticados como
benignos dentro de esta puntuación ampliada.
Evaluamos los valores predictivos positivos de los
nódulos diagnosticados como malignos con el proceso
ThyNetassistance para adquirir el rango de puntuación
con un valor predictivo positivo superior al 95%. Para
estos nódulos, se consideró qué intervención médica
adicional podía realizarse sin recibir aspiraciones con
aguja fina. Para todos los demás nódulos, las
recomendaciones médicas se ajustaron a la directriz
TIRADS del ACR.

e257 [Link]/digital-health Vol 3 Abril 2021

 Se utilizaron análisis ROC con el paquete ROCR (versión 1.15.0) para
evaluar el rendimiento diagnóstico de ThyNet y de los radiólogos a la hora
de clasificar lesiones malignas y benignas. Para cada conjunto de pruebas,
se creó un ROC trazando la tasa de verdaderos positivos (sensibilidad) Artícul
frente a la tasa de verdaderos negativos (especificidad) variando el umbral os
de probabilidad predicha. A continuación, se calcularon los valores
AUROC correspondientes.
Para cada diagnóstico se generó una matriz de confusión de dos por dos
con el número de verdaderos positivos, falsos positivos, falsos negativos y
verdaderos negativos. Para la detección del cáncer de tiroides, se calcularon
la precisión, la sensibilidad, la especificidad, el valor predictivo positivo y el
valor predictivo negativo de acuerdo con la matriz de confusión, y los IC del
95% para cada valor se calcularon mediante el método exacto de Clopper-
Pearson con GenBinomApps (versión 1.02).19
El índice de concordancia entre radiólogos y el valor κ de Fleiss para
evaluar la concordancia del diagnóstico de lesiones malignas y benignas se
calcularon para cada conjunto de pruebas mediante la función
[Link], software R (irr versión 0.84.1). El coeficiente de correlación
intraclase para evaluar la concordancia entre los 12 radiólogos con respecto
a los cinco grados ACR se calculó mediante la función icc del paquete irr
(versión 0.84.1).20 La tasa de aspiración con aguja fina y la tasa de
malignidad no detectada entre ACR TIRADS con o sin estrategia de
aspiración con aguja fina asistida por ThyNet se compararon mediante la
prueba χ² de McNemar.

Papel de la fuente de financiación

El financiador del estudio no intervino en el diseño del estudio, la
recopilación de datos, el análisis de datos, la interpretación de datos ni la
redacción del informe. El autor correspondiente tuvo pleno acceso a todos
los datos del estudio y fue el responsable final de la decisión de
presentarlos para su publicación.

[Link]/digital-health Vol 3 Abril 2021 e258

 Artícul
os

mejoró a 0-8G2 (0-851-0-872; p<0-0001); en el diagnóstico final con asistencia

Resultados de ThyNet, el AUROC mejoró a 0-873 (0-8G3-0-883; p<0-0001; figura 2D).
Se desarrolló y entrenó ThyNet para diferenciar tumores
malignos de nódulos benignos en ecografías de cribado
utilizando imágenes del First Affiliated Hospital of Sun
Yatsen University datasets and Sun Yatsen University
Cancer Center (training dataset 14439 images of G587
patients and the tuning dataset 3G10 images of 1752
patients).
Se utilizaron 2185 imágenes de 1424 pacientes con
nódulos tiroideos, procedentes de cuatro hospitales
independientes (conjunto de pruebas A), para contrastar
el diagnóstico de ThyNet con el de los radiólogos. Se
utilizaron 1.754 imágenes de 1.048 pacientes con
nódulos tiroideos procedentes de dos hospitales
(conjunto de pruebas B) para probar el proceso de
diagnóstico asistido por ThyNet. Se utilizaron 3GG
imágenes de 303 pacientes con nódulos tiroideos de tres
VAN (%)

VPP (%)
hospitales (conjunto de pruebas C) para probar ThyNet
en un entorno clínico real. Las características
demográficas de los pacientes de los conjuntos de datos
retrospectivos y prospectivos se muestran en el apéndice
(p 9). El cáncer de tiroides papilar fue el subtipo de
cáncer de tiroides más prevalente en los conjuntos de
datos de entrenamiento y de prueba total (apéndice p
10).
En el conjunto de pruebas A, el AUROC de
ThyNetonly (0-922 [IC del 95%: 0-910-0-934]) fue
significativamente superior al de radiólogosonly (0-839
[0-834-0-844]; p<0-0001; figura 2A, B). La precisión de
ThyNet (0-8G1 [IC 95%: 0-845-0-87G]) también fue
significativamente mayor que la de los radiólogos (0-
841 [0-83-0-84G]; p<0-0001); el AUROC fue de 0-857
(0-850-0-8G3) para los radiólogos senior y de 0-821 (0-
814-0-828) para los radiólogos junior (apéndice p 11). La
información básica sobre los radiólogos figura en el
apéndice (p 12). Los mapas de calor de ThyNet
analizando nódulos se encuentran en el apéndice (p 12).
En la evaluación del proceso de diagnóstico asistido
por ThyNet (conjunto de pruebas B; apéndice p 13), el
AUROC agrupado para los radiólogos solos fue de 0-837
(IC del 95%: 0-832-0-842), que mejoró a 0-875 (0-871-
0-880) con la asistencia de ThyNet (p<0-0001; tabla y
figura 2C). La precisión conjunta de los radiólogos
solos fue de 0-845 (IC del 95%: 0-840-0-850), que
mejoró a 0-883 (0-879-0-888) con la asistencia de
ThyNet (p<0-0001). En el caso de los radiólogos sénior,
la AUROC agrupada mejoró de 0-855 ( 0-848-0-8G2) a
0-885 ( 0-879-0-891;
p<0-0001) y para los radiólogos junior el AUROC
conjunto mejoró de 0-819 (0-811-0-82G) a 0-8GG (0-859-
0-872; p<0-0001) con la asistencia de ThyNet (tabla).
Con la asistencia de ThyNet, la precisión de los
radiólogos junior mejoró del 82-8% al 87-4% (p<0-0001),
y el valor κ aumentó de 0-G44 a 0-739 (p<0-0001). En la
prueba de entorno clínico real de ThyNet (conjunto de
pruebas C), el AUROC agrupado del diagnóstico inicial
(radiólogos revisando sólo imágenes estáticas) fue de 0-
823 (IC del 95%: 0-812-0-835); el AUROC del segundo
diagnóstico (radiólogos revisando vídeos e imágenes)
e259 [Link]/digital-health Vol 3 Abril 2021
 análisis posthoc, no hubo diferencias significativas en la
precisión
A diagnóstica de
ACR TI-RADS Puntuació Estrategia asistida por
n ACR ThyNet
0-2 puntos Artícul
Alta probabilidad de
3-6 puntos 2%)
os
benignidad (VAN>93-

7-9 puntos
Alto riesgo
maligno
10-15 puntos (VPP>95%)

Benigno ACR TI-RADS recomiendan FNA ThyNet redujo FNA

Maligno Estrategia asistida por ThyNet

B C
100 VAN=93- 100 VPP=95-0%.
2%.
90 90
80
80
70
70
60
50 60

40 50

0 0
0 2 3 4 5 65 6 7 8 9 10 11 12 13 14 15
Puntuación ACR TI-RADS Puntuación ACR TI-RADS

D
21048 imágenes
en una base de
datos en la nube
13022 (61-9%) 80%
FNA tenía FNA 61-9%
ACR TI-RADS Tumor maligno omitido
8026 (38-1%) 60%
en 3971 (18-9%)
no requirieron FNA 35-2%
imágenes
40%
7418 (35-2%)
ACR TI-RADS FNA tenía FNA 18-9%
12 radiólogos ThyNet asistida Tumor maligno 20%
13630 (64-8%) 17·0%
omitido en 3568
no requirieron FNA 0%
(17-0%)
imágenes
Figura 3: Recomendación de FNA con asistencia de ThyNet
(A) Estrategia de FNA con asistencia de ThyNet. Con la asistencia de ThyNet, una
puntuación ACR TI-RADS de 3-6 puntos para algunos nódulos puede lograr un VPN
similarmente alto de 2 puntos, que es superior o igual al 93-2%. Mientras que una
puntuación ACR TI-RADS de 10-15 puntos para algunos nódulos puede lograr un
VPP similarmente alto a la PAAF, que es superior o igual al
al 95-0%. Según el ACR TI-RADS, no era necesaria una PAAF si los nódulos tenían
una puntuación de 2 puntos, cuyo VPN para ser benignos era del 93-2%. Con la
ayuda de ThyNet, una puntuación ACR TI-RADS de 3-6 puntos para algunos nódulos
puede alcanzar un VPN igualmente alto de 2 puntos. Mientras que una
puntuación ACR TI-RADS de 10-15 puntos para algunos nódulos puede alcanzar
un VPP similarmente alto al de la PAAF, cuyo VPP alcanzó hasta el 95%. (B)
Tendencia del VPN según las puntuaciones ACR cuando el diagnóstico es
benigno. Las áreas sombreadas son IC del 95%. (C) Tendencia del VPP según las
puntuaciones ACR cuando el diagnóstico es maligno. Las áreas sombreadas son
IC del 95%. (D) Gestión de nódulos tiroideos asistida por ThyNet. La estrategia
asistida por ThyNet redujo la PAAF del 61-9% al 35-2%, mientras que la
malignidad no detectada disminuyó del 18-9% al 17-0%. ACR = Colegio
Americano de Reumatología. AAF = aspiración con aguja fina. VPN = valor
predictivo negativo. VPP = valor predictivo positivo.
TI-RADS=Sistema de datos y notificación de imágenes tiroideas.

La precisión conjunta del

diagnóstico inicial fue de 0-824
(IC del 95%: 0-813-0-83G); la
precisión del segundo
diagnóstico mejoró a 0-8G5 (0-
855-0-875; p<0-0001); en el
diagnóstico final con asistencia
de ThyNet, la precisión mejoró a
0-877 (0-8G7-0-88G, p=0-1193;
apéndice p 14). Cabe destacar
que el rendimiento diagnóstico
mejoró de la imagen al vídeo y
a la asistencia de ThyNet, tanto
para los radiólogos senior (p=0-
0075) como para los junior (p<0-
0001) (apéndice p 14). En un
[Link]/digital-health Vol 3 Abril 2021 e260
 Artícul
os

Este estudio se centró en el

ThyNet entre el cáncer papilar de tiroides y el cáncer
desarrollo de una estrategia asistida
folicular de tiroides (apéndice p 15).
por IA de aprendizaje profundo para
Las clasificaciones realizadas por el sistema ThyNet
la toma de decisiones clínicas en
podrían utilizarse para reducir la carga de trabajo que
relación con los nódulos tiroideos.
supone el proceso de toma de decisiones de la aspiración
Estudios anteriores han indicado que
con aguja fina, preservando al mismo tiempo el estándar
los algoritmos de aprendizaje
de atención. Simulamos el escenario omitiendo las
profundo superan a los profesionales
aspiraciones con aguja fina con alto valor predictivo
sanitarios en algunos resultados
negativo y valor predictivo positivo cuando ACR
clínicos.3,12,21 Sin embargo, la
TIRADS se acomodaba a la decisión de ThyNet (figura
aplicación autónoma de
3A).
Según la directriz TIRADS del ACR, no era necesaria la
aspiración con aguja fina si los nódulos tenían una
puntuación de 2 puntos o menos. El valor predictivo
negativo para predecir nódulos benignos para estos
nódulos alcanzó el 93-2% (IC del 95%: 91-9-94-4). Los
valores predictivos negativos relacionados con la
puntuación se volvieron a calcular cuando el diagnóstico
de ThyNet también era benigno. Cuando se utilizó ACR
TIRADS con la ayuda de ThyNet, los valores predictivos
negativos de los nódulos tiroideos con puntuación 3
alcanzaron el 97%; 92-5% para los nódulos con puntuación
4, 93-2% para los nódulos con puntuación 5 y 93-0% para
los nódulos con puntuación G (figura 3B). La distribución
del tamaño de los nódulos con puntuaciones ACR
TIRADS de 3 a G figura en el apéndice (p 1G). De los
1754 nódulos, se pudo evitar una mediana de 315 (IQR
250-337) procedimientos con la ayuda de Thynet debido a
la alta probabilidad de que fueran benignos.
El valor predictivo positivo de la aspiración patológica
con aguja fina para los nódulos tiroideos se sitúa entre el
7G-G-95-4%.1G–18 Con la asistencia de ThyNet, los
nódulos diagnosticados como malignos y puntuados de
10 a 15 puntos alcanzaron un valor predictivo positivo
similar del 95% (figura 3C). De los 1754 nódulos
evaluados, se podría haber evitado una mediana de 134
(IQR 109-199) aspiraciones con aguja fina con la
asistencia de ThyNet debido a la alta probabilidad de ser
malignos.
De los 21 048 diagnósticos realizados por 12
radiólogos, la estrategia asistida por ThyNet redujo las
aspiraciones con aguja fina de G1-9% a 35-2% (p<0-
0001), mientras que la malignidad omitida disminuyó
de 18-9% a 17-0% (p<0-0001; figura 3D).

Debate
Hasta donde sabemos, este estudio es el primero en
evaluar una estrategia de aprendizaje profundo como
ayuda para la gestión de nódulos tiroideos. La estrategia
asistida por ThyNet no solo mejoró la precisión
diagnóstica de los radiólogos cuando revisaban
imágenes únicamente, sino también cuando revisaban
imágenes y vídeos en un entorno clínico. Cabe destacar
que la combinación de la clasificación ACR TIRADS
con la asistencia de IA mejoró el valor predictivo
negativo y el valor predictivo positivo, lo que tiene el
potencial de reducir el número de aspiraciones
innecesarias con aguja fina.

e261 [Link]/digital-health Vol 3 Abril 2021

un modelo de diagnóstico de IA no es práctico para el uso clínico. En los
flujos de trabajo médicos, el ruido de los datos, incluidos los desajustes, las
omisiones y los errores, va mucho más allá del alcance de estos algoritmos
ideales. Las decisiones en el mundo real deben ser supervisadas por los Artícul
clínicos, incluso aunque se afirme que la IA tiene un rendimiento superior. os
Por lo tanto, la función más importante de este modelo de IA es mejorar la
precisión diagnóstica ayudando a los médicos en las decisiones de
tratamiento.
Basándonos en nuestros resultados, hacemos dos recomendaciones para la
implantación de sistemas de IA en la práctica clínica. En primer lugar, nuestro
modelo mostró ventajas en la mejora de la precisión del diagnóstico,
especialmente para los radiólogos noveles. La interpretación de las imágenes
ecográficas suele estar sujeta a importantes variabilidades entre observadores,
sobre todo en el caso de los radiólogos noveles de centros no académicos, con
una variabilidad notificada en la sensibilidad del 40-3% al 100% y en la
especificidad del 50% al 100% de los radiólogos.22–25 ThyNet proporcionaría
una segunda opinión coherente sobre las imágenes de los nódulos. Los
resultados mostraron que los radiólogos junior tienden a aceptar el consejo de
ThyNet con más frecuencia que los radiólogos senior, lo que podría estar
relacionado con una menor confianza y experiencia laboral. Con la ayuda de
T h y N e t , la precisión de los radiólogos junior mejoró del 82-8% al 87-4%. En
la prueba clínica, la evaluación ecográfica de los nódulos tiroideos incluía tanto
la visualización dinámica de los nódulos en tiempo real como la interpretación
de imágenes estáticas. ThyNet también mejoró el rendimiento de los radiólogos
en este entorno clínico. En segundo lugar, la estrategia de aspiración con aguja
fina asistida por ThyNet podría ser útil para evitar biopsias invasivas
innecesarias. Se informó de que el último sistema ACR TIRADS, utilizado en
este estudio, presentaba las tasas más bajas de aspiración con aguja fina
innecesaria en las directrices publicadas.2G,27 Los nódulos con una puntuación
de 2 puntos o menos no necesitan aspiración con aguja fina,15 cuyo valor
predictivo negativo fue del 93-2% en nuestro estudio. Sin embargo, el rango
podría ampliarse a G puntos sin una pérdida clínicamente significativa en el
valor predictivo negativo (93-0% en G puntos) si se aplica con nuestra
estrategia. Para la sospecha de nódulos malignos, todas las guías recomiendan
la aspiración con aguja fina antes de la cirugía. Sin embargo, aproximadamente
el 15-30% de las aspiraciones con aguja fina se asignarán a categorías
citopatológicas inciertas.28,29 El valor predictivo positivo notificado de la
aspiración con aguja fina es de aproximadamente 7G-G-95-4%.1G–18 Por lo
tanto, dado que el valor predictivo positivo en este estudio fue superior al 95%,
podría ser posible recomendar la cirugía directamente sin aspiración con aguja
fina. Con la asistencia de ThyNet, una puntuación ACR TIRADS de 10 a 15
alcanzó un valor predictivo positivo de más del 95%, y la estrategia de
aspiración con aguja fina asistida por ThyNet también proporcionó una
modesta ventaja en la reducción de malignidad no detectada. La aspiración con
aguja fina no se recomienda para nódulos pequeños (<1 cm de diámetro) con
una puntuación ACR TIRADS de 10-15 debido a la elevada tasa de falsos
negativos asociada al proceso.15 Sin embargo, dado que se trata de una
simulación, en el estudio ThyNetassisted

[Link]/digital-health Vol 3 Abril 2021 e262

 Artícul
os

a los pacientes.
estrategia, estos nódulos con un alto riesgo de malignidad Todos los autores tuvieron acceso a los datos en bruto. HaiX y SP Declaración de intereses
se recomendarían para una intervención médica verificaron todos los datos. Todos los autores revisaron el informe y No declaramos ningún
aprobaron la versión final antes de su presentación. interés competitivo.
adicional. En general, la asistencia con ThyNet podría
reducir el número de aspiraciones con aguja fina en un Intercambio de datos
Los códigos fuente
2G-7% y el número de neoplasias malignas pasadas por utilizados en este estudio
alto en un 1-9%. Cabe destacar que algunas neoplasias están disponibles en línea.
no se detectaron porque no se recomendó la aspiración Los autores compartirán
con aguja fina de nódulos con un diámetro de entre 3 datos de imágenes de
participantes individuales
mm y 1 cm en . El porcentaje de neoplasias malignas desidentificados a petición
omitidas en nuestro estudio no difiere sustancialmente de investigadores que
de lo comunicado para las omitidas según el ACR presenten una propuesta
TIRADS.30 metodológicamente viable y
puedan realizar análisis que
Este estudio tiene varias limitaciones. Todos los alcancen los objetivos de la
pacientes del conjunto de entrenamiento y del conjunto propuesta. Las solicitudes
total de pruebas se sometieron a un examen patológico para compartir datos pueden
en un entorno hospitalario en lugar de en un entorno de dirigirse a XiaX por correo
electrónico. Para obtener
cribado de nódulos tiroideos. La diversa prevalencia acceso, los solicitantes
podría afectar significativamente al valor predictivo deberán firmar un acuerdo
positivo y al valor predictivo negativo entre poblaciones, de acceso a los datos.
lo que podría disminuir la generalizabilidad potencial de Agradecimientos
los resultados. La precisión y estabilidad del modelo Este estudio ha sido
deeplearning se basa en estándares de oro de financiado por becas
de la Fundación
diagnóstico citopatológico y de patología quirúrgica, Nacional de Ciencias
que son difíciles de obtener en la población general en Naturales de China
un entorno real. El objetivo principal de este estudio era (81772850 y
evaluar la mejora en la precisión del diagnóstico con la 81971G30), y el
Proyecto de Ciencia y
asistencia de ThyNet para reducir potencialmente los Tecnología de
procedimientos innecesarios de aspiración con aguja Guangzhou
fina en el ámbito hospitalario. Por lo tanto, la (201803010057 y
interpretación de estos resultados podría tener sus 201904010187).

propios límites que no pueden extrapolarse discretamente Referencias

1 Guth S, Theune U,
a otros contextos. Otra posible limitación es que en la Aberle J, Galach A,
primera prueba de ThyNet como ayuda diagnóstica, los Bamberger CM.
diagnósticos se realizaron revisando únicamente las Prevalencia muy alta de
nódulos tiroideos
imágenes ecográficas, por lo que podría subestimarse la detectados mediante
actuación de los radiólogos. Sin embargo, en el entorno ecografía de alta
clínico, ThyNet siguió mejorando el rendimiento de los frecuencia (13 MHz).
Eur J Clin Invest 2009;
radiólogos tras revisar las imágenes ecográficas y el 39: G99-70G.
vídeo. En comparación con un estudio anterior,12 , en 2 Haugen BR, Alexander
este estudio se observó un mejor rendimiento de los EK, Bible KC, et al.
2015 American
radiólogos por sí solos. Además, existen sesgos Thyroid Association
potenciales con respecto a la selección de radiólogos y management
guidelines for adult
datos, incluida la exclusión de imágenes de baja calidad patients with thyroid
y la exclusión de exploraciones normales. Y en el caso nodules and
de los pacientes con múltiples nódulos, la correlación differentiated thyroid
cancer: the American
nódulo-pista plantea dificultades en el conjunto de datos Thyroid Association
retrospectivo. Por lo tanto, es necesaria una futura Guidelines Task Force
validación en una cohorte de cribado a gran escala. on thyroid nodules
and differentiated
En conclusión, la estrategia ThyNetassisted mejoró thyroid cancer.
significativamente la precisión diagnóstica de los Tiroides 201G; 26:
01-133.
radiólogos en la diferenciación de los nódulos tiroideos
3 Choi SH, Kim EK,
y podría reducir el número de aspiraciones con aguja Kwak JY, Kim MJ,
fina innecesarias. Son EJ.
Interobserver and
Colaboradores intraobserver
HaiX, WW y EKA supervisaron el estudio. HaiX, SP, WW y YiL variations in
concibieron y diseñaron el estudio. GH y YG entrenaron y desarrollaron el ultrasound
modelo de inteligencia artificial. QiaZ realizó el análisis estadístico. assessment of
HaiX, SP, WW, YiL, QiaZ, HH, HanX y ZL redactaron el borrador del thyroid nodules.
informe. HW y EKA revisaron críticamente el manuscrito. YaL, JinL, JieL, Tiroides 2010; 20:
FL, QiuZ, QD, FN, HY, JR, GL, XW y XZ organizaron y seleccionaron 1G7-72.
e263 [Link]/digital-health Vol 3 Abril 2021
4 Alexander EK, Kennedy GC, Baloch ZW, et al. Diagnóstico
preoperatorio de nódulos tiroideos benignos con citología
indeterminada. N Engl J Med 2012; 367: 705-15.
5 Esteva A, Kuprel B, Novoa RA, et al. Clasificación de cáncer de piel a
nivel de dermatólogo con redes neuronales profundas. Nature 2017;
542: 115-18.
Para más información sobre los códigos fuente, consulte [Link] Artícul
sprint2200/ThyNet
GTing D, Cheung CY, Lim G, et al. Desarrollo y validación de un
sistema de aprendizaje profundo para la retinopatía diabética y
os
enfermedades oculares relacionadas utilizando imágenes retinianas de
poblaciones multiétnicas con diabetes. JAMA 2017; 318: 2211-23.
7 Liang J, Huang X, Hu H, et al. Predicción de malignidad en nódulos
tiroideos: puntuación radiomics versus 2017 american college of
radiology thyroid imaging, reporting and data system. Tiroides 2018; 28:
1024-33.
8 Thomas J, Haertling T. AIBx, Modelo de inteligencia artificial para
estratificar el riesgo de los nódulos tiroideos. Thyroid 2020; 30:
878-84.
9 De Fauw J, Ledsam JR, RomeraParedes B, et al. Aprendizaje
profundo clínicamente aplicable para el diagnóstico y la
derivación en enfermedades de la retina. Nat Med 2018; 24:
1342-50.
10 Kermany DS, Goldbaum M, Cai W, et al. Identificación de
diagnósticos médicos y enfermedades tratables mediante
aprendizaje profundo basado en imágenes. Cell 2018; 172:
1122-31.e9.
11 Buda M, WildmanTobriner B, Hoang JK, et al. Manejo de
nódulos tiroideos vistos en imágenes de US: el aprendizaje
profundo puede igualar el rendimiento de los radiólogos.
Radiología 2019; 292: G95-701.
12 Li X, Zhang S, Zhang Q, et al. Diagnóstico de cáncer de tiroides
utilizando modelos de redes neuronales convolucionales profundas
aplicados a imágenes ecográficas: un estudio retrospectivo, de
cohortes múltiples y diagnóstico. Lancet Oncol 2019; 20: 193-201.
13 Wei X, Gao M, Yu R, et al. Modelo de aprendizaje profundo conjunto
para la clasificación multicéntrica de nódulos tiroideos en imágenes de
ultrasonido. Med Sci Monit 2020; 26: e92G09G.
14 Huang G, Liu Z, Maaten LVD, Weinberger KQ. Redes
convolucionales densamente conectadas. IEEE Conference on
Computer Vision and Pattern Recognition; Honolulu, HI, EE. UU.;
21-2G de julio de 2017.
15 Tessler FN, Middleton WD, Grant EG, et al. ACR thyroid imaging,
reporting and data system (TIRADS): white paper of the
Comité ACR TIRADS. J Am Coll Radiol 2017; 14: 587-95. 1G
Lee J, Lee SY, Cha SH, Cho BS, Kang MH, Lee OJ. Fineneedle
Aspiración de nódulos tiroideos con macrocalcificación. Tiroides 2013;
23: 110G-12.
17 Yoon JH, Kwak JY, Moon HJ, Kim MJ, Kim EK. The diagnostic
accuracy of ultrasoundguided fineneedle aspiration biopsy and the
sonographic differences between benign and malignant thyroid
nodules 3cm or larger. Tiroides 2011; 21: 993-1000.
18 Lee TI, Yang HJ, Lin SY, et al. The accuracy of fineneedle aspiration
biopsy and frozen section in patients with thyroid cancer. Thyroid 2002;
12: G19-2G.

[Link]/digital-health Vol 3 Abril 2021 e264

 Artícul
os

19 Clopper C, Pearson ES. The use of confidence or fiducial limits 2G Xu T, Wu Y, Wu RX, et al. Validation and comparison of
illustrated in the case of the binomial. Biometrika 1934, 26: 404-13. tres sistemas de datos e informes de imágenes tiroideas
20 Leijenaar RT, Carvalho S, Velazquez ER, et al. Stability of FDGPET recientemente publicados para la determinación del riesgo de
Radiomics features: an integrated analysis of testretest and cáncer. Endocrino 2019; 64: 299-307.
interobserver variability. Acta Oncol 2013; 52: 1391-97. 27 Ha EJ, Na DG, Moon WJ, Lee YH, Choi N. Rendimiento
21 Ko SY, Lee JH, Yoon JH, et al. Red neuronal convolucional profunda diagnóstico de los sistemas de estratificación de riesgo basados en
para el diagnóstico de nódulos tiroideos en ultrasonido. Head Neck ultrasonido para nódulos tiroideos: comparación de las directrices
2019; 41: 885-91. de la Asociación Americana de Tiroides de 2015 con las
22 Kim HG, Kwak JY, Kim EK, Choi SH, Moon HJ. Formación de directrices 201G de la Asociación Coreana de Tiroides / Sociedad
hombre a hombre: ¿puede ayudar a mejorar el rendimiento Coreana de Radiología Tiroidea y 2017 del Congreso Americano
diagnóstico y las variabilidades interobservador de la ecografía de Radiología. Tiroides 2018; 28: 1532-37.
tiroidea en residentes? Eur J Radiol 2012; 81: e352-5G. 28 Nikiforov YE, Carty SE, Chiosea SI, et al. Diagnóstico altamente
23 Park CS, Kim SH, Jung SL, et al. Variabilidad del observador en preciso de cáncer en nódulos tiroideos con neoplasia
la evaluación ecográfica de los nódulos tiroideos. J Clin Ultrasound folicular/sospechoso para una citología de neoplasia folicular
2010; 38: 287-93. mediante el ensayo de secuenciación de nueva generación ThyroSeq
v2. Cancer 2014; 120: 3G27-34.
24 Park SH, Kim SJ, Kim EK, Kim MJ, Son EJ, Kwak JY. Interobserver
agreement in assessing the sonographic and elastographic features of 29 Suh YJ, Son EJ, Moon HJ, Kim EK, Han KH, Kwak JY. Utility of
malignant thyroid nodules. AJR Am J Roentgenol 2009; 193: W41G-23. thyroglobulin measurements in fineneedle aspirates of space
occupying lesions in the thyroid bed after thyroid cancer
25 Kim SH, Park CS, Jung SL, et al. Variabilidad del observador y
operations. Tiroides 2013; 23: 280-88.
rendimiento entre facultativos y residentes: US criteria for benign and
malignant thyroid nodules. Korean J Radiol 2010; 11: 149-55. 30 Magri F, Chytiris S, Croce L, et al. Performance of the
ACR TIRADS and EU TIRADS scoring systems in the diagnostic
workup of thyroid nodules in a reallife series using histology as
reference standard. Eur J Endocrinol 2020; 183: 521-28.

e265 [Link]/digital-health Vol 3 Abril 2021