Validacin de Mtodos
Cualitativos
Caso de Aplicacin
Agenda
Introduccin
Definiciones
Clasificacin
Validacin
Evaluacin de Mtodos Cualitativos
Caso de Aplicacin
Conclusiones
Introduccin
La validacin de mtodos debe llevarse a cabo cada vez
que se incorpore un nuevo mtodo en el laboratorio.
VALIDAR / VERIFICAR EL DESEMPEO DEL MTODO
ASEGURAR LA CALIDAD DE LOS RESULTADOS
Introduccin
En el laboratorio existen mtodos:
- Cuantitativos
- Semi-cuantitativos
- Cualitativos
Introduccin
Existen guas claramente definidas para la
validacin de mtodos cuantitativos.
No existen lineamientos claros para los
mtodos cualitativos y semi-cuantitativos.
Los parmetros de calidad que caracterizan a
los mtodos cualitativos son distintos.
Agenda
Introduccin
Definiciones
Clasificacin
Validacin
Evaluacin de Mtodos Cualitativos
Caso de Aplicacin
Conclusiones
Definiciones
Mtodos Cualitativos
Aseguran la presencia o ausencia de uno o ms analitos en una
muestra considerando sus propiedades fsicas, biolgicas o
qumicas.
Mtodos de anlisis cuya respuesta es la presencia o ausencia de
un analito, detectado en forma directa o indirecta en una
muestra.
Se emplean para saber si una muestra contiene uno o ms
analitos.
Presencia/ausencia con respecto a un nivel de concentracin.
Por debajo de ese lmite la concentracin del analito se
considera despreciable.
Definiciones
Puede ser necesario un instrumento para la deteccin del
analito o se puede aplicar nicamente los sentidos.
La respuesta de estos mtodos suele ser binaria (ms all del
tipo de deteccin)
-SI / NO
-POSITIVO / NEGATIVO
-REACTIVO / NO REACTIVO
Existen otros tipos de respuesta
-POSITIVO / Zona Gris / NEGATIVO
-REACTIVO / Zona Gris / NO REACTIVO
Definiciones
Mtodos Semi-cuantitativos
Se encuentran entre los mtodos cualitativos y
cuantitativos.
Ofrecen una cuantificacin somera con una incertidumbre
importante.
Los resultados se terminan agrupando en clases:
- Positivo (+ + +)
- Positivo Dbil (+)
- Zona Gris (+ / -)
- Negativo (-)
Definiciones
Los mtodos cualitativos o semi-cualitativos se
emplean como mtodos de screening
Mtodos (tests) de Screening
- Separan o discriminan muestras de un grupo ms grande.
- Uno o ms analitos por encima o por debajo de un valor
preestablecido.
- Este valor preestablecido puede haber sido establecido de
distintas formas:
1) Organismo oficial
Lmite de Especificacin
2) Control de Calidad Interno
Valor de Corte
3) Requerimientos del Cliente
Definiciones
Hay analito por encima de un determinado valor, Xsl?
>Xsl
<Xsl
SISTEMA DE
SCREENING
MUESTRAS
NO
NO SE
ANALIZA
SI
ANLISIS
CUANTITATIVO
Agenda
Introduccin
Definiciones
Clasificacin
Validacin
Evaluacin de Mtodos Cualitativos
Caso de Aplicacin
Conclusiones
Clasificacin
Existen distintos criterios de clasificacin.
Clasificacin
Deteccin sensorial
A travs de la vista
Ejemplos:?
Deteccin Instrumental
La respuesta instrumental se transforma en respuesta
binaria
Se trabaja con la respuesta del lmite de especificacin o
calor de corte
Ejemplos: ?
Agenda
Introduccin
Definiciones
Clasificacin
Validacin
Evaluacin de Mtodos Cualitativos
Caso de Aplicacin
Conclusiones
Validaciones
Los mtodos cualitativos deben Validarse / Verificarse
VALIDACIN
Validation es la confirmacin mediante el exmen y la
provisin de una evidencia objetiva de que se han satisfecho
unos requisitos particulares para un uso retendido y
especfico (1).
(1) Definicin segn la norma ISO 8402 Validacin de mtodos analticos cualitativos. I. Ruisnchez, E. Trullols, X. Ruis.
Validaciones
Establecer parmetros de desempeo.
Los mismos que en los mtodos cuantitativos?
Validaciones
Verificar o Validar los parmetros de desempeo
9 Trazabilidad
9 Sensibilidad
9 Especificidad
9 Tasa de Falsos positivos
9 Tasa de falsos negativos
9 Lmite de corte y su incertidumbre
9 Lmite de deteccin
Validaciones
Trazabilidad y Veracidad - Algunas consideraciones
1)- Por lo general no existen CRMs para mtodos
cualitativos
2)- El uso de CRMs en mtodos cualitativos es
complicado
3)- Comparacin frente a Mtodos de Referencia
4)- Los mtodos de referencia suelen ser mtodos
cuantitativos
5)- Participacin en esquemas interlaboratorio
Validaciones
Valor de corte Cut Off
En
un mundo ideal!!!
En
el mundo real!!!
Validaciones
Falso Positivo (FP)
Muestras (+) por el test de screening y (-) por el mtodo
de referencia
Falso Negativo (FN)
Muestras (-) por el test de screening y (+) por el mtodo
de referencia
Validaciones
Positivo Verdadero (TP)
Muestra (+) por el test de screening y (+) por el mtodo
de referencia
Negativo Verdadero (TN)
Muestra (-) por el test de screening y (-) por el mtodo de
referencia
Validaciones
Tasa de Falsos Positivos
Probabilidad de que una muestra con valor verdadero
negativo d un valor positivo por el test de screening
Tasa de FP =
FP: Falso Positivo
FN: Falso Negativo
TP: Positivo Verdadero
TN: Negativo Verdadero
FP
FP + TN
Validaciones
Tasa de Falsos Negativos
Probabilidad de que una muestra con valor verdadero
positivo d un valor negativo por el test de screening
Tasa de FN =
FP: Falso Positivo
FN: Falso Negativo
TP: Positivo Verdadero
TN: Negativo Verdadero
FN
FN + TP
Validaciones
Sensibilidad
Capacidad o habilidad de un test de screening de detectar
muestras positivas cuando realmente son positivas
TP
Sensibilidad =
TP + FN
FP: Falso Positivo
FN: Falso Negativo
TP: Positivo Verdadero
TN: Negativo Verdadero
Validaciones
Especificidad
Capacidad o habilidad de un test de screening de detectar
muestras negativas cuando realmente son negativas
TN
Especificidad =
TN + FP
FP: Falso Positivo
FN: Falso Negativo
TP: Positivo Verdadero
TN: Negativo Verdadero
Validaciones
Zona de Incertidumbre
Corresponde a la regin en la cual se obtienen respuestas
falsas (falso negativo o falso positivo)
Validaciones
Lmite de Deteccin y Cut Off
Error Beta: Tasa de
FN
Error Alfa: Tasa de FP
Menor cantidad de analito que puede ser detectada en una matriz
Error: Tipo Beta 5 %
Mximo nivel de concentracin permitido
Lmite superior de la zona de incertidumbre
Sensibilidad 95%
Cut Off
Validaciones
Lmite de Deteccin y Cut Off
Error Beta: Tasa de FN
Error Alfa: Tasa de FP
Si consideramos el caso de mnima concentracin permitida
Error Alfa: 5 %
Lmite inferior de la Zona de incertidumbre
Validaciones
Cut Off
Nivel de concentracin en el cual el test de screening
diferencia las muestras con una probabilidad de error
aceptable ( 5 %)
Si hablamos de mximo nivel permitido:
- Cut Off se relaciona con sensibilidad
- Corresponde a la concentracin donde la sensibilidad es del 95 %
y el error de tipo Beta (Falso negativo) ha sido fijado al 5 %
Error Beta: Tasa de FN
Error Alfa: Tasa de FP
Agenda
Introduccin
Definiciones
Clasificacin
Validacin
Evaluacin de Mtodos Cualitativos
Caso de Aplicacin
Conclusiones
Evaluacin de Mtodos Cualitativos
Bsicamente existen varias formas de evaluar los
parmetros de desempeo de los mtodos cualitativos
Destacamos cuatro, todas ellas con ventajas y desventajas:
- Tablas de Contingencias
- Teorema de Bayes
- Test Estadsticos de Hiptesis
- Curvas Caractersticas de Desempeo
Evaluacin de Mtodos Cualitativos
Tablas de Contingencia
Diferencian las muestras en 2 categoras ( + y -) por el test de
screening y establecen una tabla de comparacin con
respecto al mtodo de referencia o confirmacin.
Fuente Validacin de mtodos analticos cualitativos. I. Ruisnchez, E. Trullols, X. Ruis.
FP: Falso
Positivo
FN: Falso
Negativo
TP: Positivo
Verdadero
TN: Negativo
Verdadero
N: Nmero total
de ensayos
Evaluacin de Mtodos Cualitativos
Tablas de Contingencia
Permiten calcular 4 parmetros de desempeo
- Falsos Positivos
- Falsos Negativos
- Sensibilidad
- Especificidad
Permiten calcular 2 valores predictivos
- Probabilidad de Resultado positivo (PVP)
- Probabilidad de Resultado negativo (PVN)
Validaciones
Probabilidad de Resultado Positivo (PVP)
Probabilidad de que un individuo con un resultado positivo
del test tenga una enfermedad o caracterstica, que el test
est diseado para detectar
TP
PVP =
TP + FP
FP: Falso Positivo
FN: Falso Negativo
TP: Positivo Verdadero
TN: Negativo Verdadero
Validaciones
Probabilidad de Resultado Negativo (PVN)
Probabilidad de que un individuo con un resultado negativo
del test no tenga una enfermedad o caracterstica, que el
test est diseado para detectar
TN
PVN =
TN + FN
FP: Falso Positivo
FN: Falso Negativo
TP: Positivo Verdadero
TN: Negativo Verdadero
Evaluacin de Mtodos Cualitativos
Tablas de Contingencia Desventajas
Asume
que las muestras desconocidas tienen el mismo
comportamiento que las que se emplearon en el estudio.
Su
capacidad depende del nmero de muestras analizadas.
Requiere
el procesamiento de las muestras por 2 mtodos.
Evaluacin de Mtodos Cualitativos
Teorema de Bayes
Calcula la probabilidad de dar un resultado correcto (+ o -)
cuando realmente lo es.
Trabaja con probabilidades condicionales.
Requiere de muchos anlisis.
Terminologa compleja.
Muchos clculos (Probabilidades intermedias)
Evaluacin de Mtodos Cualitativos
Test Estadsticos de Hiptesis
Aplica nicamente a test con una respuesta instrumental.
Se establece la respuesta a nivel del corte.
Se compara la respuesta de la muestra con el valor
previamente establecido de corte.
Comparacin a travs de Test de Hiptesis
Trabaja con los errores alfa y beta.
Permite estimar la incertidumbre o probabilidad de
equivocarnos empleando el test de screening.
Evaluacin de Mtodos Cualitativos
Curvas Caractersticas de Desempeo
Fuente Validacin de mtodos analticos cualitativos. I. Ruisnchez, E. Trullols, X. Ruis.
Evaluacin de Mtodos Cualitativos
Curvas Caractersticas de Desempeo
Probabilidad de tener un resultado positivo en
funcin de la concentracin del analito
- Permiten calcular los 4 parmetros clsicos
- Permiten calcular el lmite de deteccin
- Permiten calcular el Cut Off
- Permiten calcular la zona de incertidumbre
Desventajas
- Requieren realizar el ensayo repetidas veces por cada
concentracin
Evaluacin de Mtodos Cualitativos
Gua para la Evaluacin de Desempeo
de Tests Cualitativos.
Evaluacin de Mtodos Cualitativos
EP12 - Estudios de Precisin
9 Recomienda desarrollar experimentos de
precisin en concentraciones cercanas al Cut Off.
Intervalo 95 % (C5-C95)
C5
Cut Off C50
C95
5 % (+)
95 % ( -)
50 % (+)
50 % ( -)
95 % (+)
5 % ( -)
Evaluacin de Mtodos Cualitativos
EP12 - Estudios de Precisin
Establecer la concentracin de Cut Off
Establecer que el Cut Off +/- un 20 % est dentro del intervalo
del 95%.
El Cut Off puede estar en el inserto del reactivo
El Cut Off puede ser estimado por repeticiones de diluciones
sucesivas de una muestra +.
Preparar muestras en las siguientes concentraciones:
1) Cut Off + 20 %
3) Cut Off
2) Cut Off 20 %
Repetir las muestras 20 veces
Evaluacin de Mtodos Cualitativos
EP12 - Estudios de Precisin
Para cada una de las tres muestras determinar el % de
resultados + y-.
Verificar los resultados.
Evaluacin de Mtodos Cualitativos
EP12 - Estudio de Comparacin
Puntos Crticos:
- Muestras
- Nmero de muestras
- Duracin
- Inspeccin de datos
- Manejo de datos discordantes
- Mtodo de comparacin
Evaluacin de Mtodos Cualitativos
EP12 - Estudio de Comparacin
Anlisis
de Datos de acuerdo al Comparador
El comparador es Criterio de Exactitud Diagnstica
El comparador no es Criterio de Exactitud Diagnstica
Evaluacin de Mtodos Cualitativos
EP12 - Estudio de Comparacin
Si el comparador es Criterio de Exactitud Diagnstica
Se puede estimar:
9 SENSIBILIDAD
9 ESPECIFICIDAD
9 TASA DE FALSOS POSITIVOS
9 TASA DE FALSOS NEGATIVOS
9 PVP
9 PVN
Evaluacin de Mtodos Cualitativos
EP12 - Estudio de Comparacin
Si el comparador NO es Criterio de Exactitud
Diagnstica
Se puede estimar:
9 Porcentaje de Acuerdo Positivo
9 Porcentaje de Acuerdo Negativo
Agenda
Introduccin
Definiciones
Clasificacin
Validacin
Evaluacin de Mtodos Cualitativos
Caso de Aplicacin
Conclusiones
Caso de Aplicacin
Anticuerpos totales
para HIV1 y HIV2.
Elecsys HIV combi Modular Analytics E170
Caso de Aplicacin
EL ENSAYO
ECLIA Principio sandwich
El Cut Off se calcula a partir de los calibradores: CAL-1
(negativo) y CAL-2 (positivo).
(1)
El resultado se expresa como Cot Off Index.
(2)
Interpretacin de resultados:
COI < 0.9 No Reactivo
COI > 1 Reactivo
COI > 0.9 a < 1 Indeterminado
(1) (2) Fuente
Caso de Aplicacin
Estudios de Precisin
Se ensayan los CONTROLES DE CALIDAD
INTERNOS durante 20 das.
C 1 Negativo (Cut Off Index: 0.237)
C2 Positivo (Cut Off index: 9.96)
C3 Positivo (Cut Off index: 11.33)
Caso de Aplicacin
Estudios de Precisin
CONTROLES DE CALIDAD INTERNOS
SD Claim = CV inserto x Claim Concentration/100
Laboratorio Dr
House
INSERTO DEL REACTIVO
EP Evaluator R8
Caso de Aplicacin
Estudios de Precisin
CONTROLES DE CALIDAD INTERNOS
EP Evaluator R8
Caso de Aplicacin
Estudios de Precisin
CONTROLES DE CALIDAD INTERNOS
EP Evaluator R8
Caso de Aplicacin
Estudios de Precisin C5 C95
Se ensayan dos diluciones con valores de COI
cercanos al Cut Off.
Cmo seleccionamos las diluciones ?
Se desarrolla un perfil de precisin cercano al Cut
Off.
C5 dil 1/32
C95 dil 1/16
Caso de Aplicacin
Estudios de Precisin C5 C95
Se ensayan las diluciones al menos 20 veces cada
una.
Se emplean los operadores estadsticos para
demostrar que:
Ambas poblaciones tienen una distribucin
normal.
Ambas poblaciones son estadsticamente
diferentes del Cut Off (1).
Ambas poblaciones son estadsticamente
diferentes entre s.
Caso de Aplicacin
Estudios de Precisin C5 0.05
CV= 4.6 %
Programa NCSS
Caso de Aplicacin
Estudios de Precisin C95 0.01
CV= 4.1 %
Programa NCSS
Caso de Aplicacin
Estudios de Precisin C5 C95
Programa NCSS
Caso de Aplicacin
Estudios de Precisin C5 C95
Programa NCSS
Caso de Aplicacin
Estudios de Precisin C5 C95
CV C5= 4.6 %
CV C95= 4.1 %
Caso de Aplicacin
Estudios de Comparacin
Se estudian dos poblaciones de pacientes:
9 150 pacientes sanos (no reactivos)
9 50 pacientes con diagnstico de HIV (Western
blot y clnica)
Caso de Aplicacin
Estudios de Comparacin
EP Evaluator R8
Caso de Aplicacin
Estudios de Comparacin
EP Evaluator R8
Comparar los valores obtenidos con las especificaciones de
performance declaradas por el fabricante.
Sensibilidad declarada: 100%
Especificidad declarada: 99.63%
Caso de Aplicacin
BUBBLE CHART
Falsos
Pos.+
Zonas de
Acuerdo
Falsos
[Link] Evaluator R8
Las reas de las circunferencias dependen de
la cantidad de muestras
Caso de Aplicacin
ALGUNAS DEFINICIONES ADICIONALES
Acuerdo % total de los casos en que los 2 mtodos dan el
mismo resultado
Acuerdo +
% de los casos en que hay acuerdo cuando el mtodo de
referencia da +: TP/ (TP+FP)
Acuerdo
% de los casos en que hay acuerdo cuando el mtodo de
referencia da -: TN/ (TN+FN)
Caso de Aplicacin
ALGUNAS DEFINICIONES ADICIONALES
Prevalencia: Frecuencia de datos positivos en una poblacin
estudiada
-Dato experimental
-Dato de Bibliografa
-Cantidad de datos evaluados
Caso de Aplicacin
Estimacin de la ZONA DE NO CONFIABILIDAD
Se estima a travs de resultados de calibraciones
y empleando la Ley de Propagacin de Errores.
1) Buscar la ecuacin utilizada para el clculo del
Cut Off.
2) Calcular el Cut Off.
3) Estimar el CV del cut Off.
4) Comparar el CV del Cut Off con la zona de no
confiabilidad declarada por el fabricante.
Caso de Aplicacin
Estimacin de la ZONA DE NO CONFIABILIDAD
Cut Off Promedio: 23997 RLU
S2co =
CO x Scal12 + CO x Scal2
Cal1
Cal2
S co= 1680 RLU CV co = 7.0% < 10% (ZNC)
Evaluacin de Mtodos Cualitativos
Un ejemplo
El comparador no es Criterio de
Exactitud Diagnstica
Evaluacin de Mtodos Cualitativos
Evaluacin de Mtodos Cualitativos
Evaluacin de Mtodos Cualitativos
Indica el nivel de acuerdo entre 2 mtodos
Puede adoptar valores entre -100% y 100%
Un valor de 0% indica ausencia de acuerdo
Un valor de 100% indica acuerdo perfecto
Es deseable un valor por encima de 75%
Evaluacin de Mtodos Cualitativos
Indica la probabilidad de que los mtodos
sean significativamente diferentes.
Si son diferentes indica en qu direccin.
Evala simetra entre los dos mtodos.
Agenda
Introduccin
Definiciones
Clasificacin
Validacin
Evaluacin de Mtodos Cualitativos
Caso de Aplicacin
Conclusiones
Conclusiones
Existen cada vez ms mtodos cualitativos.
Hay confusin en la nomenclatura.
Hay confusin en la clasificacin de mtodos
cualitativos.
La validacin de mtodos cualitativos es un tema
importante para asegurar la calidad de los resultados
que estos mtodos generan.
No existe consenso sobre cmo realizar estas
validaciones.
Los parmetros de desempeo estn bien definidos.
Gua de consenso: EP 12-A2 de la CLSi
MUCHAS GRACIAS!
