Post on 23-Mar-2020
1Emilio Letón y Elisa M. Molanes
Verosimilitud empírica aplicada a las curvas ROC
16-Oct-2009
elisamaria.molanes@uc3m.es
emilio.leton@dia.uned.es
Emilio LetónDpto. IAUNED
Elisa M. MolanesDpto. Estadística
UC3M
2Emilio Letón y Elisa M. Molanes
Índices de diagnósticoTests múltiples
TESTS DE DIAGNÓSTICO DICOTÓMICOS
TESTS DE DIAGNÓSTICO CONTINUOS
INFERENCIA DEL ÍNDICE DE YOUDEN
3Emilio Letón y Elisa M. Molanes
TESTS DE DIAGNÓSTICO DICOTÓMICOST+ T-
Enf a b r1Sano c d r2
s1 s2 n
OR=2.58 (p=0.04)
T+ T-Enf 10 30 40Sano 12 93 105
22 123 145
OR=69.75 (p<0.0001)
T+ T-Enf 36 4 40Sano 12 93 105
48 97 145
4Emilio Letón y Elisa M. Molanes
Índices de diagnóstico
- Sensibilidad y Especificidad.
- Valores predictivos.
- Razones de verosimilitud.
5Emilio Letón y Elisa M. Molanes
Sensibilidad y especificidad
( )Enf|TPr'adSensibilid 1 +=π=
( )Sano|TPr'1adspecificidE 2 −=π−=
11 r
a'pSens ==
212 r
drc
1'p1speE =−=−=
6Emilio Letón y Elisa M. Molanes
Dependencia de la prevalencia
T+ T-Enf 36 4 40Sano 120 930 1050
Prev 3.7% 27.6% 79.2%
Sens 90.0% 90.0% 90.0%
Espe 88.6% 88.6% 88.6%
T+ T-36 4 4012 93 105
T+ T-360 40 40012 93 105
7Emilio Letón y Elisa M. Molanes
Índices relacionados
( ) EspeevPr1SensevPrEficacia ⋅−+⋅=
1-EspeSensYouden +=
nda
ficE+
=
1rd
ra
J21
−+=
8Emilio Letón y Elisa M. Molanes
Valores predictivos
( )+=π= T|EnfPrPpositivoV 1
( )−=π−= T|SanoPr1VPnegativo 2
( )1
1 sa
pPV ==+
( )22
2 sd
sb
1p1PV =−=−=−
9Emilio Letón y Elisa M. Molanes
Dependencia de la prevalencia
T+ T-Enf 36 4 40Sano 120 930 1050
Prev 3.7% 27.6% 79.2%
VP(+) 23.1% 75.0% 96.8%
VP(-) 99.6% 95.9% 69.9%
T+ T-36 4 4012 93 105
T+ T-360 40 40012 93 105
10Emilio Letón y Elisa M. Molanes
Incorporación de la prevalencia
( ) ( ) ( )Espe1evPr1SensevPrSensevPr
PV−⋅−+⋅
⋅=+
( ) ( )( ) ( )Sens1evPrEspeevPr1
EspeevPr1PV
−⋅+⋅−⋅−
=−
( ) ( )+=+ PVT|EnfPr
( ) ( )−−=− PV1T|EnfPr
11Emilio Letón y Elisa M. Molanes
Razones de verosimilitud
( )( )Sano|TPr
Enf|TPr''
LRpositivo2
1
++
=ππ
=
( )Espe1
Sens'p'p
LR2
1
−==+
( )( )Sano|TPr
Enf|TPr'1'1
LRnegativo2
1
−−
=π−π−
=
( )Espe
Sens1'p1'p1
LR2
1 −=
−−
=−
12Emilio Letón y Elisa M. Molanes
Dependencia de la prevalencia
T+ T-Enf 36 4 40Sano 120 930 1050
Prev 3.7% 27.6% 79.2%
LR(+) 7.875 7.875 7.875
LR(-) 0.113 0.113 0.113
T+ T-36 4 4012 93 105
T+ T-360 40 40012 93 105
13Emilio Letón y Elisa M. Molanes
Incorporación de la prevalencia
( ) ( )( ) ( )evPr1LRevPr
LRevPrT|EnfPr
−++⋅+⋅
=+
( ) ( )( ) ( )evPr1LRevPr
LRevPrT|EnfPr
−+−⋅−⋅
=−
( ) ( )( ) ( )evPr1resLRevPr
resLRevPrres|EnfPr
−+⋅⋅
=
14Emilio Letón y Elisa M. Molanes
Nomograma de Fagan
15Emilio Letón y Elisa M. Molanes
Ganancia de la información
( )( ) evPr1
evPrEnfPr1
EnfPrprioriOdds
−=
−=
( )( )−+
=LRLR
OR
( )( ) )(LRprioriOdds
T|EnfPr1T|EnfPr
)(posOdds +⋅=+−
+=+
( )( ) )(LRprioriOdds
T|EnfPr1T|EnfPr
)(posOdds −⋅=−−
−=−
16Emilio Letón y Elisa M. Molanes
Tests múltiples
Test1 Test2 Test3
Sens 0.90 0.70 0.75
Espe 0.80 0.75 0.90
LR(+) 4.50 2.80 7.50
LR(-) 0.12 0.40 0.27
Prev=0.15
17Emilio Letón y Elisa M. Molanes
Combinación de razones de verosimilitud
( ) ( ) ( ) ( )+⋅−⋅+=+−+ LRLRLR,,LRglobal
( ) ( )( ) ( )evPr1,,LRglobalevPr
,,LRglobalevPr,,|EnfPr
−++−+⋅+−+⋅
=+−+
5.135.74.05.4 =⋅⋅=
( ) 70.015.015.1315.0
5.1315.0=
−+⋅⋅
=
18Emilio Letón y Elisa M. Molanes
TESTS DE DIAGNÓSTICO DICOTÓMICOS
INFERENCIA DEL ÍNDICE DE YOUDEN
Curvas ROC
TESTS DE DIAGNÓSTICO CONTINUOS
19Emilio Letón y Elisa M. Molanes
TESTS DE DIAGNÓSTICO CONTINUOS
( ) ( ) ( ) ( )cXPrD|cXPrcqcSens 1 >=>==
( ) ( ) ( )cXPrH|cXPrcp)c(speE 0 <=≤==
Umbral c
- PSA: antígeno específico de la próstata.
- TSH: hormona específica de la tiroides.
20Emilio Letón y Elisa M. Molanes
Curvas “Receiver Operating Characteristic”
( ) ( )( ) ( )Sens,Espe1cq,cp1 −=− ( ) ( )( )tFFtROC 101−=
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Curva ROC
Linea de referencia
q(c)
p(c)-4 -3 -2 -1 0 1 2 3 4 5 6
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
f1f0
c
21Emilio Letón y Elisa M. Molanes
Poblaciones no solapadas
( ) ( )( ) ( ) ( )1,01,11cq,cp1 =−=−
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Curva ROC
Linea de referencia
q(c)
p(c)
-4 -2 0 2 4 6 8 100
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
f1f0
c
22Emilio Letón y Elisa M. Molanes
Poblaciones completamente solapadas
( ) ( )( ) ( ) ( )( )cp1,cp1cq,cp1 −−=−
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Curva ROC
Linea de referencia
q(c)p(c)
-4 -3 -2 -1 0 1 2 3 40
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
f0=f1
c
23Emilio Letón y Elisa M. Molanes
AUC
Sensi
Sensi-1
Inespei-1 Inespei
( )∑=
−− ⎟
⎠
⎞⎜⎝
⎛ +⋅−
k
1i
1ii1ii 2
SensSensInespeInespe
24Emilio Letón y Elisa M. Molanes
Punto de corte óptimo
- Esquina Noroeste.
- Índice de Youden.
Youden (1950), Fluss et al. (2005), Schisterman et al. (2005), Le (2006), Schisterman and Perkins (2007), …
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
1-Espe(c)S
ens(
c)
(1-p(cJ),q(cJ))
(1-p(cNO),q(cNO))
25Emilio Letón y Elisa M. Molanes
Índice de Youden (1/3)
( ){ }ℜ∈= c;cJmaxJ
( ) ( ) ( ) 1cpcqcJ −+=
( ) ( )( )cq,cp1 − ( ) ( )( )cp1,cp1 −−
( )( ) ( )( )( ) ( ) ( )( )( ) ( )cJcp1cqcp1cp1 22 =−−+−−−
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Curva ROCLinea de referencia
q(c)
p(c)
J
26Emilio Letón y Elisa M. Molanes
( ) ( ) ( ) ( ) ( ) 1cXPrcXPr1cpcqcJ 01 −<+>=−+=
( ) ( ) ( )cFcFcJ 01 −=
Índice de Youden (2/3)
( ) ( ) ( )cfcfc'J0 01 +−==
-4 -3 -2 -1 0 2 3 4 5 60
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
c
f1f0
27Emilio Letón y Elisa M. Molanes
TESTS DE DIAGNÓSTICO DICOTÓMICOS
Método deltaVerosimilitud empírica ajustada
Estudio de simulaciónEjemplo
Conclusiones
INFERENCIA DEL ÍNDICE DE YOUDEN
TESTS DE DIAGNÓSTICO CONTINUOS
28Emilio Letón y Elisa M. Molanes
- Basado en el teorema de Taylor.
- Útil para aproximar momentos de transformadas de v.a.
- Schisterman y Perkins (2007) para modelo binormal y modelo bigamma.
( )[ ] ( ) [ ] ( ) [ ]YV,yh
XV,xh
Y,XhV2
yx
2
yx ⎥⎦
⎤⎢⎣
⎡μμ
∂∂
+⎥⎦
⎤⎢⎣
⎡ μμ∂∂
≈
( ) ( ) ( )Y,XCov,yh
,xh
2 yxyx ⎥⎦
⎤⎢⎣
⎡μμ
∂∂
⎥⎦
⎤⎢⎣
⎡ μμ∂∂
+
Método delta
29Emilio Letón y Elisa M. Molanes
Modelo binormal
( ) ( ) 0,x,x21
exp2
1x,,f i
2i2
iiiii >σℜ∈⎥
⎦
⎤⎢⎣
⎡μ−
σ−
πσ=σμ
( ) ( ) ( )dxxfdxxfcJc 0c 1 ∫∫∞∞
−=
- Hay una expresión cerrada para copt.
- No es necesario tener dicha expresión.
- Se puede usar MV.
30Emilio Letón y Elisa M. Molanes
Varianza de J
[ ] [ ] [ ]1
2
10
2
0ˆVar
JˆVar
JJVar μ⎥
⎦
⎤⎢⎣
⎡μ∂∂
+μ⎥⎦
⎤⎢⎣
⎡μ∂∂
≈
[ ] [ ]1
2
10
2
0ˆVar
JˆVar
Jσ⎥
⎦
⎤⎢⎣
⎡σ∂∂
+σ⎥⎦
⎤⎢⎣
⎡σ∂∂
+
- Las parciales de J utilizan las parciales de c.
- De forma análoga se deduce una expresión para la varianza de .c
31Emilio Letón y Elisa M. Molanes
Parciales de J
( ) ( ) ( ) ( ) ( ) dxxxf1
1cF1cJ
c i2i
1i2i
ii
i
i∫∞+
σ−+
σμ
−=μ∂∂
( ) ( )( )cfcfc
10i
−μ∂∂
+
( ) ( ) ( ) ( ) ( ) dxxxf1
11
cF1cJ 2
c i3i
1i3i
2i
ii
i
i∫∞+
σ−+⎟⎟
⎠
⎞⎜⎜⎝
⎛
σμ
−σ
−=σ∂∂
( ) ( ) ( ) ( )( )cfcfc
dxxxf2
1 10i
c i3i
ii −σ∂∂
+σμ
−+ ∫∞
32Emilio Letón y Elisa M. Molanes
Formas cerradas para las parciales de c
( ) 0ccJ
opt =∂∂
( ) ( ) ( ) 0cc
ccJ
cc
Jopt
iopt2
2
opti
2
=μ∂∂
∂∂
+∂μ∂
∂
( )( )
( )
( ) ( )( ) ( )opt
10
opti
10
opt2
2
opti
2
opti c
cff
cff
ccJ
cc
J
cc
∂−∂μ∂−∂
−=
∂∂
∂μ∂∂
−=
μ∂∂
33Emilio Letón y Elisa M. Molanes
Caso especial (σ0= σ1=σ)
[ ] [ ] [ ]1
2
10
2
0ˆVar
JˆVar
JJVar μ⎥
⎦
⎤⎢⎣
⎡μ∂∂
+μ⎥⎦
⎤⎢⎣
⎡μ∂∂
≈
[ ]σ⎥⎦
⎤⎢⎣
⎡σ∂∂
+ ˆVarJ
2
- Ajustar las parciales de J.
- Ajustar las parciales de c.
34Emilio Letón y Elisa M. Molanes
Modelo bigamma
( )( )
0,0,0x,xe
x,,f iiii
1/x
iiii
ii
>β>α>αΓβ
=βαα
−αβ−
( ) 0p,dxxep 1p
0
x >=Γ −∞ −∫
( ) ( ) ( )dxxfdxxfcJc 0c 1 ∫∫∞∞
−=
- No hay una expresión cerrada para copt.
- No es necesario tener dicha expresión.
- Se puede usar MV.
35Emilio Letón y Elisa M. Molanes
Varianza de J
[ ] [ ] [ ]0
2
00
2
0
ˆVarJ
ˆVarJ
JVar β⎥⎦
⎤⎢⎣
⎡β∂∂
+α⎥⎦
⎤⎢⎣
⎡α∂∂
≈
( )0000
ˆ,ˆCovJJ
2 βα⎥⎦
⎤⎢⎣
⎡β∂∂
⎥⎦
⎤⎢⎣
⎡α∂∂
+
[ ] [ ]1
2
11
2
1
ˆVarJ
ˆVarJ
β⎥⎦
⎤⎢⎣
⎡β∂∂
+α⎥⎦
⎤⎢⎣
⎡α∂∂
+
( )1111
ˆ,ˆCovJJ
2 βα⎥⎦
⎤⎢⎣
⎡β∂∂
⎥⎦
⎤⎢⎣
⎡α∂∂
+
36Emilio Letón y Elisa M. Molanes
Caso especial 1 (α0=α1=α)
[ ] [ ] [ ]0
2
0
2
ˆVarJ
ˆVarJ
JVar β⎥⎦
⎤⎢⎣
⎡β∂∂
+α⎥⎦
⎤⎢⎣
⎡α∂∂
≈
( )00
ˆ,ˆCovJJ
2 βα⎥⎦
⎤⎢⎣
⎡β∂∂
⎥⎦
⎤⎢⎣
⎡α∂∂
+
[ ]1
2
1
ˆVarJ
β⎥⎦
⎤⎢⎣
⎡β∂∂
+
( )1010
ˆ,ˆCovJJ
2 ββ⎥⎦
⎤⎢⎣
⎡β∂∂
⎥⎦
⎤⎢⎣
⎡β∂∂
+
( )11
ˆ,ˆCovJJ
2 βα⎥⎦
⎤⎢⎣
⎡β∂∂
⎥⎦
⎤⎢⎣
⎡α∂∂
+
37Emilio Letón y Elisa M. Molanes
Caso especial 2 (β0=β1=β)
[ ] [ ] [ ]1
2
10
2
0
ˆVarJ
ˆVarJ
JVar α⎥⎦
⎤⎢⎣
⎡α∂∂
+α⎥⎦
⎤⎢⎣
⎡α∂∂
≈
( )βα⎥⎦
⎤⎢⎣
⎡β∂∂
⎥⎦
⎤⎢⎣
⎡α∂∂
+ ˆ,ˆCovJJ
2 00
[ ]β⎥⎦
⎤⎢⎣
⎡β∂∂
+ ˆVarJ
2
( )1010
ˆ,ˆCovJJ
2 αα⎥⎦
⎤⎢⎣
⎡α∂∂
⎥⎦
⎤⎢⎣
⎡α∂∂
+
( )βα⎥⎦
⎤⎢⎣
⎡β∂∂
⎥⎦
⎤⎢⎣
⎡α∂∂
+ ˆ,ˆCovJJ
2 11
38Emilio Letón y Elisa M. Molanes
Verosimilitud empírica ajustada
- Los métodos basados en la verosimilitud son más potentes.
- Los métodos no paramétricos evitan los problemas derivados de la incorrecta especificación de un modelo paramétrico.
- Verosimilitud empírica (EL): combina ambas metodologías.
- Propuesto por Thomas y Grunkemeier (1975) para calcular mejores intervalos de confianza para el estimador de KM.- Las principales ventajas de los IC calculados por EL es que respetan el rango del espacio de parámetros, que son invariantes frente a transformaciones y que su forma es”data-driven” (los datos hablan por sí mismos).
- EL ajustada: método propuesto para estimar cuantiles por Zhou y Jing (2003).
39Emilio Letón y Elisa M. Molanes
Distribución relativa
( ) ( ) ( )( ) ( )( )tFFtXFPrtZPrtR 1011001−=≤=≤=
- Handcock y Morris (1999).- Muy relacionada con el concepto de curva ROC.
( ) ( ) 101 Xdecuantil-sesctcF,scF ⇒==
( ) ( )t1ROC1tR01 −−=0Xedcuantil-tsec
40Emilio Letón y Elisa M. Molanes
( ) ( )t1ROC1tR01 −−=
180º
Distribución relativa vs. curva ROC
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Curva ROC
Linea de referencia
q(c)
p(c)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Distribución relativa
Linea de referencia
q(c)
p(c)
41Emilio Letón y Elisa M. Molanes
Método nuevo
- Basado en EL y bootstrapping.
- Estimación del punto de corte óptimo y del índice de Youdenasociado.
- IC para ambos.
- En primer lugar se calcula el umbral, y luego como valor añadido la estimación de J.
- Cuatro pasos.
42Emilio Letón y Elisa M. Molanes
Paso 1
( ) ( )∑=
⎟⎟⎠
⎞⎜⎜⎝
⎛ −=
10
n
1k 1
k1n0
101 h
XFtG
n1
tR
( ) ( ) dyyKxGx
∫ ∞−=
( ) ttRmaxargt 010 −=
( ) 110 t,tR
43Emilio Letón y Elisa M. Molanes
Paso 2
( ) ( ) ( ) ( )( ) ( )⎟⎟⎠
⎞⎜⎜⎝
⎛
−−
−+=i
ii
i
iii t1
cF1logcF1
tcF
logcFn2cL
- Aplicamos el método de EL ajustado para estimar cuantiles(Zhou y Jing (2003)).
- Estimación del t0-ésimo cuantil de la población sana c0.
- Estimación del t1-ésimo cuantil de la población enferma c1.
( ) ∑=
⎟⎟⎠
⎞⎜⎜⎝
⎛ −=
in
1k i
ik
ii g
XxG
n1
xF
44Emilio Letón y Elisa M. Molanes
Pasos 3 y 4
0cc =
( ) ( )01000 cFcFJ −=
- Remuestras bootstrap.- Método del percentil para los IC.
( ) ( )11101 cFcFJ −=
10 JJ si >
1cc = 10 JJ si ≤
45Emilio Letón y Elisa M. Molanes
Estudio de simulación
- MATLAB.- 1000 ensayos considerados: n0=50, n1=50.- Paso 1: kernel gausiano, parámetros de ventana:
-Paso 2: kernel específico, parámetros de ventana
-B=299 remuestras bootstrap: kernel gausiano, ventana:
( ) { }2/1
ii1x2 ng,1
82133
x8
21921xK −
≤ =⎪⎭
⎪⎬⎫
⎪⎩
⎪⎨⎧ +−
+−
=
{ } 31
11k10_n0k10_n01 nn,...,1k)),X(F(iqr)),X(F(stdmin34.19.0
h −==
{ } 51
00k0k0 nn,...,1k),X(iqr),X(stdmin34.19.0 −=
{ } 31
00k01_n1k01_n10 nn,...,1k)),X(F(iqr)),X(F(stdmin34.19.0
h −==
46Emilio Letón y Elisa M. Molanes
Escenarios
10.38425.65172.76501.6622α2=2.0
19.80209.78474.35652.4828α1=1.5
J=0.9J=0.8J=0.6J=0.4Forma α1
Índice de Youden J
1,5.1 00 =β=α
47Emilio Letón y Elisa M. Molanes
Resultados: c
1.972895.702.711895.400.92.01.425095.502.167396.700.82.0
1.162597.501.493596.200.62.0
1.767195.301.124491.700.42.0
1.972994.002.993094.200.91.5
1.376793.702.427198.300.81.5
0.999893.301.730196.500.61.5
1.174894.301.333589.600.41.5
AnchuraCobertura (%)AnchuraCobertura (%)Jα1
Método deltaELM
48Emilio Letón y Elisa M. Molanes
Resultados: J
0.121590.500.127789.900.92.00.180091.900.183791.500.82.0
0.248593.100.257393.800.62.0
0.280193.100.304594.400.42.0
0.121890.800.122290.400.91.5
0.179392.500.178592.900.81.5
0.244593.900.251994.000.61.5
0.277394.200.298894.500.41.5
AnchuraCobertura (%)AnchuraCobertura (%)Jα1
Método deltaELM
49Emilio Letón y Elisa M. Molanes
Ejemplo
- Le (2006).- 53 pacientes con cáncer de próstata: 20 con nódulos infectados y 33 sin nódulos infectados.- Biomarcador: nivel de “acid phosphatase” en sangre (x100).
Con nódulos infectados:48, 49, 51, 56, 67, 67, 67, 70, 70, 72, 76, 78, 81, 82, 82, 84, 89, 99, 126, 136.Sin nodos infectados:40, 40, 46, 47, 48, 48, 49, 49, 50, 50, 50, 50, 50, 52, 52, 55, 55, 56, 59, 62, 62, 63, 65, 66, 71, 75, 76, 78, 83, 95, 98, 102, 187.
50Emilio Letón y Elisa M. Molanes
Resultados (1/2)
51Emilio Letón y Elisa M. Molanes
Resultados (2/2)
- Nuestro método (sin asunciones paramétricas):Umbral=60.67, IC95%=(51.40, 67.50).
- Método delta:No aplicable.
- Le (Alternativas de Lehmann):Umbral=75.00.
52Emilio Letón y Elisa M. Molanes
Conclusiones
- El nuevo IC tiene buen comportamiento en términos de la cobertura y de la anchura.
- Competitivo con el método delta.
- No requiere de asunciones paramétricas.
- Mayor coste computacional en términos de tiempo que el método delta.
53Emilio Letón y Elisa M. Molanes
Trabajo futuro (1/2)
- LOD: límite de detección.
- Datos concentrados en torno a un valor (“spiked data”).
- Muestras combinadas.
- Covariables.
54Emilio Letón y Elisa M. Molanes
Trabajo futuro (2/2)
-10 -8 -6 -4 -2 0 2 4 6 8 100
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
f1 f1
f0
55Emilio Letón y Elisa M. Molanes
Referencias
- Le, C.T. A solution for the most basic optimization problem associated with an ROC curve. Statistical Methods in Medical Research 2006, 15, 571-584.- Letón, E.; Molanes, E.M. Statistics and Econometrics Series 2009, 07, Working Paper 09-19.- Pepe, M.S. The statistical evaluation of medical tests for classification and prediction. Oxford University Press, New York, 2003.- Schisterman, E.F.; Perkins, N.J. Confidence intervals for the Youden index and corresponding optimal cut-point. Communications in Statistics – Simulation and Computation 2007, 36, 549-563.