Máxima verosimilitud

¿Logit o probit?

1
 Logit o probit
• En el caso de dependientes dicotómicas, tanto logit como probit proporcionan modelos
estadísticos que dan la probabilidad de que una variable de respuesta dependiente sea 0 o 1.
• Son muy similares y a menudo dan resultados prácticamente idénticos. Debido a que usan
diferentes funciones para calcular las probabilidades, sus resultados son ligeramente
diferentes.
• Logit (regresión logística) se usa mucho en investigaciones del sector salud (por ejemplo
epidemiología), en parte porque los coeficientes pueden interpretarse en términos de “odds
ratios” –OR- (*).
• El “odds ratio” expresa si la probabilidad de ocurrencia de un evento o enfermedad (caso/no
caso) difiere o no en distintos grupos, por lo general catalogados de alto o bajo riesgo o también
con relación a su calificación en una encuesta: resultado positivo/resultado negativo.
• Por ejemplo, en un estudio que delimitó factores relacionados con la automedicación (se
automedica /no se automedica) y los factores enlistados como variables de riesgo (p. ej.,
Aconsejar tomar medicamentos: Sí/No); algunos de esos factores obtuvieron OR elevados,
pudiendo de esa forma saberse qué factores de riesgo son más relevantes que otros.
(*) [Link] 2
 Logit o probit
• Una regresión logística será muy útil
• Para evaluar la decisión de trabajar o no trabajar en determinada población
• Para evaluar la propensión de los clientes a contestar un correo.
• Para medir el riesgo de que un cliente no devuelva un préstamo en un banco
• Para modelar el efecto de dosis de medicamentos en pacientes
• Para modelar dosis de componentes químicos en agricultura
• Los modelos probit pueden generalizarse para tener en cuenta las variaciones
de error no constantes en entornos econométricos más avanzados (conocidos
como modelos probit heteroscedásticos). Son utilizados en algunos contextos
por economistas y politólogos.
• Sin embargo, las diferencias en los resultados son insignificantes, en relación a
la utilidad de esos resultados obtenidos, por lo que las diferencias entre ambos
enfoques pasa desapercibida.
(*) [Link] 3
 Logit o probit
• En la mayoría de los escenarios, los modelos logit y probit se ajustan igualmente bien
a los datos, con las siguientes dos excepciones (*):
• Logit es definitivamente mejor en el caso de "variables independientes extremas" . Estas
son variables independientes donde un valor particularmente grande o pequeño
determinará abrumadoramente si la variable dependiente es un 0 o un 1:
• Probit es mejor en el caso de "modelos de efectos aleatorios" con tamaños de muestra
moderados o grandes (es igual a logit para tamaños de muestra pequeños).
• Para los modelos de efectos fijos, probit y logit son igualmente buenos.
• Algunos analistas recomiendan usar siempre modelos probit, excepto en el caso de
variables independientes extremas, en cuyo caso se debe elegir logit (Las variables
independientes extremas no son tan comunes y deberían ser bastante fáciles de
reconocer).
4
(*) [Link]
 Logit o probit
• Una de las diferencias más conocidas entre logit y probit es la
distribución de residuos de regresión (teórica): normal para probit,
logística para logit

5
(*) [Link]
 Logit o probit
Problema con el MPL:
• Modela la probabilidad de que Y = 1 por medio de una funci´on lineal:
Pr (Y = 1|X ) = β1 + β2 X
• Supone que la probabilidad aumenta linealmente con X, es decir, el efecto marginal o
incremental de X permanece constante todo el tiempo (se refiere a β2 )

Alternativa:
• Necesidad de una función de distribución acumulada, que garantice que para cualquier valor
de los parámetros y de la exógena, defina probabilidades con valores en el intervalo [0,1]:
o Pr (Y = 1|X ) sea creciente en X para β2 > 0
o 0 ≤ Pr (Y = 1|X ) ≤ 1 para todos los valores de X

Posibilidad: Usar una función de distribución acumulada con forma de ”S”

6
 Función de distribución acumulada

(*) Ver Gujarati, 5ta. Edición ([Link] 7

 Función de distribución acumulada Área=

La tabla da la distribución normal estándar da la probabilidad acumulada de − ∞ al valor de z indicado. Así para z = 0, la
8
probabilidad dada en la tabla es para P(Z 0) = 0.5, y para z = − 1.96 la probabilidad es P(Z − 1.96) = 0.025
 Modelo Probit
• Probit modela la probabilidad de Y = 1 usando la función de distribución acumulada de una
distribución normal estándar: Φ(z ), evaluada en .

• El modelo Probit puede ser expresado como:

Donde:
- Φ(.) es la función de densidad normal acumulada
- , es el z−valor o z−índex de un modelo probit.

• Ejemplo: S i


Pr (Y = 1|X =0.4) = ´área bajo la función de densidad a la izquierda de z = −0.8
P(Z − 0.8) = 0.2119. (En la tabla de color verde).
9
 Funciones de probabilidad (Gujarati)

(*) Ver Gujarati, 5ta. Edición ([Link] 10

Logit
• La regresión logística se utiliza para determinar la probabilidad de un
evento, el cual se captura en formato binario, es decir, 0 o 1, o en
formato de respuesta múltiple
• Ejemplo: Se busca determinar si un cliente comprará determinado producto o no.
• Para evaluar ello, se ejecutaría una regresión logística en los datos y la variable
dependiente sería una variable binaria (1 = Sí compra; 0 = No compra), o una
múltilple .
• En términos de representación gráfica:
• La regresión lineal proporciona un gráfico lineal como salida, una vez que los
valores se trazan en el gráfico.
• La regresión logística proporciona una línea en forma de S

11
 Modelo Logit
• El modelo Logit modela la probabilidad de Y = 1 dado X, como la función de distribución
acumulada para una función de distribución logística, evaluada en .

• El modelo Logit puede ser expresado como:

Donde
- F es la función de distribución acumulada para una logística:

• Ejemplo: S i

P(Z 0.1) = 0.2119 12

Logit
• Dado que

• ;o
• A medida que se encuentra dentro de un rango de −∞ a +∞, se
encuentra dentro de un rango de 0 a 1

13
 OBS GPA TUCE PSI GRADE LETTER

Logit (Gujarati) 1
2
3
4
2.66
2.89
3.28
2.92
20
22
24
12
0
0
0
0
0
0
0
0
C
B
B
B
5 4 21 0 1 A
6 2.86 17 0 0 B
Datos sobre el efecto de un sistema personalizado de 7
8
2.76
2.87
17
21
0
0
0
0
B
B
instrucción (PSI) en las calificaciones del curso 9
10
3.03
3.92
25
29
0
0
0
1
C
A
- GRADE: Calificación final obtenida por un estudiante en un curso 11
12
2.63
3.32
20
23
0
0
0
0
C
B
13 3.57 23 0 0 B
intermedio de microeconomía (Variable endógena “Y”) 14
15
3.26
3.53
25
26
0
0
1
0
A
B
o GRADE = 1 si la calificación es obtenida es A 16 2.74 19 0 0 B
17 2.75 25 0 0 C
o GRADE = 0 si la calificación es obtenida es diferente de A 18 2.83 19 0 0 C
19 3.12 23 1 0 B
- LETTER = Calificación obtenida (A, B, C) 20
21
3.16
2.06
25
22
1
1
1
0
A
C
Variables exógenas: 22
23
3.62
2.89
28
14
1
1
1
0
A
C
24 3.51 26 1 0 B
- GPA: Promedio de notas de entrada 25 3.54 24 1 1 A
26 2.83 27 1 1 A
- TUCE: Puntuación en un examen de principio del curso para 27
28
3.39
2.67
17
24
1
1
1
0
A
B
evaluar los conocimientos de macroeconomía de los alumnos 29
30
3.65
4
21
23
1
1
1
1
A
A
- PSI: Aplicación del sistema personal de instrucción; donde: 31
32
3.1
2.39
21
19
1
1
0
1
C
A
o PSI = 1 si se utiliza el nuevo método
o PSI = 0 si no se utiliza el nuevo método
(*) Ver Gujarati, 5ta. Edición ([Link] 14
 Logit (Gujarati)
• Cargamos los datos en Eviews y efectuamos la regresión logit

15
(*) Ver Gujarati, 5ta. Edición ([Link]
 Logit (Gujarati)
• Como se emplea el método de máxima
verosimilitud, los errores estándar estimados
son asintóticos.
• En vez del estadístico t para evaluar la
importancia estadística de un coeficiente, se
emplea el estadístico (normal estandarizado)
Z, por lo que las inferencias se basan en la
tabla normal
• (si el tamaño de la muestra es
razonablemente grande, la distribución t
converge a la distribución normal).
• La medida convencional de la bondad de
ajuste, , no es significativa en la regresión
binaria.
• Se evalúan
16
(*) Ver Gujarati, 5ta. Edición ([Link]
 Logit (Gujarati)
• Se evalúan

a) “ McFadden”: Aunque el índice R2 es un

concepto más familiar por el MCO, no se
comporta bien en la estimación de
modelos logísticos.

• En el “ McFadden” sus valores tienden a

ser considerablemente más bajos que los
del índice .
• Por ejemplo, los valores de 0.2 a 0.4
representan un ajuste EXCELENTE.

17
(*) Ver Gujarati, 5ta. Edición ([Link]
 Logit (Gujarati)
• Se evalúan
b) Cuenta =

• Como la endógena en el modelo logit toma

el valor de 1 o de 0, si la probabilidad
pronosticada es mayor que 0.5, se clasifica
como si fuese 1, pero si es menor que 0.5,
se considera 0.
• Una predicción se considera correcta si el
valor del error estimado es:

• De esa forma se obtiene el número de

predicciones correctas y se calcula Cuenta
18
(*) Ver Gujarati, 5ta. Edición ([Link]
 Logit (Gujarati)
• Se evalúan
b) Cuenta =

• Procedimiento en Eviews: En los resultados de la regresión:

• Se genera la serie error ():
Proc/Make residual series
• Se genera Y estimado ()
Forecast.... GRADEF
• Se verifica que
• Si :  es una predicción correcta: 26 correctas
• Si :  No es una predicción correcta: 6 erradas
• Porcentaje de error: (6/32)*100=18.75%
• Cuenta =

19
(*) Ver Gujarati, 5ta. Edición ([Link]
 Logit (Gujarati) 1.85DW2.15

1.75DW2.25
• Se evalúan
b) Cuenta =

• Procedimiento en Eviews: En los resultados de la regresión:

• Se genera la serie error ():
Proc/Make residual series
• Se genera Y estimado ()
Forecast
• Se verifica que
• Si :  es una predicción correcta: 29 correctas
• Si :  No es una predicción correcta: 3 erradas
• Porcentaje de error: (3/32)*100=9.37%
• Cuenta =90625

20
(*) Ver Gujarati, 5ta. Edición ([Link]
 Logit (Gujarati)
• Pcentaje de error
• En los resultados de la regresión logit:
• View/Expectation-prediction evaluation

21
(*) Ver Gujarati, 5ta. Edición ([Link]
 Logit (Gujarati)
• No obstante lo anterior, el (la bondad
del ajuste) tiene importancia
secundaria.
• Lo que mas importa son los signos
esperados de los coeficientes de la
regresión.
• A fin de probar la hipótesis nula
respecto de que todos los coeficientes
de pendiente son simultáneamente
iguales a cero, el equivalente de la
prueba F en el modelo de regresión
lineal es el estadístico de la razón de
verosimilitud (RV).
22
Gujarati, Econometría 5ta edición (2010)
 Logit (Gujarati)
Lectura de resultados
• No se evalúa la significancia
individual de la variables
• Se evalúa la significancia conjunta, es
decir la razón de verosimilitud, el
cual en este caso es
estadísticamente significativa al 10%,
5% y 1%

23
Gujarati, Econometría 5ta edición (2010)
 Logit (Gujarati)
• Cada coeficiente de las variables en MV
son coeficientes de pendiente parcial y
miden el cambio en el logit estimado
correspondiente a una unidad de cambio
del valor de la endógena dada (con las
demás regresoras constantes).
• El coeficiente del GPA igual a 2.8261 significa
que, mientras las demás variables se
mantengan constantes, si el GPA se
incrementa en una unidad, en promedio el
logit estimado aumenta casi 2.83 unidades, lo
cual indica una relación positiva entre ambos.
• Todos los demás regresores tienen un efecto
positivo en el logit, a pesar de que en
términos estadísticos el efecto de TUCE no es
importante.
24
Gujarati, Econometría 5ta edición (2010)
 Logit (Gujarati)
El modelo logit

• Estimation Command:
BINARY(D=L) GRADE C GPA TUCE PSI

• Estimation Equation:
I_GRADE = C(1) + C(2)*GPA + C(3)*TUCE + C(4)*PSI

• Forecasting Equation:
GRADE = 1-@CLOGISTIC(-(C(1) + C(2)*GPA +
C(3)*TUCE + C(4)*PSI))

• Substituted Coefficients:
GRADE = 1-@CLOGISTIC(-(-13.0213468581 +
2.82611259489*GPA + 0.0951576613179*TUCE +
2.37868765509*PSI))
25
Gujarati, Econometría 5ta edición (2010)
 OBS GPA TUCE PSI GRADE LETTER

Logit (Gujarati) 1
2
3
2.66
2.89
3.28
20
22
24
0
0
0
0
0
0
C
B
B
• Calculando la probabilidad real para el estudiante 10 4
5
2.92
4
12
21
0
0
0
1
B
A
6 2.86 17 0 0 B
• Forma 1: Con el modelo 7 2.76 17 0 0 B
8 2.87 21 0 0 B
9 3.03 25 0 0 C
10 3.92 29 0 1 A
• 0) 11 2.63 20 0 0 C
12 3.32 23 0 0 B
13 3.57 23 0 0 B
14 3.26 25 0 1 A
15 3.53 26 0 0 B
• Forma 2: Con Y estimado (que es una probabilidad) 16 2.74 19 0 0 B
17 2.75 25 0 0 C
18 2.83 19 0 0 C
19 3.12 23 1 0 B
20 3.16 25 1 1 A
21 2.06 22 1 0 C
22 3.62 28 1 1 A
23 2.89 14 1 0 C
24 3.51 26 1 0 B
25 3.54 24 1 1 A
26 2.83 27 1 1 A
27 3.39 17 1 1 A
28 2.67 24 1 0 B
29 3.65 21 1 1 A
30 4 23 1 1 A
31 3.1 21 1 0 C
32 2.39 19 1 26 1 A
Gujarati, Econometría 5ta edición (2010)
 Efecto marginal
• El efecto marginal de una variable explicativa Xj sobre la variable explicada Y es un
concepto económico que expresa la relación entre variaciones absolutas de Y ante
variaciones absolutas de Xj.
• En concreto, expresa la variación media que experimenta la variable dependiente Y
cuando se incrementa en 1 unidad el valor de la variable explicativa Xj,
manteniendo constantes las demás variables explicativas que pueda haber en el
modelo
• Es decir: Efecto marginal=.
• Por ello, el efecto marginal coincide con el significado de los coeficientes de
regresión en el caso de un modelo de regresión lineal.
• En otros tipos de modelos los coeficientes de regresión no van a coincidir con
este concepto.

27
 Efecto marginal
• Efecto marginal de un cambio unitario en el valor de una regresora
• En el modelo de regresión lineal, el coeficiente de la pendiente mide el cambio en
el valor promedio de la regresada, debido a una unidad de cambio en el valor de la
regresora, con las demás variables constantes.
• En el MLP, el coeficiente de la pendiente mide directamente el cambio en la
probabilidad de que ocurra un evento, como resultado de una unidad de cambio en
el valor de la regresora, con un efecto constante de todas las demás variables.
• En el modelo logit, el coeficiente de la pendiente de una variable indica el cambio
en el logaritmo de las posibilidades en favor de que ocurra un evento asociadas a
una unidad de cambio en esa variable (con todas las demás variables constantes).

28
 Efecto marginal
• Pero, la tasa de cambio en la probabilidad de que ocurra un suceso está dada por:

• Donde es el coeficiente (de regresión parcial) de la j-ésima regresora.

• Pero al evaluar Pi, participan todas las variables incluidas en el análisis.

• Por tanto, en los modelos logit todas las regresoras intervienen en el cálculo de los
cambios en la probabilidad, en tanto que en el MLP sólo participa la j-ésima regresora.
• Esta diferencia explica en parte la popularidad del modelo MPL.

29
 Efecto marginal
Para los modelos logit tenemos una interpretación de los coeficientes.

•Notar que:
•Esto se conoce como el ratio de odds (odds ratio) y mide cuan probable es un evento
en proporción a cuan probable es otro.
•Aplicando logaritmos:

Entonces aplicamos derivada

de primer orden y despejar j:

Los coeficientes se interpretan como el efecto porcentual sobre el ratio de odds (semi-
elasticidad).

30
Odds y ratio odds
• El estadístico odds mide el cociente de probabilidades para una observación i de
elegir la opción 1 frente a la opción 0; es decir

• Si lo que se quiere es comparar la utilidad que la opción elegida proporciona al

individuo (observación) i, con respecto a la utilidad percibida por el individuo
(observación) m, entonces se define el cociente o ratio odds:

• De este modo, si la ratio odds es:

• mayor que 1: la utilidad para el individuo i es mayor que para el individuo m
• menor que 1: la utilidad para el individuo i es menor que para el individuo m
• igual a 1: la utilidad para ambos individuos, i y m, es la misma.

31
Calculando el efecto marginal
El efecto marginal (EM) en Logit se define como:

• Donde:
• es el valor de la probabilidad de la variable que estamos calculando
• es el coeficiente de la variable explicativa que se está modificando

• Para calcular el valor de necesitamos calcular el valor del logit que es:

• Como los valores de no son únicos sino son diferentes para cada observación,
entonces calcularemos los promedios de cada , que en el caso de la prueba que
estamos haciendo sería calcular los promedios de las 3 explicativas:
• Promedios de GPA, TUCE y PSI
32
 Calculando el efecto marginal
• Calculando promedios (en comandos Eviews):
scalar prom_gpa=@mean(gpa)
scalar prom_tuce=@mean(tuce)
scalar prom_psi=@mean(psi)

• Calculando Z (en comando Eviews):

scalar Z=C(1) + C(2)*prom_gpa + C(3)*prom_tuce + C(4)*prom_psi

33
Calculando el efecto marginal
• Calculando la probabilidad de la variable dependiente:
scalar P=1/(1+@exp(-Z))

La probabilidad que alguien del grupo de evaluación, por influencia de las explicativas (tomando
como referencia sus promedios), saque A, es de 25.28%

• Calculando el efecto marginal (EM) de las explicativas

En comando Eviews sería: EM=P*(1-P)*C(Xi)

34
Calculando el efecto marginal
Calculando el efecto marginal EM de la explicativa GPA:
scalar EM_gpa=P*(1-P)*C(2)
• El promedio de notas de entrada tiene un efecto sobre la probabilidad de
obtener un A, que se estima 53.38%
Calculando el efecto marginal EM de la explicativa TUCE
scalar EM_tuce=P*(1-P)*C(3)
• La puntuación en un examen de principio del curso para evaluar los
conocimientos de macroeconomía de los alumnos tiene un efecto sobre la
probabilidad de obtener un A, que se estima 1.79%
Calculando el efecto marginal EM de la explicativa PSI
scalar EM_psi=P*(1-P)*C(4)
• La aplicación del sistema personal de instrucción tiene un efecto
sobre la probabilidad de obtener un A, que se estima 44.93%
35