Fundamentos de Econometría

El estimador MCO

José Mendoza Sánchez

INFOX

Sesión 2
1 Supuestos del estimador MCO

2 Derivando el Estimador de Mínimos Cuadrados Ordinarios

Método Generalizado de Momentos
Derivadas parciales
Solución matricial

3 Relación entre estimadores, residuos, valores ajustados y valores

observados

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 2 2 / 20

El estimador MCO
En esta sesión presentaremos el método de mínimos cuadrados ordinarios el cuál
producirá estimadores bajo ciertas condicione. Veamos los supuestos claves detrás de
este método.
Sea la muestra aleatoria de , X , e Y :

 = (1 , . . . , N )T

X = (X1 , . . . , XN )T
Y = (Y1 , . . . , YN )T
Consideramos cuatro supuestos claves para estimador por MCO:
1 El Proceso Generador de Datos (o Data Generator Process, DGP), en
otras palabras, la población, puede ser descrito como un modelo lineal.
2 El término de error, , tiene un valor esperado de cero, dado cualquier
valor de la variable independiente.
3 El término de error, , tiene la misma varianza dado cualquier valor de
la variable independiente (esto es, es heterocedástico). Y, los términos
de error no están correlacionados entre observations (esto es, no hay
autocorrelación)
4 Los residuos son normales (Es una condición opcional). logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 2 3 / 20

Supuesto 1

Un modelo lineal puede seguir el siguiente proceso:

Y = β0 + β1 X + 

Otros ejemplos de modelos lineales también pueden ser:

1
log(Y ) = β0 + β1 +  −→ U = β0 + β1 V + 
X
1
Si U = log(Y ) y V = . En un modelo lineal,  e Y son siempre
X
dependientes, por lo que Cov (Y , ) 6= 0. Sin embargo,  puede o no
depender de X .

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 2 4 / 20

Supuesto 2
Este supuesto significa que para cualquier observación de Xj , los errores,
j , son en promedio cero:

E (j |Xj ) = 0, ∀i, j = 1, . . . , N

Esto también implica que E (i Xj ) = 0 y E (i ) = E (E (i |Xj )) = 0. Vemos

que si Xj y i son variables aleatorias con E (i ) = 0, ∀i, j = 1, . . . , N,
entonces:
E (Yi |Xi ) = β0 + β1 Xi
En cambio, si no se cumple esta condición, se tendría que Cov (Xi , i ) 6= 0
por lo que:

Cov (Xi , i ) = E [(Xi − E (Xi ))(i − E (i ))] = E [(Xi − E (Xi ))i ]

E [(Xi − E (Xi ))E (i |Xi )] 6= 0

Si es que
E (j |Xj ) 6= 0 logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 2 5 / 20

Supuesto 3
El supuesto de heterocedasticidad se presenta como:

Var (i |X ) = σ2 , i = 1, . . . , N

Mientras que el no autocorrelación:

Cov (i , j ) = 0, i 6= j

Estos supuestos implican que la matriz de varianza-covarianza de un vector

de perturbaciones,  es una matriz unitaria multiplicada por una constante:

Var (|X ) = σ2 I

Esto significa que las perturbaciones i y j son independientes ∀i 6= j e

independiente de X :

Cov (i , j |X ) = E (i j |X ) = 0, ∀i 6= j

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 2 6 / 20

Podemos combinar los supuestos y presentarlo de la siguiente manera:

El Proceso Generador de Datos Y = β0 + β1 X +  satisface el supuesto 2

y 3 si (condicional a todos los X ):
E (i ) = 0
Var (i ) = 2
Cov (i , j ) = 0, ∀i 6= j y
Cov (i , Xj ) = E (i Xj ) = 0, ∀i, j

La relación lineal Y = β0 + β1 X +  es también conocida como ajuste

lineal en donde β0 representa el intercepto y β1 la pendiente.
Los valores verdaderos de β0 y β1 son desconocidos. La regresión solo
estima un valor aproximado de estos a partir de la muestra de datos que se
tiene. Los estimadores de β0 y β1 se conocen como βˆ0 y βˆ1 .

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 2 7 / 20

Derivando el Estimador de Mínimos Cuadrados Ordinarios

La muestra aleatoria de (X1 , Y1 ), . . . , (XN , YN ) proviene del proceso

generador de datos Y = β0 + β1 X +  que puede ser rescrito como:

Yi = β0 + β1 Xi + i , i = 1, . . . , N

Queremos usar los datos para obtener los estimadores del intercepto, β0 , y
la pendiente, β1 . Para obtener esto repasaremos distintos métodos de
derivación (asumiendo los primeros tres supuestos):
1 Mediante el método generalizado de momentos
2 Mediante derivadas parciales
3 Usando matrices

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 2 8 / 20

Método generalizado de momentos

Usando la segunda propiedad se obtiene que:

Cov (, X ) = E (X ) − E ()E (X ) = E (X ) = 0. Adicionalmente, se sabe
que E () = 0. Se obtiene las siguientes relaciones:

E () = 0

E (X ) = 0
 = Y − β0 − β1 X
Esto puede ser reescrito como:

E (Y − β0 − β1 X ) = 0

E [X (Y − β0 − β1 X )] = 0

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 2 9 / 20

Entonces, se tiene dos parámetros desconocidos, β0 y β1 , y dos ecuaciones
que serán usadas para obtenerlos.
Regresando a muestra aleatoria, se puede estimar los parámetros
desconocidos reemplazando la esperanza con su contraparte muestral.
Entonces, queremos buscar los parámetros tal que:
N 
1 X

ˆ ˆ
Yi − β0 − β1 Xi = 0
N i=1
N 
1 X

Xi (Yi − βˆ0 − βˆ1 Xi ) = 0
N i=1
Este es un ejemplo del método de momentos. Ahora establecemos que:
N
1 X
Ȳ = Yi
N i=1
N
1 X
X̄ = Xi
N i=1 logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 2 10 / 20

A partir de esto se puede reescribir las ecuación previa de la siguiente
manera:
βˆ0 = Ȳ − βˆ1 X̄
Se puede reemplazar esta ecuación en la segunda ecuación:
N
Xi (Yi − Ȳi + βˆ1 X̄ − βˆ1 Xi ) = 0
X

i=1

N N
Xi (Yi − Ȳ ) = βˆ1
X X
Xi (Xi − X̄ )
i=1 i=1

Lo que resulta en:

N
Xi (Yi − Ȳ )
P
βˆ1 = Pi=1
N
i=1 Xi (Xi − X̄ )

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 2 11 / 20

Considerando las siguientes igualdades:
N
X N
X
Xi (Xi − X̄ ) = (Xi − X̄ )2
i=1 i=1

N
X N
X
Xi (Yi − Ȳ ) = (Xi − X̄ )(Yi − Ȳ )
i=1 i=1

Se obtiene el siguiente resultado:

PN ˆ (X , Y )
i=1 (Xi − X̄ )(Yi − Ȳ ) Cov
βˆ1 = PN =
i=1 (Xi − X̄ )
2 ˆ (X )
Var

Bajo esta construcción:

El promedio de los residuos de la muestra por MCO es siempre cero.
Los residuos no se correlacionan con X.
Luego, reemplazando βˆ1 podemos obtener βˆ0 . logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 2 12 / 20

MCO, mediante derivadas parciales
Supongamos que debemos encontrar βˆ0 y βˆ1 que minimizan la suma de
residuos cuadrados (o sum of squared residuals, RSS):

N N  2
Yi − βˆ0 − βˆ1 Xi
X X
2
RSS = ˆi =
i=1 i=1

Los estimadores por mínimos cuadrados ordinarios minimizan esta suma de

cuadrados. Para obtener los estimadores debemos derivar parcialmente con
respecto a cada parámetro:

N
∂RSS
 
Yi − βˆ0 − βˆ1 Xi
X
= −2 =0
∂ βˆ0 i=1

N
∂RSS
 
Xi Yi − βˆ0 − βˆ1 Xi
X
= −2 =0
∂ βˆ1 i=1
logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 2 13 / 20

 −1
Si multiplicamos ambas ecuaciones por se obtienen las mismas
2
ecuaciones presentadas por el método de momentos generalizado. Por
esto, la solución es exactamente igual a la anterior:
PN
ˆ (X , Y )
i=1 (Xi − X̄ )(Yi − Ȳ ) Cov
βˆ1 = PN =
i=1 (Xi − X̄ )
2 ˆ (X )
Var

βˆ0 = Ȳ − βˆ1 X̄
Estos son los estimadores por MCO.

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 2 14 / 20

Solución Matricial
Veamos las siguientes ecuaciones de muestra aleatoria:


 Y1 = β0 + β1 X1 + 1

Y2 = β0 + β1 X2 + 2


..



 .

YN = β0 + β1 XN + N


Estas se pueden reescribir de la siguiente manera:

     
Y1 1 X1 
" #  1
 2  1
Y X2   2 
  
 β0
 .  = . ..  +  . 
 .  .  . 
 .  . .  β1  . 

YN 1 XN N
O de forma más compacta:

Y = Xβ +  logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 2 15 / 20

Como en el caso previo podemos obtener los estimadores a partir minimizar
los residuos cuadrados. Definimos la suma de residuos cuadrados como:

RSS(β) = T 

RSS(β) = (Y − X β)T (Y − X β)
RSS(β) = Y T Y − β T X T Y − Y T X β + β T X T X β
Para encontrar el vector de estimadores debemos minimizar el RSS con
respecto a los parámetros:

RSS(β̂)
= −2X T Y + 2X T X β̂ = 0
β̂
Obteniendo el estimador por MCO:
 
β̂ = X T X X T Y

Bajo esta método se obtienen todos los parámetros a la misma vez, en vez
logoinfox.png
de hacerlo uno por uno como en el caso previo.
José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 2 16 / 20
Sigamos describiendo el vector de estimadores:
 
1 X1
" #  " #
1 1 X2 
PN
T 1 1 ...  N i=1 Xi
X X= ..  = PN X
..  PN 2
X1 X2 . . . XN 
. .  i=1 i i=1 Xi
1 XN

−1 "P
N 2 PN #
1 −

T i=1 Xi i=1 Xi
X X = 2 N
−
P
i=1 Xi N

PN 2 PN
N i=1 Xi − i=1 Xi

" P #
N
T Yi
X Y = PNi=1
i=1 Xi Yi

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 2 17 / 20

Por lo que obtendríamos:
 −1
T
X X XTY =

  
1 PN 1 PN 1 PN 1 PN
     
N X2 N Yi − N Xi N Xi Yi
 N i=1 i N i=1 N i=1 N i=1 

 2 
1 PN 2 − N 2 1 PN X
    
 N2 X i

N i=1 i N  i=1
 
 
1 PN 1 PN 1 PN
   

N 2 Xi Yi − N Xi N Yi

N i=1 N i=1 N i=1
 
 
 
2
1 PN 1 PN
    

N 2 2
X −N 2 Xi

N i=1 i N i=1

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 2 18 / 20

Luego de seguir operando esta última matriz obtenemos:

¯
 
X̄ 2 .Ȳ − X̄ .XY
" # 
βˆ0 Varˆ(X )

 
β̂ = ˆ = 

ˆ

β1  Cov (X , Y ) 


Varˆ(X )
En este caso, se obtiene una expresión exacta para βˆ0 sin necesidad de
reemplazar β1

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 2 19 / 20

Luego de obtener los estimadores, βˆ0 y βˆ1 , es posible examinar algunos
valores adicionales:
Valores estimados de Y (fitted values), Ŷ , definido por la siguiente
ecuación:
Ŷ = βˆ0 + βˆ1 Xi
Es decir, tomamos los valores de los estimadores y se multiplican por
los valores observados de las variables independientes.
Valores estimados de , definido por la siguiente ecuación:

ˆ = Yi − Ŷi = Yi − βˆ0 − βˆ1 Xi

logoinfox.png

José Mendoza Sánchez (INFOX) Fundamentos de Econometría Sesión 2 20 / 20