Mı́nimos Cuadrados Ordinarios

1 Derivación de Estimadores
Teniendo en cuenta que, Yi = ˆ1 + ˆ2 Xi + ûi , despejando ui se obtiene
ûi = Yi ˆ1 ˆ2 Xi , que representa los residuos estimados. El objetivo del
método es minimizar tales residuos. Sin embargo, como la suma de los ûi da
la misma ponderación tanto a las observaciones que están alejadas de la recta
de regresión como a las cercanas y, los residuos positivos y negativos podrı́an
cancelarse, se opta por minimizar la suma de los û2i . Está última modificación
permite que a aquellas observaciones que se desvı́an en mayor magnitud de los
valores estimados, Yi , se les de más peso, y adicionalmente, no permite que
los residuos de signos diferentes se cancelen, pues están elevados al cuadrado.
Siendo ası́, el problemá serı́a como sigue:
n
X n
X
minimizar û2i = (Yi ˆ1 ˆ2 Xi )2
i=1 i=1

Por cual, haciendo uso del cálculo diferencial, se procede a resolver:

n n
@ X 2 @ X 2
ûi = 0 y ûi = 0
@ ˆ1i=1 @ ˆ2 i=1

Lo que significa que

n
@ X ˆ1 ˆ2 Xi )2 = 0
(Yi
@ ˆ1 i=1

y
n
@ X ˆ1 ˆ2 Xi )2 = 0
(Yi
@ ˆ2 i=1

Por lo tanto,
n n
@ X ˆ1 ˆ2 Xi )2 =
X
ˆ1 ˆ2 Xi ) = 0
(Yi 2 (Yi
@ ˆ1 i=1 i=1

1
 n n
@ X ˆ1 ˆ2 Xi )2 =
X
ˆ1 ˆ2 Xi ) = 0
(Yi 2Xi (Yi
@ ˆ2 i=1 i=1

Y ası́ surgen las conocidas ecuaciones normales:

n
X
(1) (Yi ˆ1 ˆ2 Xi ) = 0
i=1
n
X
(2) (Yi ˆ1 ˆ2 Xi )Xi = 0
i=1

De (1) se tiene:
n
X n
X n
X n
X
(Yi ˆ1 ˆ2 Xi ) = Yi ˆ1 ˆ2 Xi = 0
i=1 i=1 i=1 i=1
n
X n
X n
X n
X
Yi n ˆ1 ˆ2 Xi = 0 ) n ˆ1 = Yi ˆ2 Xi
i=1 i=1 i=1 i=1

y de acá es simple ver que

X n n
X
ˆ1 = 1 Yi ˆ2 1 Xi
n i=1 n i=1

por lo tanto el estimador de 1 es

ˆ1 = Ȳi ˆ2 X̄i

por otro lado, de (2) se tiene que

n
X n
X n
X n
X
(Yi ˆ1 ˆ2 Xi )Xi = Y i Xi ˆ1 Xi ˆ2 X 2 = 0
i
i=1 i=1 i=1 i=1
n
X n
X n
X
) Yi Xi ˆ1 Xi ˆ2 Xi2 = 0
i=1 i=1 i=1

sustituyendo la expresión de ˆ1 encontrado en (1):

n
X n n n n
1X ˆ2 X X
ˆ2
X
Yi Xi ( Yi Xi ) Xi Xi2 = 0
i=1
n i=1 n i=1 i=1 i=1
n
X n n n n n
1X X ˆ2 X X
ˆ2
X
Yi Xi Yi Xi + Xi Xi Xi2 = 0
i=1
n i=1 i=1 n i=1 i=1 i=1
n
X n
X n
X ˆ2 n
X n
X
1 ˆ2
Y i Xi Yi Xi + ( Xi ) 2 Xi2 = 0
i=1
n i=1 i=1
n i=1 i=1

2
 n
X n n n n
1X X 1 X X
Y i Xi Yi Xi + ˆ2 [ ( Xi ) 2 Xi2 ] = 0
i=1
n i=1 i=1 n i=1 i=1
n
X n
X n
X n
X n
X
ˆ2 [ 1 ( Xi ) 2 Xi2 ] =
1
Yi Xi Y i Xi
n i=1 i=1
n i=1 i=1 i=1
1
Pn Pn Pn
ˆ2 = i=1 Yi i=1 Xi Yi Xi
n
1
P n Pn i=1 2
2
n( i=1 Xi )
i=1 Xi
1
P n P n Pn
ˆ2 = n ( i=1 Yi i=1 Xi n i=1 Yi Xi )
Pn Pn
1
n( i=1 Xi )
2 n i=1 Xi2 )

entonces, el estimador de ˆ2 es
Pn Pn Pn
Y X n YX
ˆ2 = i=1 Pni i=12 i Pn i=1 2 i i
i=1 X i ) n X
i=1 i

y obviando los lı́mites de la sumatoria, la expresión se puede escribir como

P P P
ˆ2 = Y i Xi n Y i Xi
P P
( Xi )2 n Xi2