UNIVERSIDAD NACIONAL DE TUCUMAN
Facultad de Ciencias Económicas
Instituto de Investigaciones Económicas
Prof. Adjunto Carolina Ortega
MODELO DE DOS VARIABLES INDEPENDIENTES
Consideramos un modelo de regresión lineal con dos variables independientes:
𝑌! = 𝛽" + 𝛽# 𝑋#! + 𝛽$ 𝑋$! + 𝑢!
Donde:
b" es el intercepto,
b# mide el cambio en Y cuando cambia 𝑋# manteniendo constante todos los demás factores. Es
decir, b# muestra el efecto parcial de 𝑋# sobre Y.
%&
El efecto total de 𝑋# sobre Y puede expresarse matemáticamente de la siguiente manera: %'!
=
()
𝛽# + 𝛽$ ()" . El efecto total y el efecto parcial de un cambio en X sobre Y serán iguales solo si 𝑋#
!
¶'
no afecta a 𝑋$ . Es decir, si ¶'" = 0, o bien, si 𝛽$ = 0.
!
𝛽$ mide el cambio en Y cuando cambia 𝑋$ manteniendo constante los demás factores.
Nuevamente, lo que consideramos en esta interpretación es el efecto parcial de 𝑋$ sobre Y.
Obtención de los estimadores de pendiente por MCO
A continuación se plantea el problema y las condiciones de primer orden para encontrar los
estimadores de 𝛽# y 𝛽$ por MCO.
La ecuación estimada de MCO se escribe de la siguiente manera:
𝑌(! = b( " + b( # 𝑋#! + b( $ 𝑋$!
Para obtener b( " , b( # y b( $ utilizaremos el método de mínimos cuadrados ordinarios. Por lo tanto,
lo que haremos será encontrar los estimadores que minimicen la suma de los residuos al cuadrado.
* *
min S = .(𝑒! )$ = .(𝑌! − 𝑏" − 𝑏# 𝑋#! − 𝑏$ 𝑋$! )$
!+# !+#
Condiciones de primer orden
*
¶S
= 2 .(𝑌! − 𝑏" − 𝑏# 𝑋#! − 𝑏$ 𝑋$! ) = 0
¶b"
!+#
*
¶S
= 2 .(𝑌! − 𝑏" − 𝑏# 𝑋#! − 𝑏$ 𝑋$! )(−𝑋$! ) = 0
¶b#
!+#
*
¶S
= 2 .(𝑌! − 𝑏" − 𝑏# 𝑋#! − 𝑏$ 𝑋$! )(−𝑋$! ) = 0
¶b$
!+#
1
UNIVERSIDAD NACIONAL DE TUCUMAN
Facultad de Ciencias Económicas
Instituto de Investigaciones Económicas
Por lo tanto, de estas condiciones surge que:
*
. 𝑒! = 0
!+#
*
. 𝑒! 𝑋$! = 0
!+#
. 𝑒! 𝑋#! = 0
!+#
Reacomodando las expresiones obtenemos:
* * *
. 𝑌! − 𝑛𝑏" − 𝑏# . 𝑋#! − 𝑏$ . 𝑋$! = 0
!+# !+# !+#
* * * *
$
. 𝑌! 𝑋#! − 𝑏" . 𝑋#! − 𝑏# . 𝑋#! − 𝑏$ . 𝑋$! 𝑋#! = 0
!+# !+# !+# !+#
* * * *
$
. 𝑌! 𝑋$! − 𝑏" . 𝑋$! − 𝑏# . 𝑋#! 𝑋$! − 𝑏$ . 𝑋$! =0
!+# !+# !+# !+#
Resolviendo el sistema de ecuaciones se obtiene que:
b( " = 𝑌7 − b( # 𝑋7# − b( $ 𝑋7$
∑*!+# 𝑦! 𝑥#! ∑*!+# 𝑥$!
$
− ∑*!+# 𝑦! 𝑥$! ∑*!+# 𝑥#! 𝑥$!
b( # = $
∑*!+# 𝑥#!
$ ∑* $ *
!+# 𝑥$! − ;∑!+# 𝑥#! 𝑥$! <
∑*!+# 𝑦! 𝑥$! ∑*!+# 𝑥#!
$
− ∑*!+# 𝑦! 𝑥#! ∑*!+# 𝑥#! 𝑥$!
b( $ = $
∑*!+# 𝑥#!
$ ∑* $ *
!+# 𝑥$! − ;∑!+# 𝑥#! 𝑥$! <
Alternativamente, podemos expresar a estos estimadores como:
𝐶𝑜𝑣(𝑋# , 𝑌)𝑉𝑎𝑟(𝑋$ ) − 𝐶𝑜𝑣(𝑌, 𝑋$ )𝐶𝑜𝑣(𝑋# , 𝑋$ )
b( # =
𝑉𝑎𝑟(𝑋# )𝑉𝑎𝑟(𝑋$ ) − 𝐶𝑜𝑣 (𝑋# , 𝑋$ )$
𝐶𝑜𝑣(𝑋$ , 𝑌)𝑉𝑎𝑟(𝑋# ) − 𝐶𝑜𝑣(𝑋# , 𝑌)𝐶𝑜𝑣(𝑋# , 𝑋$ )
b( $ =
𝑉𝑎𝑟(𝑋# )𝑉𝑎𝑟(𝑋$ ) − 𝐶𝑜𝑣(𝑋# , 𝑋$ )$
Una vez obtenidos los estimadores, podemos calcular el valor ajustado o valor predicho. Es decir,
𝑌(! .
2
UNIVERSIDAD NACIONAL DE TUCUMAN
Facultad de Ciencias Económicas
Instituto de Investigaciones Económicas
Es posible que 𝑋# y 𝑋$ estén correlacionadas. Sin embargo, cuando no lo están, 𝐶𝑜𝑣(𝑋# , 𝑋$ ) =
0, lo cual simplifica las expresiones de los estimadores. En ese caso, el estimador b( # es el mismo
que obtuvimos para el caso de una RLS.
Regresión simple vs. regresión múltiple: Igualdad del estimador de b𝟏
Existen dos casos especiales en los cuales la regresión simple de Y sobre 𝑋# produce la misma
estimación por MCO para el coeficiente de 𝑋# que la regresión de Y sobre 𝑋# y 𝑋$ . Para ver
cuáles son estos casos consideremos que la recta estimada en un modelo de RLS es: 𝑌 D- = bE +
"
bE # 𝑋#! , mientras que la recta estimada en una regresión múltiple es: 𝑌(! = b( " + b( # 𝑋#! + b( $ 𝑋$! .
Se sabe que, en general, el coeficiente bE # no es igual que b( # . Sin embargo, existe una relación
entre ellos:
bE # = b( # + b( $ d(#
Donde d(# es el coeficiente de la pendiente de la recta de regresión de 𝑋# sobre 𝑋$ .
bE # será igual a b( # si b( $ d(# = 0. Esto sucederá si:
1) El efecto parcial de 𝑋$ sobre 𝑌(! es 0 en la muestra. Es decir, b( $ = 0
2) 𝑋# y 𝑋$ no están correlacionadas en la muestra, es decir, d(# = 0
La siguiente tabla muestra las distintas direcciones que puede tomar el sesgo:
𝑪𝒐𝒗(𝑿𝟏 , 𝑿𝟐 ) > 𝟎 𝑪𝒐𝒗(𝑿𝟏 , 𝑿𝟐 ) < 𝟎 𝑪𝒐𝒗(𝑿𝟏 , 𝑿𝟐 ) = 𝟎
b𝟐 > 𝟎 Sesgo positivo Sesgo negativo No hay sesgo
b𝟐 < 𝟎 Sesgo negativo Sesgo positivo No hay sesgo
b𝟐 = 𝟎 No hay sesgo No hay sesgo No hay sesgo
En la tabla se resumen las direcciones de los sesgos, pero la magnitud del sesgo es también muy
importante.
Supongamos que queremos trabajar con el siguiente modelo poblacional:
𝑌 = b" + b# 𝑋# + b$ 𝑋$ + b$ 𝑋/ + 𝑢
Supondremos que el modelo satisface los supuestos necesarios. Pensemos ahora en que, por algún
motivo, se omite 𝑋/ . Al estimar el modelo obtendremos:
𝑌E = bE " + bE # 𝑋# + bE $ 𝑋$
Supongamos, por simplicidad, que 𝑋$ y 𝑋/ no están correlacionadas, pero que 𝑋# si está
correlacionada con 𝑋/ . De esta manera, es posible que bE # esté sesgado. Para simplificar aún más
el análisis y poder asegurar que bE es insesgado, debemos suponer que 𝑋# y 𝑋$ tampoco están
$
correlacionadas. Dado esto se puede demostrar que:
Partimos de hacer una regresión de 𝑋# sobre 𝑋$ , es decir, 𝑋(!# = d( " + d(# 𝑋!$
De esa forma, los residuos de esta regresión son 𝑟̂#! = 𝑋!# − 𝑋(!# .
Pensemos ahora en que queremos encontrar los estimadores por MCO d( " y d(# . Para ello,
minimizamos la suma de los residuos al cuadrado:
3
UNIVERSIDAD NACIONAL DE TUCUMAN
Facultad de Ciencias Económicas
Instituto de Investigaciones Económicas
* *
$
min . 𝑟̂#!$ = .;𝑋!# − d( " − d(# 𝑋!$ <
!+# !+#
Las condiciones de primer orden nos dicen que:
¶ ∑ 𝑟̂#!$
= 2 .(𝑋!# − d( " − d(# 𝑋!$ )(−1) = 0 Þ . 𝑟̂#! = 0
¶d( "
¶ ∑ 𝑟̂#!$
= 2 .(𝑋!# − d( " − d(# 𝑋!$ )(−𝑋!$ ) = 0 Þ . 𝑟̂#! 𝑋!$ = 0
¶d(#
∑$
#%! 1̂ !# 3#
Hasta acá la demostración es igual a la que vimos cuando demostramos que bE # = ∑$ " . Esto
#%! 1̂!#
es así porque necesitaremos las conclusiones obtenidas en las condiciones de primer orden para
demostrar lo que se quiere probar en este caso.
Pensemos ahora que
∑*!+# 𝑟̂#! 𝑌!
bE # =
∑*!+# 𝑟̂#!$
Considerando que 𝑌! = b" + b# 𝑋!# + b$ 𝑋!$ + b/ 𝑋!/ + 𝑢! , podemos expresar a 𝑏# como:
∑*!+# 𝑟̂!# ;b" + b# 𝑋!# + b$ 𝑋!$ + b/ 𝑋!/ + 𝑢! <
bE # = =
∑*!+# 𝑟̂!#
$
∑*!+# 𝑟̂!# ∑*!+# 𝑟̂!# 𝑋!# ∑*!+# 𝑟̂!# 𝑋!$ ∑*!+# 𝑟̂!# 𝑋!/ ∑*!+# 𝑟̂!# 𝑢!
b" + b + b + b + * $
∑*!+# 𝑟̂!#
$ # ∑* 𝑟̂ $
!+# !#
$ ∑* 𝑟̂ $
!+# !#
/ ∑* 𝑟̂ $
!+# !# ∑!+# 𝑟̂!#
Como ∑*!+# 𝑟̂!# = 0, ∑*!+# 𝑟̂!# 𝑋!$ = 0 y ∑*!+# 𝑟̂!# 𝑋!# = ∑*!+# 𝑟̂!# ;𝑋(!# + 𝑟̂!# < = ∑*!+# 𝑟̂!#
$
, entonces:
∑*!+# 𝑟̂!#
$ ∑*!+# 𝑟̂!# 𝑋!/ ∑*!+# 𝑟̂!# 𝑢!
𝑏# = b# + b + * $
∑*!+# 𝑟̂!#
$ / ∑* 𝑟̂ $
!+# !# ∑!+# 𝑟̂!#
Tomando valor esperado en ambos miembros y considerando que en el modelo 𝑌! = b" +
b# 𝑋!# + b$ 𝑋!$ + b/ 𝑋!/ + 𝑢! se cumplen los supuestos clásicos, se obtiene que:
∑*!+# 𝑟̂!# 𝑋!/
𝐸(𝑏# ) = b# + b/
∑*!+# 𝑟̂!#$
De esa forma, hemos llegado a lo que se quería probar.
La relación entre la varianza del estimador sesgado y la del insesgado es:
𝜎4$ 𝜎$
𝑉;𝛽E# < = $ < Q# < =
𝑉;𝛽 $
∑ 𝑥#! ∑ 𝑥#! (1 − 𝑟)$! )" )
Por su parte, para los errores cuadráticos medios se cumple que:
𝜎4$
𝐸𝑀𝐶;𝛽E# < = + 𝛽$$ 𝑏)$" )! ; 𝐸𝑀𝐶;𝛽Q# < = 𝑉;𝛽Q# < + 0
∑ 𝑥!$
Supuestos necesarios para poder estimar
4
UNIVERSIDAD NACIONAL DE TUCUMAN
Facultad de Ciencias Económicas
Instituto de Investigaciones Económicas
1) En primer lugar, necesitamos que haya tanto variación en 𝑋# como en 𝑋$ , ya que, de lo
contrario, el denominador de b( # y b( $ será igual a 0 y no podremos realizar la estimación.
2) Ninguna de las variables explicativas debe ser función lineal de la otra, ya que si esto sucede,
𝑉𝑎𝑟(𝑋# )𝑉𝑎𝑟(𝑋$ ) = 𝐶𝑜𝑣(𝑋# , 𝑋$ )$ y el denominador de b( # y b( $ será igual a 0. Necesitamos
que 𝑋# y 𝑋$ sean linealmente independientes, es decir, que no existe colinealidad perfecta.
3) 𝑛 ≥ 3, es decir, si el número de observaciones es mayor que el número de incógnitas.
Media y varianza de los estimadores por MCO
Al igual que cuando tratamos los modelos de RLS, podemos expresar al estimador de b# como la
suma del producto entre 𝑌! y una ponderación, ya que MCO produce estimadores lineales. Es
decir, estimadores que se pueden expresar como una función lineal de los datos de la variable
dependiente. Por lo tanto:
b( # = . 𝑤! 𝑌! = . 𝑤! (b" + b# 𝑋#! + b$ 𝑋$! + 𝑢! )
Donde la ponderación es igual a:
$
𝑥#! ∑ 𝑥$! − 𝑥$! ∑ 𝑥#! 𝑥$!
𝑤! = $ $
∑ 𝑥#! ∑ 𝑥$! − (∑ 𝑥#! 𝑥$! )$
Si se cumple que ∑ 𝑤! = 0, ∑ 𝑤! 𝑥#! = 1 y que ∑ 𝑤! 𝑥$! = 0, entonces podremos estar seguros de
que el estimador de b# es insesgado. Por lo tanto, 𝐸;b( # < = b# .
Por su parte, la varianza de b( # es:
$ $ s$4
𝑉;b( # < = 𝐸 W;b( # − b# < X = 𝐸 Y. 𝑤! 𝑢! Z = $
(∑ 𝑥#! )(1 − 𝑟)$! )" )
La varianza de b( # depende, entonces, de la varianza del error, de la dispersión de 𝑋# y del 𝑅$ que
se obtiene al hacer la regresión de 𝑋# sobre 𝑋$ .
Test de Hipótesis
1) Test individuales
El interés principal será probar la hipótesis nula 𝐻" : b# = 0 contrastándola con una hipótesis
alternativa 𝐻# : b# ≠ 0. Lo que se pretende con esto es ver si se puede rechazar la hipótesis que
sostiene que 𝑋# no tiene efecto sobre Y. Se utiliza el estadístico
b( # − b#
𝑡b5 = ~𝑡*6$6#
!
a
`𝑉𝑎𝑟;b( # <
Intervalos de confianza para c
b𝟏 : Como siempre, es posible armar intervalos de confianza para
a
b( # . Dichos intervalos tendrán la siguiente forma: b( # ± 𝑡a/$,(*6$6#) `𝑉𝑎𝑟;b( # <.
Otra forma de probar la significancia de 𝑋# es correr la regresión del modelo 𝑌! = 𝛽" + 𝛽# 𝑋#! +
𝛽$ 𝑋$! + 𝑢! bajo 𝐻" : 𝛽# = 0 (𝑌 = 𝛽" + 𝛽$ 𝑋$ + 𝑢! ). De esto obtenemos: 𝑌( = 𝛽Q" + 𝛽Q$ 𝑋$ → ∑ 𝑒′$! .
Luego, corremos la regresión bajo 𝐻# : 𝛽# ≠ 0 y obtenemos: 𝑌( = 𝛽Q" + 𝛽Q# 𝑋# + 𝛽Q$ 𝑋$ → ∑ 𝑒!$ .
5
UNIVERSIDAD NACIONAL DE TUCUMAN
Facultad de Ciencias Económicas
Instituto de Investigaciones Económicas
Por último, formamos el estadístico F:
$
(∑ 𝑒 ; ! − ∑ 𝑒!$ )/ [(𝑛 − 2) − (𝑛 − 3)]
𝐹(1, 𝑛 − 3) =
∑ 𝑒!$ /(𝑛 − 3)
2) Test conjunto: test F
𝐻" : 𝛽# = 𝛽$ = 0
Regresamos Y bajo 𝐻" : 𝛽# = 𝛽$ = 0 (𝑌 = 𝛽" + 𝑢! ). De esto obtenemos 𝑒!∗ = 𝑌! − 𝑌7 = 𝑦 ⇒
∑ 𝑒!$∗ = ∑ 𝑦!$ . Luego, regresamos Y bajo 𝐻# , y obtenemos 𝑌( = 𝛽Q" + 𝛽Q# 𝑋# + 𝛽Q$ 𝑋$ . Luego
encontramos ∑ 𝑒!$ , donde ∑ 𝑒!$ ≤ ∑ 𝑦!$ . Por último, formamos el estadístico F:
(∑ 𝑦 $ − ∑ 𝑒!$ )/ [(𝑛 − 1) − (𝑛 − 3)] (𝑛 − 3) 𝑅$
𝐹(2, 𝑛 − 3) = =
∑ 𝑒!$ /(𝑛 − 3) 2 1 − 𝑅$
3) Combinación lineal de parámetros:
Lo que nos interesa evaluar en este caso es la hipótesis 𝐻" : b# = b$ vs. 𝐻# : b# ≠ b$ .
Intuitivamente, lo que se desea investigar es si se rechaza o no la hipótesis nula que postula que
el efecto parcial de 𝑋# sobre Y es el mismo que el de 𝑋$ sobre Y.
Consideramos la siguiente forma alternativa de expresar la hipótesis nula y la alternativa:
𝐻" : b# − b$ = 0 vs. 𝐻# : b# − b$ ≠ 0.
El estadístico t se basa en si la diferencia estimada b( # − b( $ es suficientemente distinta de 0 para
rechazar 𝐻" en favor de 𝐻# . De esa forma, el estadístico t bajo 𝐻" es:
b( # − b( $
𝑡=
𝑆𝐸(b( # − b( # )
Como calcular 𝑆𝐸(b( # − b( $ ) puede ser complicado, este método no suele utilizarse.
Otra opción es sumar y restar b$ 𝑋#! en el modelo original. Al hacerlo obtenemos:
𝑌! = b" + ;b# − b$ <𝑋#! + b$ (𝑋#! + 𝑋$! ) + 𝑢!
O lo que es lo mismo:
𝑌! = b" + g# 𝑋#! + b$ 𝑊! + 𝑢!
Donde g# = b# − b$ y 𝑊! = 𝑋#! + 𝑋$! .
Por lo tanto, 𝐻" : g# = 0 vs 𝐻# : g# ≠ 0.
De esa manera, ahora el test es simple y de un coeficiente. El problema se resume a testear si g# =
0 en el sistema transformado.
Evaluación del R cuadrado
Consideramos el modelo:
𝑌( = 𝛽Q" + 𝛽Q# 𝑋# + 𝛽Q$ 𝑋$
6
UNIVERSIDAD NACIONAL DE TUCUMAN
Facultad de Ciencias Económicas
Instituto de Investigaciones Económicas
Del mismo obtenemos:
*
$
𝑆𝐸 = .;𝑌(! − 𝑌7<
!+#
*
𝑆𝑇 = .(𝑌! − 𝑌7)$
!+#
Con esto calculamos:
$
$
∑*!+#;𝑌(! − 𝑌7< 𝑆𝐸 𝑆𝑅
𝑅 = * = =1−
∑!+#(𝑌! − 𝑌) 7 $ 𝑆𝑇 𝑆𝑇
El coeficiente de determinación múltiple nos indica qué porcentaje están explicando las dos
variables a la vez.
Generalmente se utiliza el 𝑅$ ajustado:
𝑛−1 𝑆𝑅
𝑅7$ = 1 − p r
𝑛 − 𝑘 − 1 𝑆𝑇
Donde 𝑅7$ ≤ 𝑅$ .
𝑟 $ (simples): (𝑟3# , 𝑟3$ , 𝑟#$ ).
𝑟#$ es el coeficiente de correlación de 𝑋# sobre 𝑋$ . Este coeficiente muestra la correlación entre
𝑋$ y 𝑋# . De forma similar, 𝑟3# muestra la correlación entre Y y 𝑋# .
Como estos coeficientes existen tantos como combinaciones entre variables sean posibles.
Llamaremos a estos coeficientes de correlación simples.
Si elevamos al cuadrado estos coeficientes obtendremos los coeficientes de determinación para
$
cada caso considerado. Es decir; 𝑟#$ nos muestra que proporción de la variabilidad de 𝑋# es
explicada solo por la variable 𝑋$ .
Podemos expresar al 𝑅$ en función de los coeficientes de correlación simples:
$ $
𝑟3# + 𝑟3$ − 2𝑟3# 𝑟3$ 𝑟#$
𝑅$ = $
1 − 𝑟#$
𝑟 $ parciales:
Además de ver la relación individual entre las variables del modelo, puede interesarnos ver qué
proporción de la variabilidad de una variable es explicada por otra luego de incluir una o más
variables adicionales en nuestro modelo. Por ejemplo, imaginemos que queremos saber qué
proporción de la variabilidad de Y explica 𝑋$ una vez hemos incluido 𝑋# en nuestro modelo. Para
$
ver esto calculamos 𝑟3$.# . Este coeficiente mide la proporción de la variabilidad de Y que explica
𝑋$ una vez hemos incluido a 𝑋# en nuestro modelo.
$ $
Si 𝑟3$.# > 𝑟3#∙$ no significa que 𝑋$ es más importante que 𝑋# .
$
Para obtener 𝑟3#∙$ regreso Y en 𝑋$ y obtengo un residual 𝑒3 . Luego, regreso 𝑋# en 𝑋$ y obtengo
$
un residual 𝑒)! . Por último, el 𝑟 $ de la regresión de 𝑒3 sobre 𝑒)! (𝑟@$& ,@'! ) es igual al 𝑟3#.$ .
7
UNIVERSIDAD NACIONAL DE TUCUMAN
Facultad de Ciencias Económicas
Instituto de Investigaciones Económicas
Variables irrelevantes
Consideremos dos modelos:
𝑌! = 𝛽" + 𝛽# 𝑋#! + 𝑢!
𝑌! = 𝛽"; + 𝛽#; 𝑋#! + 𝛽$; 𝑋$! + 𝑢!;
Donde 𝑋$ es irrelevante.
Se sabe que:
∑ 𝑦𝑥# ∑ 𝑥$$ − ∑ 𝑦𝑥$ ∑ 𝑥# 𝑥$ ∑(𝛽# 𝑥# + 𝑢)𝑥# ∑ 𝑥$$ − ∑(𝛽# 𝑥# + 𝑢)𝑥$ ∑ 𝑥# 𝑥$
𝛽#; = =
∑ 𝑥#$ ∑ 𝑥$$ − (∑ 𝑥# 𝑥$ )$ ∑ 𝑥#$ ∑ 𝑥$$ − (∑ 𝑥# 𝑥$ )$
𝐸;𝛽Q#; < = 𝛽# (incluir variables irrelevantes no sesga la estimación de MCO).
Lo que cambia al introducir variables irrelevantes es la varianza de 𝛽Q# , que aumenta:
𝜎4$ 𝜎4$
𝑉;𝛽Q#; < = >
∑ 𝑥!$ (1 − 𝑟A$! A" ) ∑ 𝑥!$
