Econometría I

Modelo de regresión múltiple: estimación

Regresión múltiple en encuestas a hogares

David Rodríguez Guerrero

[email protected]

Semana 4 David Rodríguez Econometría I 1/14

 Lectura

• W-Capitulo 3 Análisis de regresión múltiple: Estimación

• 3.1 Motivación para la regresión múltiple

• 3.2 Mecánica e interpretación de los mínimos cuadrados
ordinarios*
• 3.3 Valor esperado de los estimadores de MCO
• 3.4 Varianza de los estimadores de MCO*
• 3.5 Eficiencia de MCO: el teorema de Gauss-Markov

• W=Wooldridge, Jeffrey. Introducción a la econometría. Un

enfoque moderno. Cuarta o quinta edición, ed. Cengage
Learning, 2010.

Semana 4 David Rodríguez Econometría I 2/14

 El modelo de regresión lineal múltiple The multiple linear regression model

• Supongamos el modelo de regresión lineal con k regresores

y = β0 + β1 x1 + β2 x2 + ⋯ + βk xk + u

• Donde βk es el parámetro (parameter) asociado con xk

• Donde u es el termino de error que contiene todos los factores
distintos a x1 , x2 … xk que afectan y

• Asumiremos de forma similar al modelo de regresión lineal simple que

E u = E u x1 , x2 … xk = 0

• Dado que tenemos k variables independientes (independent variables)

tenemos k + 1 parámetros del modelo poblacional desconocidos
β0 , β1 … βk nuestro interés es estimarlos a partir de una muestra.

Semana 4 David Rodríguez Econometría I 3/14

 • Dado que tenemos varias variables independientes debemos tener
precaución con la interpretación del efecto ceteris paribus de un
cambio en xk sobre y, ejemplo:
consumo = β0 + β1 ingreso + β2 ingreso2 + u

• No podemos interpretar β1 como el efecto de un cambio en el

ingreso sobre el consumo
• Debemos leerlo en conjunto con β2
• Empleando para ello la derivada parcial (partial derivative)
• Asumiendo igual que antes que Δu = 0
• El efecto sería
𝜕consumo
= β1 + 2β2 ingreso
𝜕ingreso

• Depende del ingreso: efecto marginal (marginal effect) podría ser negativo o
positivo
• Podemos usar la segunda derivada para determinar si la función es cóncava o
convexa, si tiene un máximo o un mínimo
Semana 4 David Rodríguez Econometría I 4/14
 • Igualmente, ahora podemos ver el efecto de cambios simultáneos
en más de una variable
• Por ejemplo, supongamos el modelo de regresión lineal múltiple
de la ecuación de Mincer
salario = β0 + β1 educacion + β2 experiencia + u
• Donde educación y experiencia están medidas en años
• ¿En cuánto cambia el salario ante cambios simultáneos en
educacion(Δeducacion)y experiencia (Δexperiencia)?
• Asumimos que Δu = 0
Δsalario = β1 Δeducacion + β2 Δexperiencia
• Nótese la semejanza entre esta ecuación y la ecuación del
diferencial total vista en cursos de cálculo:
𝜕salario 𝜕salario
Δsalario = Δeducacion + Δexperiencia
𝜕educación 𝜕experiencia
• Por ejemplo, si el cambio en ambas variables es en un año
adicional entonces el salario cambia en
Δsalario = β1 + β2
Semana 4 David Rodríguez Econometría I 5/14
 R cuadrado en el modelo de regresión múltiple

• Definimos la medida de bondad de ajuste (goodness of fit) R2

(R-squared) como
2
SEC SRC
R = =1−
STC STC

• En el caso del modelo de regresión lineal múltiple, dado que

n 2
SRC σ i=1 u
ො i
R2 = 1 − =1− n
STC σi=1 yi − yത 2

• Siempre que agreguemos una variable independiente adicional el

R2 no decrece (aumenta o permanece constante) así la variable
adicional sea o no importante explicando y
• Esto se debe a que al agregar una variable independiente adicional a
lo sumo σni=1 uො i 2 permanece constante, y eventualmente se reduce
• Por ello en las siguientes sesiones se introduce el R2 ajustado, una
medida alternativa que penaliza la inclusión de regresores que no son
relevantes explicando y
Semana 4 David Rodríguez Econometría I 6/14
 Insesgamiento de los estimadores de MCO Unbiasedness of the OLS estimators
Bajo los siguientes supuestos los estimadores β෠ 0 ,β෠ 1 , … , β෠ k son
insesgados, es decir
E β෠ k = βk
• RLM1: Linealidad en los parámetros (linear in parameters)
• El modelo poblacional (a veces llamado verdadero) tiene la siguiente
forma
y = β0 + β1 x1 + β2 x2 + ⋯ + βk xk + u
• Donde β0 , β1 … βk son los parámetros poblacionales desconocidos de
interés a ser estimados
• u es el termino de error no observable

• RLM2: Muestreo aleatorio (random sampling)

• Se cuenta con una muestra aleatoria de tamaño n, { xi1 , … xik , yi ∶ i =
1,2, … , n} que sigue el modelo poblacional en RLS1, es decir cumple
yi = β0 + β1 xi1 + β2 xi2 + ⋯ + βk xik + ui
∀ i = 1,2, … , n

Semana 4 David Rodríguez Econometría I 7/14

 • RLM3: Variación muestral de las x y no colinealidad perfecta
(Sample variation of the x’s and no perfect collinearity)
• xk no es constante (mismo supuesto de RLS)
• Sean xk y xm cualesquiera dos regresores en RLM2. No debe haber
correlación perfecta (positiva o negativa) entre xk y xm , es decir no puede
suceder que xk y xm se relacionen linealmente:
xk = a + bxm
• En este caso debemos dejar xk o xm pero no ambas
• La condición también aplica para la relación entre tres o más regresores
Algunos casos a tener en cuenta
• Caso 1: Suponga que x12 es el cuadrado de x1 . No podemos estimar
y = β0 + β1 log x1 + β2 log x12 + u
• Dado que por propiedades de logaritmos
y = β0 + β1 log x1 + 2β2 log x1 + u
• Caso 2: Suponga que se tiene la identidad
GastoTotal = GastoA + GastoB
• no es posible estimar
y = β0 + β1 GastoTotal + β2 GastoA + β3 GastoB + u
• Debemos eliminar una de las tres variables del modelo a estimar
Semana 4 David Rodríguez Econometría I 8/14
 • RLM4: Media condicional del error es cero (Zero conditional mean)
• Para todo valor de las variables explicativas xk el valor esperado de
u es cero
E u x1 , … xk = 0
A tener en cuenta
• Supongamos que el modelo poblacional o modelo verdadero es
y = β0 + β1 x1 + β2 x1 2 + u
• Sin embargo, estimamos
y = β0 + β1 x1 + u
• Tenemos sesgo por variable omitida (ver más adelante)
• resulta claro que hay correlación entre x1 y x1 2 y que x1 2 está
en u
• Nótese que ahora que podemos añadir más variables al modelo de
regresión lineal simple
• Con ello, podemos reducir el sesgo por variable omitida
• Sin embargo, debemos considerar que las nuevas variables que
introducimos no estén correlacionadas con otras variables no
observadas

Semana 4 David Rodríguez Econometría I 9/14

 Varianza de los estimadores de MCO Variance of the OLS estimators

• RLM5:Homoscedasticidad del error

• El error u tiene la misma varianza para cualquier valor de las
variables explicativas x1 , … , xk
Var u x1 , … xk = σ2
• Es decir, si la varianza de los errores varía para distintos
valores de cualquier regresor xm se viola el supuesto

• La fórmula de las varianzas o los errores estándar de los

estimadores β෠ 0 ,β෠ 1 , … , β෠ k en el modelo de regresión lineal múltiple
son bastante más elaboradas por lo que no las abordaremos en
detalle.

• Wooldridge las trata a más profundidad, pero tiende a ser confuso

e impráctico .

Semana 4 David Rodríguez Econometría I 10/14

 Teorema de Gauss-Markov The Gauss-Markov Theorem

• Los supuestos RLM1 a RLM5 se denominan: supuestos de

Gauss-Markov para regresiones de corte transversal.

• Si asumimos que se cumplen estos supuestos los estimadores de

MCO del modelo de regresión lineal múltiple β෠ 0 ,β෠ 1 , … , β෠ k son los
Mejores Estimadores Lineales Insesgados (MELI) Best Linear
Unbiased Estimators (BLUE) de sus contrapartes poblacionales
β0 , β1 … , βk

• Mejor: Menor varianza (eficiencia)

• Lineal: debido a que la formula del estimador es lineal en la
variable dependiente, es decir, puede ser reescrita como
n

β෠ j = ෍ wij yi
i=1
• Donde wij es una función de las variables independientes

Semana 4 David Rodríguez Econometría I 11/14

 Inclusión de variables irrelevantes (Including irrelevant variables)

• También llamada sobreespecificación del modelo (model is

overspecified)
• La introducción de variables no relevantes, es decir, variables que
no aparecen en el modelo poblacional, pero que introducimos en
la regresión no tienen ningún efecto sobre el insesgamiento de los
estimadores de MCO

• El valor esperado del parámetro asociado a cualquier variable

irrelevante es cero
• Eventualmente, en la regresión estimada el valor del coeficiente de la
variable irrelevante debe estar cerca de cero.
• Si tuviéramos muchas muestras, el valor promedio del estimador
sería cero (i.e. valor esperado)
• Sin embargo, la inclusión incrementa la varianza de los demás
estimadores que si son relevantes.

Semana 4 David Rodríguez Econometría I 12/14

 Sesgo por variable omitida (Omitted Variable Bias)

• También llamada subespecificación del modelo

• Supongamos que el modelo poblacional viene dado por
y = β0 + β1 x1 + β2 x2 + u
• Sin embargo, por alguna razón estimamos el modelo
y = β෨ 0 + β෨ 1 x1 + u
• Donde β෨ nos indica que no es el estimador insesgado de MCO (β)
෠
sino el estimador de un modelo mal especificado
• Es posible mostrar que el estimador β෨ 1 cumple
σni=1(xi1 − xത1 )xi2
E β෨ 1 = β1 + β2
σni=1(xi1 − xത1 )2
• Nótese que la dirección del sesgo depende de:
• El signo de β2 (que no conocemos dado que es un parámetro
poblacional)
• El signo de la correlación entre x1 y x2 (que posiblemente no
conocemos ya que no tenemos x2 )
Semana 4 David Rodríguez Econometría I 13/14
 • Si definimos el sesgo (bias) como
σni=1(xi1 − xത1 )xi2
E β෨ 1 − β1 = β2
σni=1(xi1 − xത1 )2
1 n
• Dado que σ (x − xത1 )xi2 es una covarianza, tenemos
n i=1 i1

• Sesgo positivo implica que E β෨ 1 > β1 , el valor estimado es mayor al

verdadero parámetro en la población
• Sesgo negativo implica que E β෨ 1 < β1 , el valor estimado es menor al
verdadero parámetro en la población
• También, a pesar de que x2 esté en el modelo poblacional si
cov x1 , x2 = 0 no habría sesgo
• Alternativamente si x2 no está en el modelo, es decir β2 = 0 no
habría sesgo
• Con más variables el sesgo es más complicado de analizar

Semana 4 David Rodríguez Econometría I 14/14