Econometrı́a ICS-294
Clase 3: Modelo de Regresión Lineal Simple
Jocelyn Tapia Stefanoni
Universidad Técnica Federico Santa Marı́a
Jocelyn Tapia Stefanoni (USM) ICS-294 1 / 20
Modelo de regresión lineal simple
Queremos estudiar la relación entre dos variables x e y en la población.
Explicar y en terminos de x o como cambia y cuando cambia x.
Modelo de regresión lineal simple (MRL):
y = β0 + β1 x + u (1)
β0 , β1 son parámetros poblacionales.
u: término de error o perturbación, factores no-observables que
afectan a y.
El coeficiente β0 , permite suponer que E(u) = 0.
β1 captura como cambia y cuando cambia x.
Jocelyn Tapia Stefanoni (USM) ICS-294 2 / 20
Modelo de regresión lineal simple
y = β0 + β1 x + u (2)
Terminologı́a:
y: variable dependiente, variable explicada, variable de respuesta,
variable predicha o el regresando.
x: variable independiente, variable explicativa, variable de control,
variable predictora o el regresor.
β1 es el parámetro de la pendiente en la relación entre y y x, cuando
todos los demás factores en u permanecen constantes, este parámetro
es de interés primordial en la economı́a aplicada.
β0 : es el parámetro del intercepto, algunas veces llamado término
constante.
Jocelyn Tapia Stefanoni (USM) ICS-294 3 / 20
Ejemplo
Por ejemplo:
salario = β0 + β1 educación + u
Noten que si todos los demás factores son constantes (∆u = 0),
entonces:
∆salario = β1 ∆educación
β1 es el parámetro de la pendiente en la relación entre y y x, cuando
los factores no observables son constantes. PERO, en general, ¿son
constantes?
Jocelyn Tapia Stefanoni (USM) ICS-294 4 / 20
Modelo de regresión lineal simple
Modelo de regresión lineal simple:
y = β0 + β1 x + u (2)
PERO, en general, ¿son constantes?
Difı́cil decir que u es constante cuando no lo observamos.
El supuesto clave para estimar β1 (cómo x afecta a y) es que:
E[u|x] = 0
→ el valor promedio de u es igual para cualquier valor de x. Además,
es igual a cero, implicando que x no está correlacionada con los
factores no observables.
Jocelyn Tapia Stefanoni (USM) ICS-294 5 / 20
Supuestos
1. Linealidad en los parámetros: la función que relaciona y con x es
lineal.
2. Media condicional Cero:
E[u|x] = E[u] = 0
→ El valor esperado de los factores inobservables no depende de los
valores de x, y dicho promedio es igual a 0, u es media independiente
de x.
Jocelyn Tapia Stefanoni (USM) ICS-294 6 / 20
Ejemplo
Salario = β0 + β1 educ + u
¿Qué hay en u? ¿Como se relaciona con x?
Jocelyn Tapia Stefanoni (USM) ICS-294 7 / 20
Regresión Poblacional
Si se cumplen los supuestos anteriores (linealidad y E[u|x] = 0):
Entonces:
y = β0 + β1 x + u
E[y|x] = β0 + β1 E[x|x] + E[u|x]
E[y|x] = β0 + β1 x
Por lo tanto, el MRS aproxima la esperanza condicional de y.
A la lı́nea E[y|x] se le llama Función de Regresión Poblacional.
Jocelyn Tapia Stefanoni (USM) ICS-294 8 / 20
Esperanza condicional
La función de esperanza condicional es la esperanza de una variable Yi (o
su media poblacional) cuando Xi está fijo.
Jocelyn Tapia Stefanoni (USM) ICS-294 9 / 20
Regresión Poblacional: FRP
Jocelyn Tapia Stefanoni (USM) ICS-294 10 / 20
Interpretación
y = β0 + β1 x + u
E[y|x] = β0 + β1 x
Noten que:
∆E[y|x]
β1 =
∆x
→ es la pendiente de la Función de la FRP: Cuando x aumenta en una
unidad, el valor esperado de y cambia en β1 unidades.
β0 = E[y|x = 0]
→ es el intercepto de la FRP: El valor medio de y cuando x es igual a cero.
Jocelyn Tapia Stefanoni (USM) ICS-294 11 / 20
Estimación
Objetivo: estimar los parámetros poblacionales a partir de una
muestra.
Sea el modelo poblacional: y = β0 + β1 x + u
Entonces, para cada i = 1, . . . , n de una muestra podemos escribir:
yi = β0 + β1 xi + ui
donde ui es el término de error para la observación i.
Jocelyn Tapia Stefanoni (USM) ICS-294 12 / 20
Mı́nimos Cuadrados Ordinarios (MRL Simple)
ŷi = β̂0 + β̂1 xi + ûi ∀i = 1, . . . , n
Definiciones:
• β̂0 : estimador de β0
• β̂1 : estimador de β1
• ŷi = β̂0 + β̂1 xi : valor predicho/estimado de yi
• ûi = yi − ŷi residuo. El residuo es el análogo muestral del error.
Objetivo: encontrar los estimadores β̂ más parecidos a los parámetros
β, los ŷi más parecidos a yi , los ûi más cercanos a 0.
MCO (Mı́nimos Cuadrados Ordinarios): encuentra los β’s que
minimizan la suma de los residuos al cuadrado:
n
X n
X
mı́n û2i = mı́n (yi − β̂0 − β̂1 xi )2
β̂0 ,β̂1 i=1 β̂0 ,β̂1 i=1
Jocelyn Tapia Stefanoni (USM) ICS-294 13 / 20
Estimación de β MCO
n
X n
X
mı́n û2i = mı́n (yi − β̂0 − β̂1 xi )2
β̂0 ,β̂1 i=1 β̂0 ,β̂1 i=1
Condiciones de primer orden:
n
X
[β̂0 ] : (yi − β̂0 − β̂1 xi ) = 0 ⇒ β̂0 = ȳ − β̂1 x̄
i=1
n Pn
X (xi − x̄)yi Cov(x, y)
[β̂1 ] : xi (yi − β̂0 − β̂1 xi ) = 0 ⇒ β̂1 = Pi=1
n 2
=
i=1 i=1 (xi − x̄) Var(x)
Noten que todas estas variables están en la data. Entonces podemos
obtener estos estimadores.
Jocelyn Tapia Stefanoni (USM) ICS-294 14 / 20
Tarea
Muestre
Pn que:
x̄)(yi − ȳ) = ni (xi − x̄)yi = ni (yi − ȳ)xi .
P P
i (x i −
Jocelyn Tapia Stefanoni (USM) ICS-294 15 / 20
Regresión Muestral (FRM)
1. Una vez que estimamos β̂0 y β̂1 , obtenemos la función de regresión
muestral (FRM):
ŷ = β̂0 + β̂1 x
2. La FRM se obtiene de una muestra es la versión estimada de la
función de regresión poblacional (FRP).
3. En general, la FRP es desconocida y uno se basa en una muestra para
estimarla.
4. Valor ajustado o predicho: ŷ.
Jocelyn Tapia Stefanoni (USM) ICS-294 16 / 20
Mı́nimos Cuadrados Ordinarios
Jocelyn Tapia Stefanoni (USM) ICS-294 17 / 20
Un ejemplo: relación entre educación y sueldos
Tomamos la relación entre años de educación y sueldos por hora en
EE. UU.
salarioi = β0 + β1 educacióni + ϵi
Primero, miremos los datos gráficamente (muestra de 562 individuos):
Jocelyn Tapia Stefanoni (USM) ICS-294 18 / 20
Un ejemplo
Años de educación y salarios por hora en Estados Unidos.
ˆ = 0,095 + 0,54educación
MCO: salario
La lı́nea de regresión minimiza los residuos al cuadrado.
Jocelyn Tapia Stefanoni (USM) ICS-294 19 / 20
Propiedades aritméticas de MCO
1. Los residuales suman cero:
X
ûi = 0 ⇒ ¯=0
û
i
2. x es ortogonal a los residuos:
X
xi ûi = 0
i
3. El promedio muestral de la variable dependiente yi es igual al
promedio muestral de la estimación ŷi : ȳ = ŷ¯
4. La lı́nea de regresión pasa por el promedio de los datos:
ȳ = β̂0 + β̂1 x̄
Jocelyn Tapia Stefanoni (USM) ICS-294 20 / 20
