Scribd
Cargar
27 vistas8 páginas

Leccion 24

El documento aborda el modelo de regresión lineal simple, que relaciona una variable independiente x con una variable dependiente Y mediante la ecuación E{Y|x} = ax + b. Se describe el método de mínimos cuadrados para estimar los parámetros a y b, así como las distribuciones de los estimadores y sus varianzas. Además, se presentan las fórmulas para calcular los coeficientes de regresión y se concluye con teoremas sobre la distribución de los estimadores.

Cargado por

Gominola3010 Gominola
Derechos de autor
© © All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como PDF, TXT o lee en línea desde Scribd
27 vistas8 páginas

Leccion 24

El documento aborda el modelo de regresión lineal simple, que relaciona una variable independiente x con una variable dependiente Y mediante la ecuación E{Y|x} = ax + b. Se describe el método de mínimos cuadrados para estimar los parámetros a y b, así como las distribuciones de los estimadores y sus varianzas. Además, se presentan las fórmulas para calcular los coeficientes de regresión y se concluye con teoremas sobre la distribución de los estimadores.

Cargado por

Gominola3010 Gominola
Derechos de autor
© © All Rights Reserved
Nos tomamos en serio los derechos de los contenidos. Si sospechas que se trata de tu contenido, reclámalo aquí.
Formatos disponibles
Descarga como PDF, TXT o lee en línea desde Scribd

Regresión lineal

Distribuciones de estimadores

Modelo de regresión

Dos variables: independiente x (variable de control), dependiente


Y (variable de respuesta)
Regresión : E {Y |x}
Regresión lineal simple: E {Y |x} = ax + b
Modelo normal: Y ∼ N(ax + b, σ 2 ) Y = ax + b + ,  ∼ N(0, σ 2 )
Datos : (x1 , y1 ), . . . , (xn , yn )
Parámetros a, b, σ 2
Caso particular a = 0 independencia.
Estimación, pruebas, etc. ...

1/8
Regresión lineal
Distribuciones de estimadores

Estimación. Método de mı́nimos cuadrados.

Para unas a y b dadas, se pronostica axi + b como respuesta,


mientras fue observado yi .
Error cuadratico (axi + b − yi )2 para una i . Sobre todas i:
n
X
(axi + b − yi )2 .
i=1

Criterio de mı́nimos cuadrados: que sea mı́nima la suma de


cuadrados de errores (Gauss)
X
(axi + b − yi )2 → mı́n
a,b

Sea (â, b̂) punto donde se alcanza el mı́nimo.


Derivamos la suma de cuadrados e igualamos a cero:

2/8
Regresión lineal
Distribuciones de estimadores

Fórmulas
X
(axi + b − yi )xi = 0
X
(axi + b − yi ) = 0
dos ecuaciones lineales conP dos incógnitas
Equivalentes a a xi2 + b xi = xi yi y a xi + nb = yi
P P P P
De la segunda
X X
b=( yi − a xi )/n = ȳ − ax̄

SustituimosPen la primera
a xi2 + ( yi − a xi ) xi /n =
P P P P
xi yi ⇒
X X X X X
a( xi2 − ( xi )2 /n) = xi yi − xi yi /n
| {z } | {z }
Sxx Sxy

3/8
Regresión lineal
Distribuciones de estimadores

Ecuación de regresión

â = Sxy /Sxx y b̂ = ȳ − âx̄


Ecuación de regresión

y = âx + b̂ = âx + (ȳ − âx̄)

y − ȳ = â(x − x̄)
P P
Predicciones ŷi = âxi + b̂ ( ŷP
i = yi )
Residuos (errores) ˆi = yi − ŷi ( ˆi = 0)

4/8
Regresión lineal
Coeficiente de regresión y la ordenada al origen
Distribuciones de estimadores

Distribuciones de estimadores

Yi ∼ N(axi + b, σ 2 )
P
1 (xi − x̄)(Yi − Ȳ )
â = SxY = i
Sxx Sxx
Esperanza de â:
1 1
E
SxY = ESxY
Sxx Sxx
1 X 1 X
= ( (xi − x̄)(EYi − E Ȳ ) = ( (xi − x̄)(axi − ax̄) =
Sxx Sxx
i i
a X a X
= ( (xi − x̄)(xi − x̄)) = ( (xi − x̄)2 ) = a
Sxx Sxx
i i

→ â estimador insesgado de a.

5/8
Regresión lineal
Coeficiente de regresión y la ordenada al origen
Distribuciones de estimadores

Varianza de â
Ahora calculamos
1
Var (â) = 2
Var (SxY ) (1)
Sxx
Calculamos esta última varianza
X
Var (SxY ) = Var ( (xi − x̄)(Yi − Ȳ ))
i
P P
Notemos
P que i (x i − x̄)(Yi − Ȳ ) = i (xi − x̄)Yi ya que
i (xi − x̄)Ȳ = 0 por lo que
X X
Var ( (xi − x̄)(Yi − Ȳ ) = Var ( (xi − x̄)Yi )
i i
X
= (xi − x̄)2 σ 2 = Sxx σ 2
σ2
por lo que (1) es igual a Var (â) = Sxx
6/8
Regresión lineal
Coeficiente de regresión y la ordenada al origen
Distribuciones de estimadores

Ahora sobre b̂ = Ȳ − âx̄. Primero


E b̂ = E (Ȳ − ax̄) = (ax̄ + b) − x̄a = b. Insesgado.
Ahora Var b̂ = Var (Ȳ − âx̄).
Se puede demostrar que Ȳ y â son independientes.
De ser ası́
σ2 1 x̄ 2 2
Var b̂ = Var (Ȳ − âx̄) = + (x̄)2 Var â = ( + )σ
n n Sxx
Entonces
1 x̄ 2 2
Var b̂ = ( + )σ
n Sxx

7/8
Regresión lineal
Coeficiente de regresión y la ordenada al origen
Distribuciones de estimadores

Theorem
σ2
â ∼ N(a, )
Sxx
1 (x̄)2
 
b̂ ∼ N(b, + σ2)
n Sxx

8/8

También podría gustarte