Modelo de Regresión Lineal

Supuestos del modelo

Álvaro José Flórez

1 Escuela de Estadística

Facultad de Ingenierías

Febrero - Junio 2012

 Introducción

Y = β0 + β1X + ε
Supuestos:
• Correcta especificación del modelo E(ε) = 0

E(Yj ) = β0 + β1 X
• Homogeneidad de varianza en los errores V ar(εj ) = σ 2

V ar(Yj ) = σ 2 ; j = 1, 2, ..., n
• No correlación de los errores

Cov(εi , εj ) = 0 ∀i 6= j
• Distribución normal de los errores

ε ∼ N ormal(0, σ 2 )
 Introducción

El éxito en del ajuste de un modelo de regresión y la validez de los

hallagos y conclusiones obtenidas, dependen de lo razonable de las
simplificaciones asociadas con los modelos usados, es decir, de los
supuestos del modelo.

La importancia de realizar procedimientos conducentes a validar

los supuestos, radica fundamentalmente en que ellos inciden en las
cualidades de los estimadores de mínimos cuadrados (Behar, 2003).

Para esto hay dos enfoques:

• Enfoque Gráfico
• Enfoque pruebas formales (pruebas de hipótesis)
 Correcta especificación del modelo

E(εj ) 6= 0 E(Y ) 6= β0 + β1 X
Razones:
1 Planteamiento equivocado de la relación entre Y y X (tratar
un modelo no lineal como si fuera lineal)
2 Omisión de variables relevantes

Nota: La suma de los residuales siempre es igual a cero; sin importar

si el modelo está bien o mal especificado.
 Correcta especificación del modelo

Caso donde se cumple el supuesto:

Figura: Gráfico de residuales vs y

Figura: Gráfico de y vs x
ajustados
35

●
●●

4
●
● ●
●
● ●●
●
30

● ● ● ●
●
● ● ●
● ● ● ●

● ●
● ●●
●
● ●
25

2
● ● ● ●
● ● ● ●● ●
●
●
● ● ● ●
● ● ●
● ●● ● ● ●
● ● ●
● ●
● ●● ●
20

● ● ● ● ● ●
● ●

Residuales
● ● ● ●
y

● ●● ●● ● ●
● ● ● ● ● ● ●
● ● ●●●
● ● ●● ● ●●
● ●

0
●● ● ● ●● ● ● ● ● ● ●
● ● ●
● ● ●
● ● ● ●● ●●●
15

● ●●●● ● ● ● ●
● ●
● ● ● ● ● ● ●
●● ●● ● ●
● ●
● ● ● ● ●
●
● ● ● ●
●
● ● ●●
10

● ● ● ●
●●●

−2
● ● ●
●
● ●
● ●
●
●
● ●
● ●
5

●● ●
●● ●
−4

0 2 4 6 8 10
5 10 15 20 25 30 35
x
y^
 Correcta especificación del modelo

Caso donde no se cumple el supuesto:

Figura: Gráfico de residuales vs y

Figura: Gráfico de y vs x
ajustados
12

●
●

4
●
●
● ●
●
10

● ● ●
●
● ●
●
● ● ●

2
●
● ● ● ● ● ●
● ●
● ●
● ●
● ●
8

● ● ● ● ●
● ●
● ● ● ● ●
●● ● ● ● ●
● ● ● ● ●

Residuales
● ● ●
● ●● ● ● ●
y

● ● ●
● ● ● ● ● ●●
● ● ● ● ●
● ●
● ● ● ● ●
● ● ● ● ●●

0
●
● ● ● ● ● ● ●
● ● ● ● ●
● ●
6

● ● ● ● ● ●
● ● ● ● ●
● ● ● ● ●
● ● ● ● ●● ● ● ● ● ●
● ● ● ● ● ● ● ●
● ● ● ●
● ● ●
● ● ● ●
● ● ●
●
● ● ● ● ● ●
● ● ● ●
● ●● ● ● ● ●
● ● ●
● ● ●

−2
● ● ●
4

● ● ●
● ● ● ●
●
●
● ●
● ● ●
● ●

●
2

−4

1 2 3 4 5
3 4 5 6 7 8 9
x
y^
 Homogeneidad de varianza en los errores
Homocedasticidad se refiere al supuesto de que la variable
dependiente (Y ) presenta una distribución con igual varianza en todo
el rango de valores de la variable independiente (X).

Figura: Homocedasticidad vs Heterocedasticidad

 Homogeneidad de varianza en los errores
Homocedasticidad se refiere al supuesto de que la variable
dependiente (Y ) presenta una distribución con igual varianza en todo
el rango de valores de la variable independiente (X).

Figura: Homocedasticidad vs Heterocedasticidad

Si no se cumple este supuesto los estimadores dejan de ser óptimos y

las pruebas estadísticas (ANOVA, pruebas t) e intervalos de confianza
pierden validez (altera el nivel de confianza)
 Homogeneidad de varianza en los errores

Caso donde se cumple el supuesto:

Figura: Gráfico de residuales vs y

Figura: Gráfico de y vs x
ajustados
35

●
●●

4
●
● ●
●
● ●●
●
30

● ● ● ●
●
● ● ●
● ● ● ●

● ●
● ●●
●
● ●
25

2
● ● ● ●
● ● ● ●● ●
●
●
● ● ● ●
● ● ●
● ●● ● ● ●
● ● ●
● ●
● ●● ●
20

● ● ● ● ● ●
● ●

Residuales
● ● ● ●
y

● ●● ●● ● ●
● ● ● ● ● ● ●
● ● ●●●
● ● ●● ● ●●
● ●

0
●● ● ● ●● ● ● ● ● ● ●
● ● ●
● ● ●
● ● ● ●● ●●●
15

● ●●●● ● ● ● ●
● ●
● ● ● ● ● ● ●
●● ●● ● ●
● ●
● ● ● ● ●
●
● ● ● ●
●
● ● ●●
10

● ● ● ●
●●●

−2
● ● ●
●
● ●
● ●
●
●
● ●
● ●
5

●● ●
●● ●
−4

0 2 4 6 8 10
5 10 15 20 25 30 35
x
y^
 Homogeneidad de varianza en los errores

Caso donde no se cumple el supuesto:

Figura: Gráfico de residuales vs y

Figura: Gráfico de y vs x
ajustados
●
●
●
60

● ● ●● ●
● ● ● ●
● ●
●
● ● ●
● ●
● ●●
●
● ●

10
● ●●
● ● ● ● ●
●
● ●
● ● ●● ●
●●
● ● ●●● ●
●●●●●● ●
●● ●● ●●● ●● ●● ●●●● ●
50

● ● ●
● ● ● ●●●● ● ● ● ●●
● ●●● ● ●●● ● ● ●
● ● ● ● ●
●● ●● ● ●●●● ● ● ●
● ● ● ●
● ●
● ● ●● ●● ●●●● ● ●● ● ● ●●
●●
●
● ●●●●●● ●●●●●●
● ● ●● ● ● ● ●● ● ●● ● ●
● ●●
● ● ● ● ● ● ●●
● ● ● ● ● ● ● ●● ● ●
●●●● ●● ●● ● ● ●● ●● ● ●● ●●
● ● ●● ● ● ● ●
●●● ● ●● ● ● ● ● ● ● ● ●● ● ● ● ● ●●
●
●
●
● ●
●● ●●● ● ●●● ● ●●● ●● ● ● ● ● ● ●● ● ● ●

5
●● ●● ● ●● ●
● ● ●●
● ● ●●
● ●●●
●●● ●● ●●●● ●●
●● ● ● ●● ● ●●
●● ●● ●● ●●
● ● ● ● ● ● ● ●● ●● ●● ● ●●●
●● ● ● ●
40

●● ●● ●● ● ●● ●●● ● ● ● ●
● ●●● ●●● ●
●
●● ● ●● ● ●● ●● ● ●● ● ●● ● ●●
● ●
●●●● ● ●●●● ● ●● ● ● ●● ● ●●
●●●●●●● ● ● ● ●● ● ● ● ● ●● ●● ● ●● ● ● ● ●● ● ● ●
● ●●● ●
● ●● ● ●
● ●●
●● ● ●●● ● ●●●
●●●●●
●● ● ●● ● ●● ●
● ●● ● ●●● ●● ● ● ●● ●● ●● ● ●●● ● ● ●
●● ●●●

Residuales
● ●● ● ● ●
● ●●● ●● ● ●●●● ● ●
● ● ● ● ●● ● ●
● ● ● ●● ●● ● ●
● ● ● ●
y

● ●●●●
●● ●●● ●●● ● ●● ●●●●
● ● ● ● ●
●●● ● ●● ● ●
●● ● ● ● ●● ●● ● ●● ● ●● ●
●●●●●●
●● ●
●●● ● ●● ●● ● ● ● ●● ●● ●● ●● ●●●● ●●● ● ● ●● ● ●● ●●●● ● ● ● ● ● ●● ● ●● ●
●
● ●● ●
●●●
● ●
●● ● ● ● ●● ●● ●●●●●● ● ● ● ●● ●●● ●● ● ● ●● ● ●● ● ● ●● ● ●● ● ● ●●
●●● ● ● ●●●●●● ● ●
●
● ● ● ●
● ● ●● ●● ● ●
● ● ●●●● ●● ●
● ●●●● ●● ●● ●●
● ●●●●● ● ●● ●●● ●●● ● ●● ● ● ● ●● ●●
●
● ●
●
● ●●
● ● ●● ●●
●
● ● ● ●● ●●
● ●● ●● ● ●●● ●●●●● ●●●
●● ●● ● ● ●●● ● ● ●● ● ● ● ●● ●● ● ● ●
● ●●● ●● ● ●●●●●● ●●
● ● ● ●
●
●
●
●●●
● ●●●●●●●●●
● ●●
●●●●●●● ● ●● ● ●●● ● ●
●● ●●●●● ●●● ● ● ●● ● ●●●●●● ●● ●● ●
●●●●●● ● ●● ● ●● ● ●● ●● ●● ●● ● ● ●● ●
●● ● ●●● ●● ●
● ● ●● ●
● ● ●●
●● ●● ● ● ●●● ● ● ●● ●● ● ●●
●● ●● ● ● ● ●● ●

0
● ● ●●● ● ●● ●●●●●●●
● ● ● ●
● ●● ●● ●●● ● ●●●●
● ●● ● ●● ● ●●● ● ●● ● ●● ● ● ●● ● ●●● ● ● ●● ● ●● ●● ● ● ● ● ●● ●
30

●● ● ●
● ●●● ●
●●
● ●●●●● ● ●●●● ● ● ●●
● ●●
●●●● ● ●●●
● ●
●● ● ●●
● ● ● ● ● ● ● ●● ●
● ●
● ● ●● ●●
●●
● ● ●●● ● ●● ● ● ●●
●● ●● ●● ●● ● ●
● ●● ● ● ● ●●●● ● ●●● ●● ●● ●● ● ● ●● ●● ●●● ● ●● ●
● ● ●●
●● ●●
● ●● ●●●●●●
● ● ●●
●● ●●●● ● ● ● ● ●●●
●●● ●●● ●
● ●● ● ● ●● ● ●● ●
● ● ●●● ● ●● ● ● ●●● ●●● ● ● ● ● ●● ●●● ● ●●
● ●●●● ●
●● ● ●●●● ● ● ●● ● ● ● ● ●● ● ●●● ●
●●● ● ● ● ●● ● ●● ● ● ● ● ● ● ● ● ●
●
● ● ●● ●
● ●● ●● ●● ●●
●● ● ●● ● ●● ● ● ●● ● ●●
● ● ● ● ●
●● ● ●●● ● ● ●● ●● ● ●
●
●● ● ● ● ●●● ● ● ●● ● ● ● ●● ● ●● ● ● ●● ●●
● ●● ●●●● ●●●●
●●●●●●● ●●
● ●● ●
●
●●● ● ● ● ● ●
● ●● ●● ● ●●● ● ●●●
● ●
● ●
●● ● ●●● ● ● ● ●● ●
●
●● ● ●● ● ●● ●● ● ● ●●●●●● ● ● ●
● ● ●● ●●
●● ●●●
● ●● ● ● ● ● ●
● ● ● ● ●● ●● ● ● ● ●● ●●
● ●●
●● ●●●
●●
●● ●● ● ●● ● ●●● ●
● ● ●
●● ● ● ●
● ● ● ● ● ● ●
●●●●
●
●●
● ●●●● ●
● ●●●● ● ●●
●●●●●●●●●● ● ●● ● ●● ● ● ●●●● ● ● ● ● ● ● ● ●
●
●
●●
●●● ●● ● ● ● ● ●
● ●●●● ● ●●●
●●●●●●
●● ● ● ● ● ●● ● ●● ● ● ● ● ●● ● ●● ●● ●

−5
●
20

● ●
●●
●● ●
● ●● ●● ● ● ● ● ● ● ●● ● ● ● ●
●
● ●
●● ● ● ● ● ● ● ● ●●
● ● ●
● ● ●●
●● ●
●●
●●
●
●● ● ●
● ●●
● ●● ●
● ●●●● ● ● ● ● ●
● ●● ● ●● ●
● ●● ● ● ●
●●● ● ●
●●●
●●●●
●
●●
●●● ● ●
●●●●● ●● ● ●●● ● ● ●● ●● ●
● ●
●
●
●
●●●●● ● ●
● ●● ● ● ● ●● ● ●●
● ●● ●
●
●●●●●●●
●●●● ● ● ● ●
●● ● ●
●●● ●●●
●
●●●●●● ● ● ●● ● ● ● ●
●●●●
● ●●●
●● ●●
●● ●●
● ●●●
●●●●●● ●
● ●● ● ● ●
●● ●●●
●
●
●
●
●
●●●
● ●● ● ●
●
● ● ●
●● ● ● ●●● ● ●
●
●
● ●
●●●●●
● ● ●
●●●
●
●●●●●● ●● ●
10

●●
−10

● ●
●
●● ●
●
1 2 3 4 5
10 20 30 40 50
x
y^
 No correlación de los errores

Cov(εi , εj ) 6= 0
Si no se cumple este supuesto los estimadores dejan de ser óptimos y
las pruebas estadísticas (ANOVA, pruebas t) e intervalos de confianza
pierden validez (altera el nivel de confianza).

En las situaciones en las que se pueda garantizar que las

observaciones yi , constituyen una muestra aleatoria (independientes
e idénticamente distribuidas), no existirá correlación de los errores, es
decir, que es posible controlar este aspecto, algunas ocasiones, con
base en el procedimiento de selección de la muestra (Behar, 2003).

El incumplimiento de este supuesto puede ocurrir cuando las

observaciones se toman como se secuencia en el tiempo.
 No correlación de los errores

Para observar si hay problemas de correlación de los errores se hace

un gráfico de residuales vs tiempo de medición.

Figura: Correlación positiva Figura: Correlación negativa

3
2

● ●
● ●
● ●
● ●
●
● ● ●
●
●
● ●

2
● ● ●
● ●
●
1

● ● ●
● ● ●
● ● ●
●
●
● ●
● ● ● ●

1
● ●
● ●
0
Residuales

Residuales
● ●
● ● ●
● ●
● ● ●
● ● ●
● ●

0
● ● ●
●
●
●
−1

● ●
● ● ●
● ●
● ● ●
● ●
● ●

−1
● ●
● ●
● ● ●
●
● ●
−2

●
● ●
● ● ●
−2

●
●
● ●
● ●

0 2 4 6 8 10 0 2 4 6 8 10

Tiempo Tiempo
 Normalidad de los errores

Se supone que cada observación viene de una distribución normal

centrada verticalmente en cada nivel (xi ) del modelo asumido. (σ 2 )
se asume igual para cada distribución normal

Y |X = x ∼ N (xβ, σ 2 ) β̂ ∼ N (β, σ 2 (X 0 X)−1 )

La normalidad de los errores permite la estimación por intervalos de

confianza no sólo para los coeficientes de regresión, sino también para
la predicción. Permite el planteamiento de pruebas de hipótesis sobre
los parámetros del modelo. Cuando los errores no son normales, los
intervalos y las pruebas de hipótesis no son exactas y pueden llegar
a ser inválidas (Behar, 2003).
 Normalidad de los errores

Caso donde se cumple el supuesto:

Figura: Histograma de los residuales Figura: qq-plot de los residuales

Normal Q−Q Plot
●

●
0.4

2
●
●
●

●
●
0.3

1
●
●●●●●

Sample Quantiles
●
●
●●●●
●●●
●●●●
densidad

●●
●
●●●
●●
●●●●●●
0.2

●●●●●
●
●●●●

0
●●●●●●
●
●●●
●●●
●●●●●
●
●●
●
●●
●●●●
●
0.1

●●

−1
●●
●●●
●●
●
●●
●●
●

● ●
0.0

● ●

−2 −1 0 1 2 −2 −1 0 1 2

residuales Theoretical Quantiles

 Normalidad de los errores

Caso donde no se cumple el supuesto:

Figura: Histograma de los residuales Figura: qq-plot de los residuales

Normal Q−Q Plot
●
0.35

4
0.30

● ●
●●
0.25

●
●

2
●●

Sample Quantiles
●
●●●
●●
0.20

●●
●●●●
densidad

●
●●
●●
●
●●
●●●
●●
●●●●
●●●
0.15

●●●

0
●●●
●●●●●
●●●●●●●●●
●●●●●
●●●●
●●●●●●●
●●
●●
●●●
0.10

●
●●●●
●●●
●

−2
●
●
0.05

●
●
0.00

−4

−4 −2 0 2 4 6 −2 −1 0 1 2

residuales Theoretical Quantiles

 Algunas pruebas formales

Homocedasticidad:
Prueba de Goldfeld-Quant, prueba de White.

Incorrelación de los errores: (correlación temporal)

Prueba de Durbin-Watson, prueba de rachas.

Normalidad de los errores:

Prueba de Shapiro-Wilks, prueba de Anderson-Darling.

Algunos de estos supuestos se pueden corregir por medio de

transformaciones en algunas de las variables (y o x). Otras solución
al incumplimiento de los supuestos es el uso de mínimos cuadrados
generalizados.
 Bibliografía

Behar, R. (2003). Validación de supuestos en el modelo de regresión.

Serie Monografías, Universidad del Valle, Cali, vol. 1 edition.
Draper, N. and Smith, H. (1998). Applied regression analysis. John
Wiley & Sons, New York, 3 edition.
Montgomery, D.C. Peck, E. and Vinning, G. (2002). Introducción al
análisis de regresión lineal. CECSA, Mexico, 3 edition.
Rawlings, J. O., Pantula, S., and Dickey, D. (1998). Applied
Regression Analyisis: A Research Tool. Springer-Verlag, New York,
2 edition.