REGRESION LINEAL SIMPLE
Con frecuencia, nos encontramos en economa con modelos en los que el
comportamiento de una variable, Y, se puede explicar a travs de una variable
X; lo que representamos mediante
Y = f (X) (1)
Si consideramos que la relacin f, que liga Y con X, es lineal, entonces (1)
se puede escribir as:
t 1 2 t Y = + X (2)
Como quiera que las relaciones del tipo anterior raramente son exactas, sino
que ms bien son aproximaciones en las que se han omitido muchas variables
de importancia secundaria, debemos incluir un trmino de perturbacin
aleatoria , que refleja todos los factores distintos de X -que influyen sobre la
variable endgena, pero que ninguno de ellos es relevante individualmente.
Con ello, laCuando se quiere saber en qu medida estn relacionadas dos
variables en estudio se utiliza el modelo de regresin lineal simple, expresado
de la forma:
Y = 0 + 1X +
Y: Variable dependiente
0 y 1: Parmetros del modelo
X: Variable independiente
: Error del modelo
ECUACION DE REGRESION LINEAL SIMPLE
Cuando tenemos varias distribuciones de datos con su propia media o valor
esperado
E (Y) = 0 + 1X
La relacin lineal entre las dos variable puede ser:
E(Y)
Relacin
Si 1 > 0 lineal
positiva
X
E(Y)
Relacin
Si 1 < 0 lineal
negativa
X
E(Y)
No hay
Si 1 = 0 relacin
X
Ahora bien, cuando no se conocen los valores poblacionales se utiliza la
ECUACION DE REGRESION LINEAL SIMPLE ESTIMADA:
y = b0 + b1x
y : es el estimador puntual de E(Y)
b0 , b1: estimadores de 0 y 1 respectivamente
Para hallar la recta de regresin lineal simple estimada, a travs de los datos
muestrales, se utilizara el METODO DE LOS MINIMOS CUADRADOS, criterio
consiste en encontrar los valores de b 0 y b1 que hacen mnima la suma de los
cuadrados de las desviaciones entre los valores observados de la variable
dependiente y los valores estimados de la misma.
Ejemplo:
Suponemos una muestra de 10 restaurantes que presenta el nmero de
clientes y las ventas trimestrales:
Restauran
1 2 3 4 5 6 7 8 9 10
t
Clientes
2 6 8 8 12 16 20 20 22 26
(miles)
Ventas
58 105 88 118 117 137 157 169 149 202
(miles BF)
DIAGRAMA DE DISPERSION: Se obtiene de graficar los valores de las
variables, en este caso clientes (que ser X) contra ventas (Y)
Yi
250
200
150
100
50
0
0 5 10 15 20 25 30
Xi
Para predecir las ventas del restaurante se utilizar la recta de regresin lineal
de la forma:
yi = b0 + b1xi
yi : valor estimado de las ventas del restaurante
b0 : interseccin de la recta con el eje Y
b1 : pendiente de la recta
xi : nmero de clientes por restaurant
CRITERIO DE LOS MINIMOS CUADRADOS
Consiste en encontrar los valores de b0 y b1 que hacen mnima la suma de los
cuadrados de las desviaciones entre los valores observados y los valores
estimados de la misma variable. Se utilizan los datos muestrales.
Entonces la notacin del criterio es: min(yi yi)2
yi : valores observados de la variable dependiente
yi : valores estimados de la variable dependiente
( xix )( yi y )
b1=
(xix)2
b0 = yb 1 x
Siguendo con el ejemplo
x=
xi = 140 =14
n 10
y=
y i = 1300 =130
n 10
( x ix) ( y i y ) yi y ( xix )
2
( xix )
)
-12 -72 864 144
-8 -25 200 64
-6 -42 252 36
-6 -12 72 36
-2 -13 26 4
2 7 14 4
6 27 162 36
6 39 234 36
8 19 152 64
12 72 864 144
2840 568
2840
b1= =5
568
b0 =1305 ( 14 )=60
Luego:
yi = 60 + 5xi
250
200
150
100
50
0
0 5 10 15 20 25 30
La pendiente b1 es positiva lo que indica que la relacin lineal entre las dos
variables, nmero de clientes y venta trimestral es directamente proporcional.
Podemos predecir con la recta obtenida las ventas para cualquier nmero de
clientes, por ejemplo, para un restaurant con 16.000 clientes las ventas sern
de
yi = 60 + 5Xi
= 60 +5*16
= 60 + 80
= 140
Es decir, 140.000 Bs
SUMA DEL CUADRADO DE LOS ERRORES: SCE : ( yi^y )2
SUMA DE CUADRADOS TOTAL: STC : ( yiy )2
SUMA DE CUADRADOS DE LA REGRESION: SCR : ( ^y y )2
Se demuestra que: SCT = SCR + SCE
Para el ejemplo:
(yi - ^y
^y y - ^y )2 ( yi y )2 ( ^y y )2
70 -12 144 5184 3600
90 15 225 625 1600
100 -12 144 1764 900
100 18 324 144 900
120 -3 9 169 100
140 -3 9 49 100
160 -3 9 729 900
160 9 81 1521 900
170 -21 441 361 1600
190 12 144 5184 3600
1530 15730 14200
COEFICIENTE DE DETERMINACION:
SCR
r 2= * 100
SCT
Se expresa en forma de porcentaje, en el caso del ejemplo,
r2 = 14200/15730 = 0.9027*100, se entiende que el 90.27 % de la variabilidad
en las ventas es explicado por la relacin lineal entre los clientes y las ventas.
COEFICIENTE DE CORRELACION MUESTRAL:
r xy =( signode b 1 ) r 2
1 r xy 1
r xy tiende a 1 hay mayor correlacin positiva
Si r xy tiende a 1 hay mayor correlacin negativa
r xy tiende a 0 no hay correlacin
Para el ejemplo r xy =+ 0.9057 = + 0.9051
Luego, como r xy tiende a 1 se puede decir que hay fuerte correlacin
positiva.
ERROR ESTANDAR DE ESTIMACION
S=
SCE
n2
TABLA ANOVA. EL CONTRASTE DE REGRESIN.
En este apartado se descompone la variabilidad de la variable respuesta en
variabilidad explicada por el modelo ms variabilidad no explicada o residual,
esto permitir contrastar si el modelo es significativo o no. Bajo la hiptesis de
que existe una relacin lineal entre la variable prediccin y predictora, se
quiere realizar el siguiente contraste de hiptesis,
frente a la alternativa
por tanto, si se acepta H0, la variable predictora no influye y no hay relacin
lineal entre ambas variables. En caso contrario, si existe una dependencia
lineal de la variable respuesta respecto a la predictora.
Para todos los datos muestrales se hace la siguiente descomposicin
elevando al cuadrado y sumando se obtiene,
en base a la ortagonalidad de los vectores se obtiene que los productos
cruzados son cero, de donde se sigue la siguiente igualdad (Teorema de
Pitgoras) que permite descomponer la variabilidad de la variable respuesta
en la variabilidad explicada por la recta de regresin
ms la variabilidad residual o no explicada por el modelo
ajustado ,
Global o Total del Error de la Regresin
Ahora se puede construir la siguiente tabla ANOVA
Tabla ANOVA del modelo de regresin simple
Fuente de
Suma de Cuadrados Grados de Libertad Varianzas
Variacin
SCE
ERROR SCE = 2
1 E2=
1
REGRESIO SCR
SCR = 2 n-2 R2=
N n2
SCT
TOTAL SCT = 2 n-1 T2=
n1
Para probar si la regresin efectuada es significativa se utilizan tres tipos de
pruebas de significacin:
Prueba t
Intervalo de confianza para 1
Prueba F
PRUEBA T: Se elabora el contraste para la no relacin entre las variables, es
decir que la pendiente de la recta de regresin 1 es cero contra la pendiente
diferente de cero.
H0: 1 = 0
Ha: 1 0
Si se rechaza H0 es porque hay una relacin estadsticamente significativa
entre las variables.
El estadstico de prueba para este contraste es:
b1
t=
sb 1
En donde
x ix
2
s
s b 1=
Criterios de rechazo:
p-Valor: RECHAZO si p-valor
Valor crtico: RECHAZO si t -t /2
RECHAZO si t t /2 Donde t tiene n-2 grados de libertad
INTERVALO DE CONFIANZA PARA 1
b1 ME ME= t /2 * sb1
