Universidad Juárez
del estado de
Durango
Facultad de
Odontología
MODELO DE
REGRESIÓN LINEAL
SIMPLE Y
CORRELACIÓN
Nohé Vargas1 Chávez
REGRESIÓN LINEAL SIMPLE
El término regresión fue introducido por
Galton (1889) refiriéndose a la “ley de la
regresión universal”:
–“Cada peculiaridad en un hombre es
compartida por sus descendientes, pero en
media, en un grado menor.”
•Regresión a la media
–Su trabajo se centraba en la descripción de
los rasgos físicos de los descendientes (una
variable) a partir de los de sus padres (otra Francis Galton
variable).
REGRESIÓN LINEAL SIMPLE
Pearson realizó un estudio con más de 1000
registros de grupos familiares observando
una relación del tipo:
•Altura del hijo = 85cm + 0,5 altura del padre
(aprox.)
• Conclusión: los padres muy altos tienen
tendencia a tener hijos que heredan parte de Karl Pearson
esta altura, aunque tienen tendencia a
acercarse (regresar) a la media. Lo mismo
puede decirse de los padres muy bajos.
REGRESIÓN LINEAL SIMPLE
Describir la relación entre dos variables numéricas
•El análisis de regresión sirve para predecir una
medida en función de otra medida (o varias).
–Y = Variable dependiente
•Predicha
•Explicada
–X = Variable independiente
•Predictora
• Explicativa
Para lo cual se puede establece:
• Y = f(X) + error
–f es una función de un tipo determinado
–el error es aleatorio y no depende de X
Altura Peso
REGRESIÓN LINEAL SIMPLE en en
cm. Kg.
162 61
• Dichas observaciones pueden ser 154 60
representadas en un diagrama de
dispersión (‘scatterplot’). En ellos, 180 78
cada individuo es un punto cuyas 158 62
coordenadas son los valores de las 171 66
variables. 169 60
166 54
• Nuestro objetivo será intentar
reconocer a partir del mismo si hay 176 84
relación entre las variables, de qué 163 68
tipo, y si es posible predecir el valor ... ...
de una de ellas en función de la
otra.
Datos obtenidos de dos variables aleatorias en
varios individuos de una muestra.
Diagramas de dispersión o (‘scatterplot’).
100
90
80 Pesa 76 kg.
70
Mide 187 cm.
60
Pesa 50 kg.
50
40 Mide 161 cm.
30
140 150 160 170 180 190 200
Relación entre variables
100
lt ura
la a
90 n
co
enta
80 aum
p eso
70 el
que
e
60 a rec
P
50
40
30
140 150 160 170 180 190 200
Predicción de una variable en función de otra
Aparentemente el peso aumenta 10 Kg por cada 10 cm de altura...
O sea, el peso aumenta en una unidad por cada unidad de altura.
100
90
80
70
10 kg.
60
50
40 10 cm.
30
140 150 160 170 180 190 200
• El modelo lineal de regresión se construye utilizando la técnica
de estimación mínimo cuadrática:
– Buscar b0, b1 de tal manera que se minimice la cantidad
• Σi ei2 = Σi (Yi -Ŷ )2
• Se comprueba que para lograr dicho resultado basta con elegir:
Sy S xy
b1 r b0 y b1 x r
Sx SxS y
yˆ y b1 ( x x )
• La recta de regresión estimada será:
• Se obtiene además unas ventajas “de regalo”:
– El error residual medio es nulo.
– La varianza del error residual es mínima para dicha
estimación.
¿Cómo medir la bondad de una
regresión?
Imaginemos un diagrama de
dispersión, y vamos a tratar de
comprender en primer lugar qué
es el error residual, su relación
con la varianza de Y, y de ahí,
cómo medir la bondad de un
ajuste.
Interpretación de la variabilidad en Y
En primer lugar olvidemos que Y
existe la variable X. Veamos cuál
es la variabilidad en el eje Y.
La franja sombreada indica la zona
donde varían los valores de Y.
Proyección sobre el
eje Y = olvidar X.
Interpretación del residuo
Fijémonos ahora en los errores de predicción
(líneas verticales). Los proyectamos sobre el Y
eje Y.
Se observa que los errores de predicción,
residuos, están menos dispersos que la
variable Y original.
Cuanto menos dispersos sean los
residuos,
mejor será la bondad del ajuste.
Covarianza
• La covarianza entre dos variables, Sxy, nos indica
si la posible relación entre dos variables es directa
o inversa:
1
S xy ( xi x )( yi y )
– Directa: Sxy > 0 n i
– Inversa: Sxy < 0 N
X X Y Y
i i
i 1 S P C
S
– Sin correlación: Sxy = 0 x y
N 1 N 1
• El signo de la covarianza nos dice si el aspecto de
la nube de puntos es creciente o no, pero no nos
dice nada sobre el grado de relación entre las
variables.
Coeficiente de correlación lineal de Pearson
• El coeficiente de correlación lineal de Pearson de
dos variables, r, nos indica si los puntos tienen
una tendencia a disponerse alineadamente
(excluyendo rectas horizontales y verticales).
• Tiene el mismo signo que Sxy . Por tanto de su
signo obtenemos el que la posible relación sea
directa o inversa.
• r es útil para determinar si hay relación lineal S xy
entre dos variables, pero no servirá para otro tipo r
SxS y
de relaciones (cuadrática, logarítmica,...)
Propiedades de r
• Es adimensional.
• Sólo toma valores en [-1,1].
• Las variables son descorreladas r = 0.
• Relación lineal perfecta entre dos variables r = +1 o r = -1.
– Excluimos los casos de puntos alineados horiz. o verticalmente.
• Cuanto más cerca esté r de +1 o -1 mejor será el grado de
relación lineal.
Relación
inversa Relación
perfecta directa
Variables sin
casi
correlación
perfecta
-1 0 +1
Entrenando el ojo: correlaciones positivas.
330 130
120
280 110
230 100
90
180 80
70
130 60
80 50
r=0,1 40
r=0,4
30 30
140 150 160 170 180 190 200 140 150 160 170 180 190 200
110 100
100 90
90 80
80
70
70
60
60
50 50
40 r=0,6 40 r=0,8
30 30
140 150 160 170 180 190 200 140 150 160 170 180 190 200
Entrenando el ojo: casi perfectas y positivas
100 100
90 90
80 80
70 70
60 60
50 50
40 r=0,9 40 r=0,99
30 30
140 150 160 170 180 190 200 140 150 160 170 180 190 200
100
90
80
70
60
50
40 r=1
30
140 150 160 170 180 190 200
Entrenando el ojo: correlaciones negativas
90 80
80 70
70 60
60 50
50
40
40
30
30
20 20
10 r=-0,5 10 r=-0,7
0 0
140 150 160 170 180 190 200 140 150 160 170 180 190 200
80 80
70 70
60 60
50 50
40 40
30 30
20 20
10 r=-0,95 10 r=-0,999
0 0
140 150 160 170 180 190 200 140 150 160 170 180 190 200
Diferentes tipos de correlaciones
Ecuación del Modelo
Nombre del modelo Transformación
Modelo Linealizado
Lineal y=mx+b
Exponencial Y=αeβX Z=Ln Y X=X Z=Ln α +βX
Logarítmico Y= α +βLog X Y=Y W=Log X Y= α +βW
Doblemente Z=Log Y
Y=αXβ Z= Log α +Βw
Logarítmico W=Log X
Hiperbólico Y= α +β/X Y=Y W=1/X Y= α +βW
Inverso Y=1/(α +βX) Z=1/Y X=X Z=α +βX
• ¿Si r = 0 eso quiere decir que las variables son
independientes?
– En la práctica, casi siempre sí, pero no tiene por qué ser
cierto en todos los casos.
– Lo contrario si es cierto: Independencia implica
no correlación.
• Me ha salido r = 1,2 ¿La relación es “superlineal” [sic]?
– ¿Superqué? Eso es un error de cálculo. Siempre debe tomar
un valor entre -1 y +1.
• ¿A partir de qué valores se considera que hay “buena relación
lineal”?
– Es difícil dar un valor concreto (mirad los gráficos anteriores).
Para este curso digamos que si |r| > 0,7 hay buena relación
lineal y que si |r| > 0,4 hay cierta relación (por decir algo... la
cosa es un poco más complicada: observaciones anómalas,...)
Ecuación de la recta (Formas de expresión)
Y’ = A + BX
A = Ordenada en el origen
B = Pendiente de la recta
– Ŷ = b 0 + b1 X
b0 (ordenada en el origen, constante)
b1 (pendiente de la recta)
Y= mX + b
b= Ordenada en el origen
m = Pendiente de la recta
Y= mX + b
Determinación de la ecuación y sus
coeficientes
Altura Peso
en en
cm. Kg.
162 61
154 60
180 78
158 62
171 66
169 60
166 54
176 84
163 68
... ...
Altura Peso
en cm. en Kg.
N (x) (y) X*y
1 162 61
2 154 60
3 180 78
4 158 62
5 171 66
6 169 60
7 166 54
8 176 84
9 163 68
... ...
Altura Peso
en cm. en Kg.
N (x) (y) X*y
1 162 61
2 154 60
3 180 78
4 158 62
5 171 66
6 169 60
7 166 54
8 176 84
9 163 68
Total ... ...
Altura Peso
en en Kg.
N cm.(x) (y) X*y X*X
1 162 61
2 154 60
3 180 78
4 158 62
5 171 66
6 169 60
7 166 54
8 176 84
9 163 68
Total ... ...
Altura Peso
en en Kg.
N cm.(x) (y) X*y X*X
1 162 61
2 154 60
3 180 78
4 158 62
5 171 66
6 169 60
7 166 54
8 176 84
9 163 68
Total ... ...
Total2
Altura Peso
en en Kg.
N cm.(x) (y) X*y X*X
1 162 61
2 154 60
3 180 78
4 158 62
5 171 66
6 169 60
7 166 54
8 176 84
9 163 68
Total ... ...
Total2
Altura Peso
en en Kg.
N cm.(x) (y) X*y X*X
1 162 61
2 154 60
3 180 78
4 158 62
5 171 66
6 169 60
7 166 54
8 176 84
9 163 68
Total ... ...
Total2
Media
Altura Peso
en en Kg.
N cm.(x) (y) X*y X*X
1 162 61
2 154 60
3 180 78
4 158 62
5 171 66
6 169 60
7 166 54
8 176 84
9 163 68
Total ... ...
Total2
Media
Altura Peso
en en Kg.
N cm.(x) (y) X*y X*X
1 162 61
2 154 60
3 180 78
4 158 62
5 171 66
6 169 60
7 166 54
8 176 84
9 163 68
Total ... ...
Total2
Media
Altura Peso
en en Kg.
N cm.(x) (y) X*y X*X
1 162 61
2 154 60
3 180 78
4 158 62
5 171 66
6 169 60
7 166 54
8 176 84
9 163 68
Total ... ...
Total2
Media
Altura Peso
en en Kg.
N cm.(x) (y) X*y X*X Y*Y
1 162 61
2 154 60
3 180 78
4 158 62
5 171 66
6 169 60
7 166 54
8 176 84
9 163 68
Total ... ...
Total2
Media
