IND2515 Aula9
IND2515 Aula9
Aula 9
Estimação paramétrica, Métricas
e Aplicações dos Modelos de Regressão Linear
✓ Reescrevendo:
Como estimar os
coeficientes?!
Relação linear
entre as variáveis
N = 10 observações
Exemplo modelo de regressão linear simples
Modelo de regressão linear Y = b + b X +
0 1
Estimação dos coeficientes por mínimos quadrados
N N N
N X iYi − X i Yi
10 11016 − 265 379
bˆ1 = i =1 i =1 i =1
= = 0,97916 Equação de projeção
N
N
2
10 8019 − 265 2
N X − Xi
i
2
Yˆ = 12,0382 + 0,9792 X
i =1 i =1
bˆ0 = Y − bˆ1 X = 37,9 − 0,975916 26,5 = 12,03823
Exemplo modelo de regressão linear simples
Cálculo das somas dos quadrados total (SQT), da regressão (SQR) e dos
erros (SQE)
resíduos
Soma dos
Yˆ = 12,0382 + 0,9792 X quadrados Soma dos Soma dos
dos resíduos quadrados quadrados
SQE explicados pela totais SQT
regressão SQR
Exemplo modelo de regressão linear simples
Tabela da análise da variância (ANOVA)
1 variável
explicativa 2 coeficientes O quadrado médio do
estimados 0 e 1 resíduo é uma estimativa
Coeficiente de Por isso N - 2 da variância do erro
ˆ 2
determinação R2
SSR 949.08
R2 = = = 0,75
SST 1260.90
Exemplo modelo de regressão linear simples
Testes de hipóteses
Inferência do modelo
Teste t: Testa a significância do coeficiente de regressão linear associado com
uma determinada variável explicativa.
H0 : b1 = 0 ( ausência do efeito ) 1
H1 : b1 0 ( presença do efeito )
Distribuição t
1) Estatística teste 2) Distribuição da
bˆ estatística testes sob H0
t=
̂ b bˆ
t= ~ tN −2
ˆ b
3) Valor da estatística
teste na amostra 4) t crítico ao nível de
observada (tcalculado) significância de 5% = 2,31
=INV.T(0,025;8) no Excel
0.9792
t= = 4,9354 5) Conclusão
0,0391
t > tcrítico logo rejeita H0
Exemplo modelo de regressão linear simples
Inferência do modelo
bˆi − bi
− t N − 2 (2,5% ) t N − 2 (2,5% )
Distribuição t
ˆ bi
12,0382 − b0
− 2,31 2,31 −0,8766 b0 24,9531
5,6
0,9792 − b1
− 2,31 2,31 0,5198 1 1,4320
0,1978
0 1
Modelo de regressão linear múltipla
O modelo de regressão linear simples pode ser facilmente estendido para o caso
multivariado, em que a variável dependente é explicada por um conjunto de duas
ou mais variáveis independentes.
y = b0 + b1 x1 + b2 x2 +
A equação acima define um plano. Neste
caso, a estimação dos coeficientes de
regressão b por mínimos quadrados
consiste em ajustar um plano à nuvem de
pontos observados, de tal forma que seja
mínima a soma dos quadrados dos desvios
entre os pontos e plano de regressão.
Estimador de mínimos quadrados
Considere a seguinte especificação de um modelo de regressão linear
múltipla, cujos coeficientes são estimados a partir dos dados contidos
em uma amostra com N elementos, cada um caracterizado por uma
variável dependente e K variáveis independentes.
Yi = b0 + b1 X 1,i + b2 X 2 ,i + + bk X K ,i + i i=1,N
Em notação matricial Y = Xb +
Dados da amostra
Y1 1 X 11 X k1 1 b0
Y 1 X 12 Xk2 b
Y=
2
X = = 2 b = 1
YN 1 X 1N X kN N bk
Estimador de mínimos quadrados
Estimador de Mínimos Quadrados
b = ( X ' X ) X 'Y
ˆ −1
onde
N N N
N
N X 1,i X 2 ,i X K ,i i y
N i =1
N N
i =1
N
i =1
Ni =1
X 1,i X k ,i
X X x1,i yi
2
X 1,i X 2 ,i
i =1 i =1
1,i
i =1
1,i
i =1
i =1
X'X = N N N N X 'Y = N
X 2 ,i X 1,i X 2 ,i X 2
2 ,i X 2 ,i X k ,i x2,i yi
i =1 i =1 i =1 i =1 i =1
N N N N N
X K ,i X X X K ,i xK ,i yi
2
1,i X K ,i 2 ,i X K ,i
i =1 i =1 i =1 i =1 i =1
Estimador de mínimos quadrados
Propriedades do estimador de mínimos quadrados
()
E bˆ = b Estimador não tendencioso
(bˆ ) = (X ' X )
2 −1
Matriz de covariância dos estimadores
SQ Re síduos
ˆ =2
N −k
2
(
b ~ N K +1 b , ( X ' X )
ˆ −1
) O vetor de estimadores tem
distribuição normal multivariada
Hipóteses
Problemas de especificação
Estimador de
mínimos
quadrados
O modelo com duas variáveis independentes é mais parcimonioso que o modelo com três
variáveis independentes e neste caso a adição da terceira variável não melhorou
efetivamente a qualidade do ajuste, logo é melhor empregar o modelo com apenas duas
variáveis explicativas.
Interpretação dos coeficientes de regressão
Equação de regressão linear múltipla
Yi = b0 + b1 X 1,i + b2 X 2 ,i + + bk X K ,i + i
Onde b1, b2, b3,..., bk, são coeficientes a serem estimados
Y
150 150
52 17,2 163,2 50
38,4 16 137,2 X1
X2
87,9 18,3 241,9
72,8 17,1 191,1
88,4 17,4 232
42,9 15,8 145,3
52,5 17,8 161,1 Modelo de regressão linear múltipla a ser estimado
85,7 18,4 209,7
41,3 16,5 146,4
51,7
89,6
82,7
16,3
18,1
19,1
144
232,6
224,1
Y = b0 + bX 1 + b2 X 2 +
52,3 16 166,5
Exemplo modelo de regressão linear múltipla
Os dados das 21 localidades podem ser dispostos em um gráfico, onde cada
localidade é representada por um ponto.
passando pelo meio da nuvem de pontos. Este plano representa o valor esperado
das vendas em função da renda e da população abaixo de 16 anos em uma
localidade
Exemplo modelo de regressão linear múltipla
Modelo de regressão linear Yi = b0 + bX 1, i + b2 X 2, i + i
Estimação dos coeficientes de regressão por mínimos quadrados
(X X )
244,2 1 91,3 18,2
−1 29,7289 0,0722 -1,9926
=
154,6 1 47,8 16,3 T 0,0722 0,0004 -0,0055
181,6 1 46,9 17,3
-1,9926 -0,0055 0,1363
207,5 1 66,1 18,2
152,8 1 49,5 15,9
163,2 1 52 17,2 3.820,00
Y=
145,4
137,2
X=
1
1
48,9
38,4
16,6
16 X Y=
T
249.643,35
66.072,75
241,9 1 87,9 18,3
191,1 1 72,8 17,1
232
145,3
161,1
1
1
1
88,4
42,9
52,5
17,4
15,8
17,8
b = XTX ( )−1
X TY
209,7
bˆ0 − 68,8571
1 85,7 18,4
146,4
1 41,3 16,5
144 1 51,7 16,3
ˆ
232,6 1 89,6 18,1 b1 = 1,4546
224,1
166,5
1 82,7 19,1
ˆ
1 52,3 16 b2 9 ,3655
Exemplo modelo de regressão linear múltipla
Cálculo da soma dos quadrados totais (SST), da regressão (SSR) e do erro (SSE)
Valores estimados
pela regressão
SSE SSR
Yˆi = −68,8571 + 1,4546 X1i + 9,3655 X 2i
SST
Exemplo modelo de regressão linear múltipla
Tabela da análise da variância (ANOVA)
2 variáveis
explicativas 3 coeficientes O quadrado médio do
estimados resíduo é uma estimativa
Coeficiente de Por isso N – 3 da variância do erro
ˆ 2
determinação R2
SSR 24015.28
R =
2
= = 0,917
SST 26196,21
Exemplo modelo de regressão linear múltipla
Inferência do modelo
Teste F: Testa o efeito conjunto das variáveis explicativas sobre a variável
dependente.
H0 : b1 = b2 = 0 ( não há regressão de Y em X1 e X2)
H1 : b1 0 ou b2 0 ( presença do efeito )
H0 : b1 = 0 ( ausência do efeito )
H1 : b1 0 ( presença do efeito )
1,4546 5) Conclusão
t= = 6,8682
0,2118 tcalculado > tcrítico logo rejeita H0
Exemplo modelo de regressão linear múltipla
Inferência do modelo
Teste t: Testa a significância do coeficiente de regressão linear associado com
uma determinada variável explicativa.
H0 : b2 = 0 ( ausência do efeito )
H1 : b2 0 ( presença do efeito )
9,3655 5) Conclusão
t= = 2,3045
4,0640 tcalculado > tcrítico logo rejeita H0
Exemplo modelo de regressão linear múltipla
Inferência do modelo
Intervalos 95% de confiança para os coeficientes da equação de regressão
bˆi − bi Distribuição t
− t N − ( K +1) (2,5% ) t N −( K +1) (2,5% )
ˆ bi
K = número de variáveis independentes
95%
N = tamanho da amostra
− 68,8571 − b0
− 2,1 2,1 −194,948 b0 57,2339
60,0170
1,4546 − b1
− 2,1 2,1 1,0096 b1 1,8995
0,2118
9,3655 − b2
− 2,1 2,1 0,8274 b2 17,9036
4,0640
R2 ajustado
Problema com a estatística R2 : sempre aumenta a medida que novas variáveis
são incluídas no modelo de regressão linear múltipla, independentemente da
variável adicionada.
n −1
R 2
ajustado = 1−
n−k
(1− R )
2
Onde
n é o tamanho da amostra
K é o número de parâmetros da equação de regressão.
Qi = 0 + 1Ti + 2Yi + 3 Di + ui
69 1 143 84 0
76 1
134 85 0
81 1 117 82 0
90 1 111 86 0
94 1 109 93 1
Y = X =
100 1 100 100 1
103 1
137 104 1
108 1 122 104 1
113 1
85 137 1
115 1
1 90 102
Exemplo 2
Previsão de vendas trimestrais com modelo de regressão linear
3000
2500
2000
Vendas ($)
1500
1000
500
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
trimestres
1 Se primeiro trimestre
D1t
0 Se não é primeiro trimestre
1 Se segundo trimestre
D2 t
0 Se não é segundo trimestre
1 Se terceiro trimestre
D3t
0 Se não é terceiro trimestre
Exemplo 2
Vendas esperadas
Histórico
ANOVA
gl SQ MQ F F de significação
Regressão 5 6443613,818 1288723 190,7628 2,31527E-12
Resíduo 14 94578,83513 6755,631
Total 19 6538192,653
2500
2000
vendas
previsto
1500
observado
1000
500
0
0 5 10 15 20 25
trimestres
Exemplo 2
Previsão de vendas para o trimestre t
❑ Schwarz Criterion
❑ Durbin-Watson statistic
Yi = 0 + 1 X i
Akaike Information Criterion
✓ Formalmente:
^
N
Y (t ) − Y (t )
t =1 Y (t )
x100
MAPE =
N
Y(t) é o valor da série temporal no período (t);
^
Y (t ) é o valor ajustado da série temporal para o período (t);
N – total de observações;
OBS: quanto menor o MAPE, melhor.
MAD (Mean Absolute Deviation)
✓ Formalmente:
N ^
Y (t ) − Y (t )
MAD = t =1
N
✓ Formalmente:
2
N ^
Y (t ) − Y ( t )
RMSE = t =1
N
53
Dúvidas?!
• Próxima aula:
• Introdução a Séries Temporais e Modelos de
Previsão.