EXERCICE 1.
(4 points)
On considere le modele lineaire suivant: [y = X b + & (1)1, ou:
-y = (y1 , y2 , ... , Yn)' est le vecteur des observations de la variable reponse y ;
1 Xu ... X1p)
-X = : : ··. : est la matrice des observations des variables explicatives.
(1 Xn1 Xnp
On suppose que rang(X)=p+ 1. h = (ho, h 1 , ... , hp)' est le vecteur des parametres inconnus ;
8
= (ei, e2 , ... , en)' , le vecteur aleatoire des erreurs qui suit une loi normale : N 0 (0, a~ In) ou I0 est
la matrice identite (n x n) et a~ le parametre variance inconnu.
Soient bmco et u!co les estimateurs des moindres carres ordinaires « MCO » des parametres b et <re,
et bMv et u~v les estimateurs par la methode du maximum de vraisemblance des parametres b et <re
du modele (1).
1. La prediction du modele (1) est obtenue par une projection orthogonale de y sur le sous-espace
vectoriel engendre par les variables explicatives X. Y = X a. = PxY, ou Px = X (X' X)- X' de terme
1
courant hij· Sachant que la matrice Px est symetrique et idempotente montrer que O hu ~1. (2 pts)
2. On suppose que les hypotheses (stochastiques et structurelles) du modele (1) soient verifiees
'
(2 t )
...... 2
montrer que 0'6 =
f1f ' ,..
n-(p+l) ou £ Y - J• =
Ps
Page hur4
EXERCICE 2. (16 points)
On cherche a expliquer la variable z (le logarithme de la valeur ajoutee y) par les variables explicatives
suivantes ( 1) :
FACTEUR DESCRIPTION
A =Log(K) Logarithme du capital K
B = Log(L) Logarithme du travail L
U=A*B A*B
V=A 2 A2
W=B 2 B2
Le modele de la regression que nous estimons est le suivant :
Zt = bo + b1 At+ b2 Bt + b3 Ut + b4 Vt+ b5 Wt+ Et (1); t =l, 2, ...
L'estimation du modele (1), par les mco, a ete compilee par le logiciel STATA (figure suivante) .
. reg Z ABU VW
Source ss df MS Number of obs = 21
F(5, 15) = 1207.30
Model .238491358 5 .047698272 Prob> F
f
= 0.0000
Residual .000592621 15 .000039508 R-squared = 0.9975
Adj R-squared = 0.9967
Total .239083979 20 .011954199 Root MSE = .00629
z Coef. Std. Err. t P>ltl (95% Conf. Interval]
A -.6884081 .5759926 -1.20 0.251 -1.916107 .5392911
B .4103995 .635679 0.65 0.528 -.9445183 1.765317
u 1.019071 .2380995 4.28 0.001 .5115742 1.526568
V -.4595261 .124331 -3.70 0.002 -•7245313 -,1945208
w -.4196776 .1178677 -3.56 0.003 -.6709067 -.1684485
-cons 1.06544 2.477967 0.43 0.673 -4.216222 6.347101
t. Donner le modele estime en faisant une lecture detaillee des resultats obtenus. (4 pts)
2. Avec le modele ainsi obtenu, est ce que l'objectif de la modelisation est atteint « oui ou non»? En
justifiant votre reponse, essayer d' avancer les raisons derrieres votre reponse, et proposer des remedes,
dans le cas echeant, a cette situation. (4 pts)
Pagel 1ur.e
4. Commenter chacune d .
es sorties Stata suivantes, preciser les finalites et conclure. (4 pts)
, elasticnet linear zABuvw, alp~as( 0) . cvplot
Hastie net linear rooel ~. of obs : 21 Cross-validation plot
~, of covariates = 5 Aol
~election: Cross-valioation ~. of 0J folos = 10
II)
r
~ ;
C ,,
~. of M-of· 0J rean 0
;;
01"'
oonzero Sil~le pr~iction · -
~-
. Co
alpna ID ~scri~ion l1Ma coef, R-squa~ error C
0
;;
tU
:2
0,000 ill)
10
°'O
1 first lllx!a 106,2466 5 0.0815 .0mrn e
0).
89 lifbja llefore .0295638 5 0.9916 .0000958
0
t 90 selected lllxla .0269374 5 0.9916 .0000958
lm after
-
91 0,9916 .0000959
·-·
.0245444 5 0
7 I I 'I
94 last l1Ma .0185~9 5 0.9916 .0000962 100 10 1 .1
A
ac., Cross-vaii:jation minimum al~ a=O
la Cross-validation minimum lamlxla A=.027, #Coefficients=5.
• al~a ano lifbja selected ~y cross-vali~ation.
. ridgereg Z ABU V W, model(orr) kr(0.027)
================--------------------------------------------------------------
* (OLS) Ridge Regression• Ordinary Ridge Regression
=================----------------------------- -- - -----------------
Z=A+B+U+V+W
Ridge k Value = I Ordinary Ridge Regression
0.02700
------------------------------------------ ----------
z Coef.
A .1764957
B .6759395
u ,0225324
V .0141667
w .0483751
cons -4.03213
Page 4 sur 4
3. Commenter les sorties Stata suivantes, en precisant la finalite de chacune de ces deux commandes
Stata. (4 pts) •
. vselect Z A B U V W, aic forward
FORWARD variable selection
Information Criteria: AIC
Stage 0 reg Z : AIC -32.3893 , vselect 2ABUVW, ~st
AIC -118,1092 : add A
AIC -85.61246 : add B
AIC -130.5474 : add u Res~nse : 2
AIC -116.9505 : add V
AIC -88.51813 : add w ~elected ~redictors: UVWA8
Stage 1 reg Z U : AIC -130. 5474
AIC -138.2638 : add A O~timal moo els:
AIC -139.3528 : add B
AIC -141.4786 : add V
AIC -138.193 : add w #Preds R2ADJ C AIC AICC BIC
Stage 2 reg Z UV : AIC -141.4786
1 .9890m 45.nm -126.2945 •124.8827 -124,20,4
AIC
AIC
-139 .4898 :
-139.503 :
add A 2 .9948948 12.7'J45 -141.4292 -B8,9292 ·BB.2956
add B
AIC -150.378 : add w , ,996745 ,.700128 ·150,0809 ·146,0809 -14),9028
Stage 3 reg Z UV W: AIC -150.378
' 4 ,9967664 4.61424 ·149,4927 ·14"4927 -144.2701
AIC -149.814 : add A 5 .9966865 6-148.m5 -rn.1202 -142.0684
AIC -148.4794 : add B
Final Model
~redictors for each mooel:
source ss df MS Number of obs = 21
F(3, 17) = 2071.64
Model .238431783 3 .079477261 Prob > F 0,0000
Residual .000652196 17 .000038364 R-squared
=
= 0.9973
1 u I
I
Adj R•squared = 0.9968
Total .239083979 20 .011954199 Root MSE = .00619
2 'I UV
z Coef. Std. Err. t P>ltl [95% Conf. Interval] '4 '
I
I
I
uvw
UVWA
u
V
.9533332
-.4775754
.2164908 4.40 0.000 .4965775 1.410089 5 UV WA 8
I
I
.1179129 -4.05 0,001 - , 7263498 -.228801
w - .3618847 ,1064069 -3 .40 0.003 - . 5863837 -,1373856
_cons .3861777 .6284101 0,61 0.547 - .9396517 1, 712007
Pag, J 1ur 4
