Décision et

Prévision
Statistiques

Thierry Verdel (2007)

 Chapitre 7

La régression linéaire

Les sciences exactes sont fondées sur la notion de relations

répétables, qui peut s’énoncer ainsi : dans les mêmes conditions, les
mêmes causes produisent les mêmes effets. Notant alors x la mesure

la relation fonctionnelle y = fc HxL : à une valeur donnée de x

des causes, et y celle des effets, la liaison entre y et x s’écrit suivant

correspond une valeur bien déterminée de y.

Or, pour de nombreux phénomènes (notamment industriels),
une étude exhaustive de tous les facteurs est impossible, à cause de
leur grand nombre ou de leur complexité. Il en résulte que la
reproductibilité des conditions, d’une expérience à une autre, ne
peut être garantie. Partant de cette constatation, la statistique va
permettre d’étendre la notion de relation fonctionnelle répétable, à
celle de corrélation où la relation entre x et y est entachée d’une

on écrira y = f HxL + ! , où ! est une variable aléatoire.

certaine dispersion due à la variabilité des conditions d’expérience :
Chapitre 7 : La régression linéaire 107

1. La droite des moindres carrés

1.1. Nuage des individus

Le problème est d’étudier l’influence d’une variable quantitative X sur une autre variable
quantitative Y . La première est souvent appelée variable explicative (ou encore exogène) et la
seconde est appelée variable expliquée (ou encore endogène). Pour résoudre ce problème, on a
réalisé une expérimentation qui consiste à prélever un échantillon de n individus, et à mesurer sur
chacun d’eux les valeurs prises par chacune des deux variables. En vue, par exemple, d’étudier
l'influence de la teneur en carbone d’un acier sur sa résistance à la traction, on a procédé à la

d'observations Hxi , yi L que l’on peut représenter sur un graphique, dans le plan !2 , où chaque point
mesure de ces deux variables sur 100 éprouvettes. On dispose donc d’un échantillon de n couples

i, d’abscisse xi et d’ordonnée yi , correspond à un couple d’observations. Plusieurs cas peuvent se

présenter.
Les points s’alignent sur une courbe qui, dans l’hypothèse la plus simple est une droite. On dit
que la relation entre Y et X est fonctionnelle : lorsque la valeur de X est donnée, celle de Y est
déterminée sans ambiguïté. C’est le cas idéal qui, expérimentalement, n’est jamais réalisé de façon
parfaite.

(7.1)

Les mesures sont en effet toujours entachées de quelque imprécision. Les points forment alors
un nuage. Mais celui-ci présente une orientation qui suggère, par exemple, que lorsque X
augmente, la valeur moyenne de Y augmente également.

(7.2)

Lorsque X est donné, Y n’est pas complètement déterminé : ses valeurs se dispersent autour
d'une certaine valeur moyenne. Mais les valeurs moyennes décrivent, lorsque X varie, une courbe
qui est appelée la ligne de régression de Y par rapport à X :
108 Chapitre 7 : La régression linéaire

EHY ê X = xL = f HxL.
La liaison entre Y et X est alors appelée stochastique (ou statistique). Un cas particulièrement
important est celui où le nuage se dispose suivant une forme allongée et exhibe une tendance
sensiblement linéaire. C’est à ce cas de régression linéaire que nous allons nous attacher dans ce
chapitre.

(7.3)

Cette condition de linéarité n’est pas aussi restrictive qu’il pourrait paraître : une transformation
mathématique appropriée permettra toujours de passer d’une ligne de régression d’équation
quelconque à une droite de régression. Si la tendance est, par exemple, de la forme y = b xa , il
suffira d’effectuer les changements de variable y ' = logHyL et x ' = logHxL pour retrouver une
relation linéaire : logHyL = a logHxL + logHbL.

1.2. Caractérisation de la droite de régression

Nous cherchons une droite y* = a x + b qui décrive au mieux la tendance du nuage observé. La
démarche la plus couramment utilisée consiste à :
- faire l’hypothèse que, pour chaque individu i, on a : yi = a xi + b + ei , où ei est une certaine
« erreur », appelée résidu, qui s’ajoute à la valeur y*i = a xi + b qui résulterait d’une relation
fonctionnelle linéaire entre Y et X ,
- à rechercher la droite y* = a x + b, qui est dite droite des moindres carrés, telle que la somme
quadratique des résidus ei soit minimale, c’est-à-dire que :
S = ⁄ni=1 ei 2 soit minimale.

(7.4)

Cette quantité S s’écrit en fonction de a et b : S = ⁄ni=1 Hyi - a xi - bL2 . Elle est minimale si les
dérivées partielles par rapport à a et b sont nulles :
!S
ÅÅÅÅÅÅÅÅ = -2 ⁄ni=1 xi Hyi - a xi - bL = -2 ⁄ni=1 xi ei = 0 (1)

! ÅbÅÅÅ = -2 ⁄i=1 Hyi - a xi - bL = -2 ⁄i=1 ei = 0

!a
!S n n
ÅÅÅÅ (2)
Chapitre 7 : La régression linéaire 109

En appelant êêy et êêx les moyennes des valeurs xi et yi :

êêy = ÅÅÅÅ1 ⁄n y et êêx = ÅÅÅÅ1 ⁄n x ,
n i=1 i n i=1 i

l’équation (2) permet d’obtenir la valeur de l’ordonnée à l’origine de la droite :

b = êêy - a êêx ,

coordonnées Hx
êê, êêyL, puisque son équation devient :
ce qui signifie que la droite des moindres carrés passe par le point moyen du nuage, de

y* - êêy = aHx - êêx L

Le système des deux équations (1) et (2) devient alors, en remplaçant b par sa valeur :
⁄ni=1 xi @Hyi - êêy L - aHxi - êêx LD = 0 (3)
⁄n @Hy - êêy L - aHx - êêx LD = 0
i=1 i i (4)
Multipliant (4) par êêx et retranchant de (3), il vient :
⁄n Hx - êêx L @Hy - êêy L - aHx - êêx LD = 0
i=1 i i i (5)
d’où l’on déduit la valeur de a :
⁄n Hx -xêêL Hy -êêyL
⁄i=1 i Hx -xêêL2 ÅÅÅÅÅÅÅÅ
a = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
i=1 i
n ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
i

On peut noter que : ÅÅÅÅ1n ⁄ni=1 Hxi - êêx L Hyi - êêyL est la covariance empirique de X et Y , et que :
ÅÅÅÅ1n ⁄ni=1 Hxi - êêx L2 est la variance empirique de X . Par conséquent, l’expression de a peut s’écrire :
sHX ,Y L
s2 HX L
a = ÅÅÅÅÅÅÅÅ
ÅÅÅÅÅÅÅÅ

1.3. Analyse de la variance

Rapportant l’observation yi à la moyenne êêy des observations, on peut écrire :
Hyi - êêy L = a Hxi - êêx L + ei
Dans cette expression, la quantité a Hxi - êêx L représente ce qui est « expliqué » par X , et la
quantité ei est une erreur qu’on a appellée un résidu.
En élevant au carré et en sommant pour toutes les observations, il vient :
⁄ni=1 Hyi - êêyL2 = a2 ⁄ni=1 Hxi - êê
x L2 + ⁄ni=1 ei 2 (6)
En effet, le double produit est nul puisqu’il peut s’écrire :
2 a⁄ni=1 Hxi - êêx L@Hyi - êêyL - aHxi - êêx LD,
forme sous laquelle on reconnait le premier membre de l’équation (5) précédente.
La relation (6) est appelée équation d’analyse de la variance. En fait, il s’agit de sommes de
carrés : il faudrait diviser par n pour obtenir des variances. La relation (6) s’écrit souvent :
SCT = SCE + SCR
Elle décompose la somme des carrés totale SCT en une somme expliquée SCE et une somme
résiduelle SCR.
110 Chapitre 7 : La régression linéaire

1.4. Coefficient de corrélation

On définit alors le carré du coefficient de corrélation noté r2 comme le ratio :
SCE
r2 = ÅÅÅÅÅÅÅÅ
SCT
ÅÅÅ

Il représente donc la part relative de la variabilité totale de Y qui est expliquée par X :
SCE = r2 SCT
Et, symétriquement, H1 - r2 L représente la part résiduelle :
SCR = H1 - r2 L SCT (7)
En explicitant SCE et SCT puis a, on peut écrire :
a2 ⁄n Hx -x
êêL2 @⁄n Hx -x
êêL Hy -y
êêLD2
s HX ,Y L
Hy -y s2 HX L s2 HY L
ÅÅÅÅÅÅÅÅêêÅÅÅÅL2ÅÅÅÅÅ = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
Hx -x êêL2 nÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
Hy -y L2
⁄i=1 i ⁄i=1 i ⁄i=1 i
2
r2 = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
n
i=1 i
n
i=1 i i
êêÅÅÅÅÅ = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
ÅÅÅÅÅÅÅÅÅ .

Le coefficient de corrélation a le signe de la covariance :

⁄n Hx -x
êêL Hy -y
êêL
sHX ,Y L
"################################
êê 2 n #################êê 2# sHX L sHY L
⁄i=1 Hxi -x L ⁄i=1 Hyi - yL
r = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
n
i=1 i
ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
i
ÅÅÅÅÅÅÅÅ
ÅÅÅÅ = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
ÅÅÅÅÅ

de telle façon que, si X et Y varient dans le même sens, r est positif ; sinon, il est négatif.
Il résulte de la relation (7) que le coefficient de corrélation est toujours compris entre -1 et 1,
puisqu’une somme de carrés est nécessairement positive.
Le coefficient de corrélation présente les valeurs remarquables suivantes :
- si » r » = 1 , il y a une relation fonctionnelle linéaire entre X et Y ;
- si r = 0, Y est indépendante de X : la covariance est nulle et la droite de régression est
horizontale.
- la liaison entre X et Y est d’autant plus intime que » r » est voisin de 1, et d’autant plus faible
que » r » est voisin de 0 .

(7.5)
Chapitre 7 : La régression linéaire 111

2. Propriétés statistiques de la droite des moindres carrés

2.1. Le modèle de la régression linéaire

Nous nous sommes jusqu’ici limités à décrire l’échantillon des valeurs observées Hxi , yi L sans
faire d’hypothèses sur la structure de la population dans laquelle il a été prélevé. Pour pouvoir
pratiquer l’inférence, c’est-à-dire émettre des conclusions qui soient valables pour cette
population, nous sommes obligés d’adopter un modèle de population.
Nous admettrons que, pour un individu i prélevé au hasard dans la population, xi est connu sans
erreur, et que yi est une réalisation d’une variable aléatoire : Yi = a xi + b + !i . Les paramètres
a et b sont des quantités certaines, mais inconnues qu’il faudra estimer.

(7.6)

Les quantités !i sont des variables aléatoires avec les propriétés suivantes :
- elles sont centrées : E H!i L = 0,
- elles ont même variance : E H!i 2 L = s2 ,
- elles sont indépendantes : EH !i ! j L = 0 si i " j .
Pour une valeur donnée xi , on a :
E @Y Hxi LD = a xi + b.
La ligne de régression est donc la droite d’équation y = a x + b. La dispersion autour de cette
droite correspond à un écart-type s : elle est indépendante de X .
Rappelons que nous avions écrit, à partir de la droite des moindres carrés que :
yi = a xi + b + ei

a et b et qu’il est possible d’estimer s2 à partir de SCR = ⁄ni=1 ei 2 .

Sous les hypothèses ci-dessus, nous allons montrer que a et b sont des estimations sans biais de
112 Chapitre 7 : La régression linéaire

2.2. Propriétés de a et b
Conformément au modèle adopté, a est à considérer comme une réalisation de la variable
aléatoire :
⁄n Hx -xêêL HY -Y L
êêê

⁄n Hx -x êêL2ÅÅÅÅÅÅÅÅÅ
A = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
i=1 i
ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
i

i=1 i

et b comme une réalisation de la variable aléatoire :

êêê
B = Y - A êê
x.
A et B sont des estimateurs sans biais et convergents de a et b. Les calculs qui permettent de le
montrer, peuvent être omis mais ils constituent toutefois un bon entrainement à la pratique des
opérateurs " espérance mathématique " et " variance ".
Tenant compte de ce que Yi = a xi + b + !i , on peut mettre A et B sous la forme :
⁄n Hx -x
êêL H! -!
êêL ⁄n Hx -x
êêL !
Hx -x
⁄i=1 i êêL2 ÅÅÅÅÅÅÅ = a + ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
Hx -xêêL2
⁄i=1 i
A = a + ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
i=1 i
n ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
i i=1 i
n ÅÅÅÅÅÅÅÅÅÅÅÅiÅ

x HA - aL + êê
B = b - êê !
On en déduit tout d’abord les espérances mathématiques de A et B :
⁄n Hx -x
êêL EH! L
Hx -x L2
⁄i=1 i
EHAL = a + ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
i=1 i
n ÅÅÅÅÅÅÅÅêê
ÅÅÅÅÅÅÅÅÅiÅÅÅ = a
êêL = b
EHBL = b - êêx EHA - aL + EH!
On peut calculer ensuite les variances de A et B :

s2 HAL = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
⁄n Hx -x
êê2 L s2 H! L
@⁄i=1 Hxi -x L D Hx -x
⁄i=1 êêL2ÅÅÅÅ
2
s
i=1 i
n
ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
êê 2 ÅÅÅÅ
2 ÅÅÅÅÅ = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
i
n ÅÅÅÅÅÅÅÅ

s2 HBL = êêx 2 s2 HAL + s2 H!

êêL - 2 sH!
i

êê
êê, AL = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
Hx -x êêL2ÅÅÅÅ + ÅÅÅÅnÅÅÅÅ
⁄i=1
x 2 s2 s2
n ÅÅÅÅÅÅÅÅ
i

puisque la covariance de êê
! et A est nulle :

ÅÅÅÅÅÅÅÅÅÅÅÅiÅ F = ÅÅÅÅ1n ‚
⁄n Hx -x
êêL ! ⁄n Hx -x
êêL EH! ! L
n ‚
êê, AL = EB ÅÅÅÅ1 n n
⁄n Hx -xêêL2 ⁄n Hx -x êêL2ÅÅÅÅÅÅÅÅÅÅ = 0
sH! ! j ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
i=1 i
ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
i=1 i i j

j=1 i=1 i j=1 i=1 i

On peut enfin calculer la covariance de A et B :

sHA, BL = E@HA - aL HB - bLD = E@HA - aL H! x HA - aLLD = sH!

êê, AL - êêx s2 HAL = - ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
êê - êê êê
Hx -x êêL2ÅÅÅ ⁄i=1
x s2
n ÅÅÅÅÅÅÅÅ

On constate ainsi que A et B sont des estimateurs de a et b : sans biais HEHAL = a, EHBL = bL
i

et convergents Js2 HAL = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ êêL2ÅÅÅÅ øö 0 et s HBL = J ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ n N s øö 0N mais qu’ils ne

êê
Hx -x ⁄i=1 Hx -x êêL2ÅÅÅÅ + ÅÅÅÅ ⁄i=1
s2 2 x2 1 2
ÅÅÅÅÅÅÅÅ ÅÅÅÅÅÅÅÅ
sont pas indépendants Hs HA, BL " 0L.
n n
i nض i nض

êêê êê, AL = 0. Ce résultat sera exploité un peu plus

Par contre, A et Y sont indépendants puisque sH!
loin.

2.3. Estimation de s2
Montrons maintenant que :
Chapitre 7 : La régression linéaire 113

SCR ⁄n e 2 H1-r2 L ⁄n Hy -y
êêL2
s*2 = ÅÅÅÅÅÅÅÅ
n-2ÅÅÅÅ = ÅÅÅÅÅÅÅÅ
ÅÅÅÅÅÅÅÅÅ = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
i=1 i
n-2 n-2 ÅÅÅÅÅÅÅÅÅ
i=1 i

est une estimation sans biais de s2 .

Utilisant conjointement :
Hy - êêyL = aHx - êêx L + e
i i i

Hyi - êêyL = aHxi - êê

x L + H!i - êê
!L
on peut écrire que :
⁄ni=1 H!i - ! L2 = Ha - aL2 ⁄ni=1 Hxi - êêx L2 + ⁄ni=1 ei 2 + 2 Ha - aL ⁄ni=1 Hxi - êê
x L ei
êê

On en déduit que :
EH⁄ni=1 ei 2 L = Hn - 1L s2 - s2 - 0 = Hn - 2L s2 ,
et finalement :
EHs*2 L = s2

3. La prévision statistique

3.1. Objectifs
Dans une entreprise, on peut distinguer trois fonctions essentielles que nous allons brièvement
illustrer par des exemples.
Décision : les performances d’un matériel dépendent de son âge. Au-dessous d’un certain seuil
de performance, il convient de le réformer. Etant donné l’âge d’un matériel, il faudra décider de sa
réforme ou de son maintien en activité.
Prévision : la consommation en matière première (ou en énergie) dépend de la quantité produite.
Visant, pour une période future, une certaine production, quel stock de matière première faut-il
prévoir ?
Contrôle : dans le même contexte, une certaine production ayant été assurée pour une certaine
consommation, cette dernière est-elle « normale », faible, élevée ?
Ces trois problèmes se formulent finalement de la même façon. Pour une valeur donnée de X ,
quelle valeur attribuer à Y , et avec quelle précision ? D’un point de vue pratique, c’est l’objectif
principal de ce qui suit.

(7.7)
114 Chapitre 7 : La régression linéaire

Nous chercherons à apporter des réponses aux questions suivantes :

- la liaison entre les deux variables Y et X est-elle significative ? Autrement dit, peut-on ou non
admettre que a = 0 ?
- quels intervalles de confiance retenir pour les paramètres du modèle a et b ?
- pour une valeur donnée de X , comment estimer la valeur correspondante de Y ?

3.2. Hypothèse de normalité

La résolution de ces problèmes nécessite de compléter le modèle, en admettant pour les !i , outre
les hypothèses précédentes (variance constante, indépendance), l’hypothèse de normalité.
Cette dernière hypothèse va permettre d’établir les lois de probabilité des estimateurs A et B, et
celle d’un point quelconque A x + B. En effet, les xi étant fixés, ces trois quantités sont des
combinaisons linéaires des !i , donc suivent elles aussi des lois normales.
⁄n e 2

une loi du c à Hn - 2L degrés de liberté, et qu’elle est indépendante des quantités A et B.

On peut montrer d’autre part que, sous l’hypothèse de normalité des !i , la quantité : ÅÅÅÅÅÅÅÅ
ÅÅÅÅÅÅÅÅÅ suit
i=1 i
s2
2

3.3. Test d'indépendance des variables

La variable aléatoire A suit une loi normale dont nous avons montré en 2.2 que l'espérance était
égale à a et la variance à :
s2 HAL = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
⁄n Hx -xêêL2
2
s
ÅÅÅÅÅÅÅÅÅÅÅ .
i=1 i

Faisons l’hypothèse qu’il n’y a pas de liaison entre les variables, c’est-à-dire que a = 0. Il en
A
découle que A suit une loi de moyenne nulle, donc que la quantité ÅÅÅÅÅÅÅÅ ÅÅÅÅ suit une loi normale
sHAL
centrée réduite.
Par suite, si on estime s2 par :
H1-r2 L ⁄n Hy -êêyL2
s*2 = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
i=1
n-2
i
ÅÅÅÅÅÅÅÅÅ

la quantité :

"################ ########
A
ÅÅÅÅêêÅÅÅÅ2#ÅÅ
s* í ⁄i=1 Hxi -x L
T = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
n

suit une loi de Student à Hn - 2L degrés de liberté.

Il suffit de calculer sa valeur expérimentale :

"################ ########
a
ÅÅÅÅêêÅÅÅÅ2#ÅÅ
s* í ⁄i=1 Hxi -x L
t = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
n

et de la comparer au seuil lu dans la table correspondante pour le risque choisi.

Les mêmes propriétés permettent de calculer un intervalle de confiance pour a.
Chapitre 7 : La régression linéaire 115

3.4. Test de nullité de l'ordonnée à l'origine

La variable aléatoire B suit une loi normale d'espérance égale à b, ordonnée à l’origine de la
droite de régression yHxL = a x + b, et nous avons montré en 2.2 que sa variance était égale à :

s2 HBL = J ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ n Ns .
êê2
⁄i=1 Hx -x êêL2ÅÅÅ + ÅÅÅÅ
x 1 2
n ÅÅÅÅÅÅÅÅ
i

Hb = 0L, ou calculer un intervalle de confiance pour l’estimation de b.

En procédant comme précédemment, on peut tester si la droite de régression passe par l’origine

3.5. Intervalles de confiance pour une valeur donnée x de X

Nous allons envisager successivement les intervalles de confiance :
- d’un point de la droite de régression yHxL = a x + b, c’est-à-dire de la valeur moyenne des
observations pour une valeur x donnée,
- puis d’un point du nuage Y HxL, c’est-à-dire de la valeur d’une observation pour une valeur x
donnée.
Il est absolument nécessaire de bien prendre conscience de la différence fondamentale entre ces

de l’intervalle de confiance de Y HxL, alors que dans le premier cas il s’agit de l’intervalle de
deux problèmes, dont les applications sont nombreuses et importantes : il s’agit dans le second cas

confiance de E @Y HxLD.

3.5.1. Intervalle de confiance d'un point de la droite y = a x + b

L’équation de la droite de régression s’écrit :

yHxL = a x + b.

Celle de la droite des moindres carrés s’écrit :

y* HxL = a x + b
que l’on considère comme une réalisation de la variable aléatoire
Y * HxL = A x + B.
D’après les résultats établis en 2.2, E@Y * HxLD = yHxL. Donc le point y* HxL de la droite des
moindres carrés est une estimation du point correspondant de la droite de régression yHxL.
Pour calculer maintenant la variance de Y * HxL, on l’écrit sous la forme :
Y * HxL = A Hx - êê
xL + Y
êêê
êêê
qui sera commode puisqu’on a vu que A et Y sont indépendantes. D’où la variance :

s2 @Y * HxLD = Hx - êêx L2 s2 HAL + s2 HY L = J ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ

Hx-xêêL2
n Ns
êêê
⁄ Hx -x êêL2ÅÅÅ + ÅÅÅÅ
1 2
n ÅÅÅÅÅÅÅÅ
i=1 i
116 Chapitre 7 : La régression linéaire

Y * HxL-yHxL
s@Y * HxLD
ÅÅÅÅÅÅÅÅÅ suit une loi normale réduite. Et en estimant s par s* , le quotient :
La quantité ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
Y HxL-yHxL
*
T = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
ÅÅÅÅÅÅÅÅÅÅÅÅ
s* $%%%%%%%%%%%%%%%%
Hx- xL
ÅÅÅÅÅÅÅÅ%%%%%%%%%1n%%%
êê 2
⁄n Hx -xêêL2
ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ ÅÅÅÅ + ÅÅÅÅ
i

suit une loi de Student-Fisher à Hn - 2L degrés de liberté. Cette propriété permet de trouver un
i=1

intervalle de confiance pour yHxL. Pour un risque a donné, on a :

ya HxL œ a x + b # taê2 s* $%%%%%%%%%%%%%%%%

Hx-x L
êê%L%%%%%%%%%%%%
%
êê
Hx -x ⁄i=1
2
1
ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
n ÅÅÅÅÅÅÅÅ
2ÅÅÅ + ÅÅÅÅ
n i

Lorsque x varie, les limites ya HxL décrivent une hyperbole. La droite de régression inconnue
yHxL = a x + b se situe dans la zone comprise entre les deux branches de cette hyperbole.

(7.8)

3.5.2. Intervalle de confiance d'une observation

faire des prévisions sur l’ordonnée yn+1 d’un Hn + 1L ème point d’abcisse xn+1 donnée. Cela
Un échantillon de n points a permis de déterminer les estimations a, b et s* . Nous cherchons à

revient à estimer yn+1 et à déterminer son intervalle de confiance.

Pour estimer yn+1 on prendra :
y* Hxn+1 L = a xn+1 + b
qui est une estimation sans biais. En effet :
- yn+1 est une réalisation de Yn+1 = yHxn+1 L + !n+1 avec yHxn+1 L = a xn+1 + b,
- y* Hxn+1 L est une réalisation de Y * Hxn+1 L = A xn+1 + B
et, d’après 2.2, on a bien E @Yn+1 - Y * Hxn+1 LD = 0.

prévision HYn+1 - Y * Hxn+1 LL en calculant sa variance. Ecrivons pour cela que :

Pour déterminer maintenant la précision de cette estimation, il faut caractériser l’erreur de

Yn+1 - Y * Hxn+1 L = HYn+1 - yHxn+1 LL - HY * Hxn+1 L - yHxn+1 LL

= !n+1 - HY * Hxn+1 L - yHxn+1 LL.
Chapitre 7 : La régression linéaire 117

Les deux quantités !n+1 et Y * Hxn+1 L sont indépendantes puisque la seconde ne fait intervenir que
les n premières observations, alors que la première concerne la Hn + 1L ème observation. Et, par
conséquent, les variances s’ajoutent :

s2 @Yn+1 - Y * Hxn+1 LD = s2 H!n+1 L + s2 @Y * Hxn+1 LD = s2 + J ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ

Hxn+1 -x L
ÅÅÅÅÅÅÅÅÅÅÅ + ÅÅÅÅ1n N s2 .
êê
Hx -xêêL2
⁄i=1
2
n
i

Il en résulte que la variable centrée, réduite :

Yn+1 -Y Hxn+1 L *
T = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
s* $%%%%%%%%%%%%%%%%
%%%%%%%%%ÅÅÅÅÅÅÅÅ
Hxn+1 -x L
%%%%%%%%
êê 2
⁄n Hx -êêx L2
1+ ÅÅÅÅ1n + ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ ÅÅÅÅ

suit une loi de Student à Hn - 2L degrés de liberté, ce qui permet de trouver l’intervalle de
i=1 i

confiance cherché.
On remarque, et c’est normal, que plus xn+1 est éloigné de êêx , plus cet intervalle est grand. Il
serait, de toute façon, illusoire et dangereux de prétendre faire des prévisions de Y HxL pour des
valeurs de x qui se trouveraient en dehors de l’intervalle de variation des données expérimentales
ayant permis de calculer les relations sur lesquelles reposent ces prévisions.

en notant que, si xn+1 n’est pas trop éloigné de êêx , la quantité Hxn+1 - êê x L2 est généralement
En fait, on simplifie le plus souvent l’expression de l’intervalle de confiance d’une observation

négligeable devant la quantité ⁄ni=1 Hxi - êêx L2 , et en admettant que n est suffisamment grand pour
que l’on puisse négliger ÅÅÅÅ1n devant 1.

Dans ces conditions, la plage de confiance des observations, au risque !, est comprise entre les
deux droites parallèles :
y = a x + b # taê2 s*

(7.9)

4. Comparaison de deux régressions

Soit deux groupes d’individus, sur lesquels ont été mesurées les valeurs de deux variables Y et
X : n1 individus pour le premier groupe, et n2 pour le second.
118 Chapitre 7 : La régression linéaire

Groupe 1 Groupe 2
Y X Y X
y11 x11 y12 x12
ª ª ª ª
yi1 xi1 yi' 2 xi' 2
ª ª ª ª
yn1 1 xn1 1 yn2 2 xn2 2

Désignons la droite des moindres carrés correspondant au premier groupe par :

y1 * = a1 x + b1
et sa variance résiduelle estimée par s1 *2 .
Désignons la droite des moindres carrés correspondant au second groupe par :
y2 * = a2 x + b2
et sa variance résiduelle estimée par s2 *2 .
La comparaison va porter successivement sur les variances, puis sur les pentes et, enfin, sur les
ordonnées à l’origine. Les tests correspondants étant calqués sur ceux qui ont été mis en oeuvre
pour la comparaison de deux populations, nous nous limiterons à leur principe.

4.1. Comparaison des variances

Le test à appliquer est celui de Snedecor, au quotient :
*2
s1
f = ÅÅÅÅÅÅÅÅ
s2 *2ÅÅÅ ,

avec Hn1 - 2L degrés de liberté au numérateur, et Hn2 - 2L degrés de liberté au dénominateur.

Si l’hypothèse d’égalité des variances est acceptable Hs1 2 = s2 2 = s2 L, on peut adopter comme
estimation de la variance commune la quantité :
Hn1 -2L s1 +Hn2 -2L s2
Hn1 -2L+HnÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
*2 *2
s*2 = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
2 -2L
ÅÅÅÅÅÅ

4.2. Comparaison des pentes

Hx -xêêêêL2 ⁄i=1
2
s
a1 est une réalisation de la variable aléatoire A1 de moyenne a1 et de variance ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
n1 ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ .
1i 1

⁄n2 Hx -xêêêêL2
2
s
a2 est une réalisation de la variable aléatoire A2 de moyenne a2 et de variance ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ .

Sous l’hypothèse a1 = a2 = a la variable aléatoire HA1 - A2 L suit une loi normale de moyenne
i'=1 2 i' 2

nulle et de variance :

s2 HA1 - A2 L = s2 J ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
⁄n1 Hx -xêêêêL2
1
ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ N
⁄n2 Hx -xêêêêL2
1
ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ + ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
i=1 1i 1 i'=1 2 i' 2

Donc la variable aléatoire :

Chapitre 7 : La régression linéaire 119

A1 -A2
T = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
s* $%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
Hx -xêêêêL2
n 2%%%%%%%% %%%%%%%%
Hx -xêêêêL2
ÅÅÅÅÅÅÅÅ%Å%%Å%
⁄i=1 ⁄i'=1
1 1
ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
n1 ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ + ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
ÅÅÅÅÅÅÅÅ
1i 1 2 i' 2

suit une loi de Student à Hn1 + n2 - 4L degrés de liberté, ce qui permet de tester l’égalité des
pentes.

4.3. Comparaison des ordonnées à l'origine

La même démarche que ci-dessus permet d’établir que, sous l’hypothèse b1 = b2 = b, la
variable aléatoire :
B1 -B2
T = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
s* $%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%%%%%%%%%%%%%% %n%%%%%%%%%%%%%%%
ÅÅÅÅÅ%ÅÅÅ%%%%
ÅÅ%
êêêê2 êêêê2
Hx -xêêêêL2
⁄i=1 2 Hx ÅÅÅÅÅÅÅÅ
⁄i'=1-xêêêêL2
1 1 x1 x2
ÅÅÅÅ
n 1ÅÅ + ÅÅÅÅ
n 2ÅÅ + ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ
n1 ÅÅÅÅÅÅÅÅ
ÅÅÅÅÅÅÅÅÅ + ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ

suit une loi de Student à Hn1 + n2 - 4L degrés de liberté, ce qui permet de tester l’égalité des
1i 1 2 i' 2

ordonnées à l’origine.
Chapitre 7 : La régression linéaire 121

Exercices du chapitre 7

Exercice 1

On a relevé pour chacune des années t de 1920 à 1938, numérotées de 1 à 19, la température
moyenne x des mois d’été (en degrés centigrades) et la mortalité infantile y (nombre de décès
d'enfants de moins d’un an pour 1000 naissances vivantes).
t 1 2 3 4 5 6 7 8 9 10
x 15.9 18.8 15.4 18 14.6 16.2 17.9 16.5 18.1 19.8
y 98 116 87 96 85 89 97 83 91 95

t 11 12 13 14 15 16 17 18 19
... / ... x 17.2 15.9 19 19.2 19 18.31 17.1 18.2 17.9
y 77 76 77 75 69 69 67 65 65

Après examen de ces chiffres et des graphiques auxquels ils peuvent donner lieu, indiquer les
problèmes statistiques qu’ils vous paraissent poser et les calculs à faire pour les traiter.

Exercice 2

Le tableau ci-après donne les résultats d’un certain nombre de déterminations de la distance
nécessaire (y en mètres) à l’arrêt par freinage d’une automobile lancée à différentes vitesses (x en
km/h). Une étude graphique montre que la courbe représentant y en fonction de x est
manifestement concave vers les y positifs, mais que si l’on utilise x2 au lieu de x, la liaison
apparaît sensiblement linéaire. Peut-on justifier ce fait par une loi physique ?
Admettant la validité de ce type de liaison entre y et x2 , on suppose de plus que la vitesse x peut
être déterminée avec une grande précision et que les écarts constatés sont dûs à des fluctuations
aléatoires de y autour d’une vraie valeur correspondant à une liaison linéaire représentée par l’
équation y = a x2 + b.
Vitesse x 33 49 65 33 79 49 93
Distance y 5.3 14.45 20.26 6.5 38.45 11.23 50.42
x2 1089 2401 4225 1089 6241 2401 8649

S y = 146.61 S x2 = 26, 095

S y2 = 4836.3019 S x4 = 145507351
S x2 y = 836155.41
a) Quelle est la meilleure estimation de a et b ? Quelle hypothèse supplémentaire suppose cette
estimation ?
b) Déterminer les limites de confiance à 95% pour les estimations de a et b.
122 Chapitre 7 : La régression linéaire

c) Considérant le cas d’une voiture dont la vitesse est de 85 km/h, estimer la valeur moyenne
correspondante de y. En donner une limite supérieure au seuil de confiance 99%.
d) On suppose que pour une voiture se déplaçant à 85 km/h, on observe une distance de freinage
y = 55 mètres. Cette valeur peut-elle être considérée comme étant, à des fluctuations aléatoires
admissibles près, d’accord avec l’équation d’estimation trouvée ?

Exercice 3

On a déterminé sur une série de 18 coulées Thomas la température y du bain d’acier liquide à la
fin de l’opération (à l’aide d’un pyromètre à immersion) et la température x du centre de la flamme
(à l’aide d’un pyromètre à flamme) juste avant le rabattement du convertisseur. Le tableau
ci-dessous donne les résultats obtenus. Les températures sont exprimées en degrés centigrades.
Bain y 1610 1590 1600 1600 1593 1570 1608 1580
Flamme x 1504 1490 1505 1495 1490 1475 1508 1480

Bain y 1580 1592 1608 1612 1606 1595 1590 1597 1618
... / ...
Flamme x 1480 1482 1510 1520 1510 1492 1485 1495 1515

a) Vérifier graphiquement que la régression de y en x peut être considérée comme linéaire.

b) Estimer l’équation de la droite de régression de y en x et l’écart-type de y lié par x. Avec
quelle précision la température de la flamme permet-elle de connaître la température du bain
d'acier dans les conditions des essais ?
c) Peut-on considérer que la différence entre y et x ne dépend pas de x ?
S x = 26931 S y = 28744
S x2 = 40296243 S y2 = 45903604
S x y = 43008448

Exercice 4

Les données ci-dessous sont relatives à des mesures de la limite élastique y et de la résistance à
la traction x en MPa d’alliages d’or destinés à des prothèses dentaires.
x 1148 1638 1678 1292 1422 1285 1152 1357 867 1158 1082 907
y 724 1293 1296 925 1078 948 893 1077 550 870 669 517

... / ...
x 752 1115 1307 1528 1357 1405 1127 1073 1308 812 1260 1008 875
y 495 692 1014 1282 1007 978 849 670 953 497 798 657 580

On donne les résultats de calculs suivants :

mx = 1196.52 m y = 852.48
S Hx - m x L2 = 1450472.24 S Hy - m y L2 = 1451542.24
S Hx - m x L Hy - m y L = 1406707.76
Chapitre 7 : La régression linéaire 123

a) En admettant que EHY ê xL = a x + b, estimer a et b par la méthode des moindres carrés.

b) Calculer les intervalles de confiance à 95% de a et b.
c) Estimer la valeur moyenne de la limite élastique pour une résistance égale à 1290 MPa et
calculer son intervalle de confiance à 90%.
d) Calculer l’intervalle de confiance à 90% pour la limite élastique correspondant à une
résistance égale à 1290 MPa.

Exercice 5

Les données ci-dessous sont relatives à l’étalonnage d’une méthode gravimétrique pour le
dosage de la chaux en présence de magnésium. La variable en x est la teneur vraie et la variable en
y est la teneur mesurée (en mg).
Vraie x 20.0 22.5 25.0 28.5 31.0 35.5 33.5 37.0 38.0 40.0
Mesurée y 19.8 22.8 24.5 27.3 31.0 35.0 35.1 37.1 38.5 39.0

a) En admettant que EHY ê xL = a x + b, estimer a et b par la méthode des moindres carrés.

b) Caractériser la précision de la méthode gravimétrique.
c) Tester l’hypothèse a = 1 de telle façon que la probabilité d’accepter l’hypothèse si elle est
vraie soit égale à 90%.
d) Tester l’hypothèse b = 0 de telle façon que la probabilité d’accepter l’hypothèse si elle est
vraie soit égale à 90%.
e) Bâtir et mettre en oeuvre un test permettant de tester simultanément que a = 1 et que b = 0,
la probabilité d’accepter l’hypothèse si elle est vraie étant encore égale à 90%.
S x = 311.0 S y = 310.1
S x2 = 10100.00 S y2 = 10055.09
S x y = 10074.80

Exercice 6

L’étude d’une méthode de dosage d’un élément dans des aciers a montré que, pour des
échantillons de poids différents d’un même produit, les poids y de l’élément à doser variaient bien
linéairement avec le poids x de l’échantillon, mais que la droite obtenue ne passait pas par l'origine.
Afin de vérifier l’hypothèse selon laquelle la solution acide utilisée en quantité fixe pour attaquer
les échantillons contiendrait elle-même une certaine quantité de l'élément à doser, on s'est proposé
de comparer les ordonnées à l’origine des droite de régression de y sur x obtenues pour deux aciers
différents.
On a utilisé pour chacun des deux aciers 5 échantillons de poids équidistants, les mêmes pour les
deux aciers soit 1, 2, 3, 4, 5. Les résultats obtenus sont les suivants :
124 Chapitre 7 : La régression linéaire

x1 = x2 = 3 n1 = n2 = 5
a1 = 24.21 b1 = 12.11 s1 *2 = 9.637
a2 = 8.82 b2 = 9.58 s2 *2 = 4.209
a) Comparer les variances résiduelles
b) Peut-on considérer que les pentes sont statistiquement égales ?
c) Peut-on considérer que les ordonnées à l’origine sont statistiquement égales ?

Exercice 7

La figure suivante indique, pour les 21 régions françaises de province et de métropole, le PIB HyL
par région en fonction du nombre d'emplois HxL dans la haute technologie, pour l'année 2000
(source : INSEE Nord-Pas-de-Calais). Le nuage de points, de forme allongée, suggère l'existence
d'une relation linéaire (figurée par la droite des moindres carrées) entre ces deux variables.

On donne par ailleurs les résultats intermédiaires suivants :

⁄x ⁄y ⁄ x2 ⁄ y2 ⁄xy
431200 992600 15078020000 64038160000 29144300000

Ha x + bL qu'on cherche à mettre en évidence.

a) Calculer les coefficients a et b, estimations des paramètres a et b de la relation linéaire

b) La relation obtenue est elle significative au risque 5% ?

c) Pour 12000 emplois de haute technologie, quelle est l'espérance mathématique du PIB et son
intervalle de confiance à 95 % ?
d) Dans cette étude, la région Nord-Pas-de-Calais affiche un PIB de 76 Milliards d'euros pour
environ 12000 emplois de haute technologie. Que pensez de cette région par rapport aux autres ?
e) La région Nord-Pas-de-Calais ainsi que la région Provence-Alpes-Côte d'Azur sont en effet
assez éloignées du modèle obtenu. Selon vous, quelles raisons structurelles propres à ces régions
pourraient expliquer cet écart ?