Cours d'analyse de la variance

Romaric COULIBALY
Enseignant-Chercheur
[Link]@[Link]
Bureau 801

ENSEA

14 mars 2024
 Chapitre 5
Analyse de la covariance

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 2 / 26

Qu'allons-nous faire aujourd'hui ?

1 Introduction

2 Données et problème

3 Formulation du modèle

4 Estimation des paramètres

5 Tests de comparaison

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 3 / 26

Bibliograhie

C. DUBY & E. JOLIVET,Analyse de la variance et plans

d'expériences,1977,ENSAE (INSEE), 3, Avenue Pierre Larousse -

92240 MALAKOFF
Université de Bordeaux, Analyse de la variance, Notes de cours en
modélisation statistique
Ricco Rakotomalala, ANOVA à 1 et 2 facteurs : Analyse de la

variance, Université Lumière Lyon 2

WikiStat, Analyse de variance et covariance

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 4 / 26

Sommaire

1 Introduction

2 Données et problème

3 Formulation du modèle

4 Estimation des paramètres

5 Tests de comparaison

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 5 / 26

Introduction

Combinaison des éléments du modèle de régression avec ceux du

modèle d'analyse de la variance
Objectif : Réduire la variance du terme d'erreur dans le modèle
Cas particuliers des modèles de régression avec mélange de
variables quantitatives et qualitatives binaires
Variable quantitative : Covariable
Variable qualitative : Facteur
Principe général : Estimer des modèles intra-groupes et tester les
eets diérentiels inter-groupes des paramètres de régression
Cas particulier (1 covariable + 1 facteur) : Test de l'hétérogénéité
des constantes et des pentes entre diérents modèles de régression

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 6 / 26

Sommaire

1 Introduction

2 Données et problème

3 Formulation du modèle

4 Estimation des paramètres

5 Tests de comparaison

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 7 / 26

Données et problème

Exemples
1 Explication la taille des enfants selon l'âge et le sexe
2 Explication du poids nal des animaux en fonction du poids initial
et du traitement reçu

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 8 / 26

Données et problème

Exemples
1 Explication la taille des enfants selon l'âge et le sexe
2 Explication du poids nal des animaux en fonction du poids initial
et du traitement reçu

Remarques
1 Choix des covariables important
2 Si les covariables n'ont aucun lien avec la variable de réponse, le
gain de l'ANCOVA par rapport à l'ANOVA sera inexistant ⇒
Risque d'abandonner l'ANCOVA

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 8 / 26

Données et problème

Avant de lancer la procédure de modélisation, il faut une analyse

exploratoire
▶ Représenter le nuage de points en couleur (une par modalité) de la
variable de réponse en fonction de la covariable
▶ Tracer les droites de régression associées
Intérêt : Avoir une idée des eets respectifs des
variables :parallélisme des droites, étirement des sous-nuages,

imbrication des sous-nuages

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 9 / 26

Données et problème

Figure 1  Exemple de représentation

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 10 / 26

Données et problème

Figure 2  Exemple de représentation

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 11 / 26

Sommaire

1 Introduction

2 Données et problème

3 Formulation du modèle

4 Estimation des paramètres

5 Tests de comparaison

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 12 / 26

Formulation du modèle

Cas d'une variable quantitative Y expliquée par une covariable X

et d'un facteur F à I niveaux
Pour chaque niveau i de F , on observe ni valeurs de X et Y
Taille de l'échantillon : n = Ii=1 ni
P

Le modèle s'écrit comme suit :

Yij = µ + αi + βi Xij + ϵij (1)
avec ϵij ∼ N (0, σ 2 ) et i.i.d., i = 1, . . . , I et j = 1, . . . , ni
On peut réécrire le modèle sous la forme générale :
Y = Xβ + ϵ, avec ϵ ∼ N (0, σ 2 In ) (2)
β = (µ, α1 , . . . , αI , β1 , . . . , βI )′ : Vecteur des paramètres

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 13 / 26

Sommaire

1 Introduction

2 Données et problème

3 Formulation du modèle

4 Estimation des paramètres

5 Tests de comparaison

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 14 / 26

Estimation des paramètres

La matrice X n'est pas de plein rang ⇒ Matrice X ′ X non

inversible
Nécessité d'ajouter des conditions d'identiabilité pour déterminer
β
I I
(3)
X X
ni αi = ni β i = 0
i=1 i=1

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 15 / 26

Sommaire

1 Introduction

2 Données et problème

3 Formulation du modèle

4 Estimation des paramètres

5 Tests de comparaison

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 16 / 26

Tests de comparaison

Plusieurs hypothèses peuvent être testées en comparant le modèle

complet aux modèles réduits
On cherche à eectuer des tests sur la covariable et sur le facteur
La procédure générale est résumée comme suit :

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 17 / 26

Tests de comparaison

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 18 / 26

Tests de comparaison

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 19 / 26

Tests de comparaison
Cas particulier d'une pente constante

Modèle avec pente constante (βi = β ) :

Yij = µ + αi + βXij + ϵij (4)
On peut écrire le modèle également sous la forme
Yij = µ + αi + β(Xij − X̄.. ) + ϵij (5)

Condition d'identiabilité : Ii=1 ni αi = 0

P

Dimension du modèle : (I + 2) − 1
On note (MI+1 ) le modèle

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 20 / 26

Tests de comparaison
Cas particulier d'une pente constante : Absence d'eet du facteur

On eectue le test suivant :

(H0 ) : α1 = · · · = αI = 0 vs (H1 ) : ∃i/αi ̸= 0

On compare alors le modèle (M2 ) : Yij = µ + β(Xij − X̄.. ) + ϵij au

modèle (MI+1 )
Modèle M2 :
ni
I
(Xij −X¯.. )(Yij −Y¯.. )
P P
▶ Paramètres : µ̂ = Y¯.. et β̂ = i=1PI j=1
Pni ¯ 2
i=1 j=1 (Xij −X.. )
PI Pni ¯ 2 2
PI Pni ¯ 2
▶ SCR(M2 ) = i=1 j=1 (Yij − Y.. ) − β̂ i=1 j=1 (Xij − X.. )
SCR(M2 )
▶ Variance : σM
2
2
= n−2 ∼ χ2n−2

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 21 / 26

Tests de comparaison
Cas particulier d'une pente constante : Absence d'eet du facteur

Modèle (MI+1 )
Estimation du vecteur de paramètres par MCO
min ∥Y − Xβ∥2
β
I
sc
X
ni αi = 0
i=1

On obtient alors
▶ µ̂ = Y¯..
▶ Y¯i. −PY¯.. − β̂(X¯i. − X¯.. ), ∀i = 1, . . . , I
α̂i = P
I ni ¯ ¯
i=1 j=1 (Xij −Xi. )(Yij −Yi. )
▶ β̂ = PI Pni
(X −X¯ )2
i=1 j=1 ij i.
PI Pni ¯ 2 PI Pni
▶ SCR(MI+1 ) = i=1 j=1 (Yij − Yi. ) − β̂
2
i=1 j=1 (Xij − X¯i. )2
▶ Variance : σM
2
I+1
= SCR(M I+1 )
n−I−1 ∼ χ2n−I−1

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 22 / 26

Tests de comparaison
Cas particulier d'une pente constante : Absence d'eet du facteur

Statistique de test :
(SCR(M2 )−SCR(MI+1 ))/(I−1)
Z= SCR(MI+1 )/(n−I−1) ∼ F(I − 1, n − I − 1)
Zone de rejet du test au niveau δ :
{Z > fδ } avec fδ tel que P[F (I − 1; n − I − 1) ≤ fδ ] = 1 − δ

Si Z ≤ fδ ⇒ Non rejet de (H0 ) → Pas d'inuence du facteur F sur

Y
Si Z > fδ ⇒ Rejet de (H0 ) → Inuence signicative du facteur F
sur Y

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 23 / 26

Tests de comparaison
Cas particulier d'une pente constante : Absence d'eet de la covariable

On eectue le test suivant :

(H0 ) : β = 0 vs (H1 ) : β ̸= 0

On compare alors le modèle (MI ) : Yij = µ + αi + ϵij au modèle

(MI+1 )
On montre que :
PI Pni ¯
i=1 j=1 (Xij − Xi. )Yij
β̂ = PI Pni ¯ 2
i=1 j=1 (Xij − Xi. )

σ2
β̂ ∼ N (β, PI Pni
i=1 j=1 (Xij − X¯i. )2

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 24 / 26

Tests de comparaison
Cas particulier d'une pente constante : Absence d'eet de la covariable

Sous (H0 ), la statistique de test est :

SCR(MI ) − SCR(MI+1 )
Z= ∼ F(1, n − I − 1)
SCR(MI+1 )/(n − I − 1)

où SCR(MI ) − SCR(MI+1 ) = β̂ 2
PI Pni
i=1 j=1 (Xij − X¯i. )2
Zone de rejet du test au niveau δ :
{Z > fδ } avec fδ tel que P[F (1; n − I − 1) ≤ fδ ] = 1 − δ

Si Z ≤ fδ ⇒ Non rejet de (H0 ) → Pas d'inuence de la covariable

X sur Y
Si Z > fδ ⇒ Rejet de (H0 ) → Inuence signicative de la
covariable X sur Y

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 25 / 26

Merci de votre aimable attention

R. Coulibaly (ENSEA) Cours d'analyse de la variance 14 mars 2024 26 / 26