La méthode de la double

différence
Introduction aux méthodes d’évaluation d’impact
des politiques publiques

Philippe De Vreyer

1
Quand va-t-on employer cette
méthode ?

2
Conditions d’emploi de la méthode
• Quand on suspecte la présence de caractères inobservés des individus
qui expliquent à la fois la participation au programme et la valeur prise
par la variable d’intérêt (indépendamment de la participation). On
parle d’hétérogénéité inobservée.

• Quand cette hétérogénéité est fixe et additive.

• Quand on dispose d’observations répétées sur les participants et les

non participants.

3
Exemple: traitement destiné à favoriser la
croissance des enfants
1ère méthode: comparaison après le traitement entre enfants
traités et enfants non traités Traité Non traité

4
Exemple: traitement destiné à favoriser la
croissance des enfants
2ème méthode: comparaison des enfants traités
avant et après le traitement Après traitement

Avant traitement

5
Exemple: traitement destiné à favoriser la
croissance des enfants
• Les deux méthodes conduisent à des conclusions opposées:

• La comparaison des enfants traités avec les enfants non traités après le
traitement néglige la possibilité que des différences existent entre enfants en
l’absence du traitement

• La comparaison des enfants traités avant et après le traitement néglige la

possibilité que la variable d’intérêt (ici la taille) varie au cours du temps
indépendamment du traitement

• La bonne solution est de marier les deux méthodes: c’est ce que fait la double
différence.

6
Exemple: traitement destiné à favoriser la
croissance des enfants
Non traité
Traité

7
Exemple: traitement destiné à favoriser la
croissance des enfants
Non traité
Traité

Effet du
traitement

8
Théorie

9
Hypothèse principale

• La méthode repose sur l’hypothèse que les différences observées

avant le traitement entre traités et non traités seraient restées
identiques si les traités ne l’avaient pas été (hypothèse de « trends »
parallèles).

10
Formalisation
• Deux dates d’observation: 0 et 1.
• En t=0 le programme n'existe pas.
• En t=1 le programme est en place et a produit ses effets.
• On note 𝑌𝑖𝑡 (0) la valeur de la variable d'intérêt pour l’individu i s’il
n’est pas traité à la date t et 𝑌𝑖𝑡 (1) la valeur si cet individu est traité.
• L'estimateur de la double différence s'écrit:

𝐷𝐷 = 𝐸 (𝑌𝑖1 1 − 𝑌𝑖0 1 𝑇𝑖 = 1 − 𝐸 (𝑌𝑖1 0 − 𝑌𝑖0 0 𝑇𝑖 = 0

11
E(Yi1(0)|Ti=0)

E(Yi1(1)|Ti=1) Non traités

E(Yi1(0)|Ti=1)
Traités
E(Yi0(0)|Ti=0)

Traités (en l’absence du programme)

E(Yi0(1)|Ti=1)

0 1 Temps
Mise en place du programme

13
 Traités à la date 0 : E(Yi0(1)|Ti=1), non traités à la date 0:E(Yi0(0)|Ti=0)
 Traités à la date 1 : E(Yi1(1)|Ti=1), non traités à la date 1:E(Y1(0)|Ti=0)
 Traités à la date 1, s'ils n'avaient pas été traités : E(Yi1(0)|Ti=1)
 Impact du programme : E(Yi1(1)|Ti=1) – E(Yi1(0)|Ti=1)
 Estimateur de l’impact: DD = E(Yi1(1)|Ti=1) – E(Yi1(0)|Ti=0) – (E(Yi1(0)|Ti=1) – E(Yi1(0)|Ti=0))
 Sous l'hypothèse de trends parallèles ceci s'écrit :
DD = E(Yi1(1)|Ti=1 )– E(Yi1(0)|Ti=0) – (E(Yi0(1)|Ti=1) – E(Yi0(0)|Ti=0)) 14
Mise en œuvre pratique

15
 Méthode 1: Emploi des moyennes calculées sur les échantillons
des individus traités et non traités aux deux dates d’observation.
 Méthode 2: Emploi d’une régression linéaire. Le modèle à estimer
est alors de la forme:

𝑌𝑖𝑡 = 𝛼 + 𝛽. 𝑇𝑖 . 𝑡 + 𝛾. 𝑡 + 𝜌. 𝑇𝑖 + 𝜀𝑖𝑡

 Le coefficient du terme d'interaction entre le temps, t, et la

variable de traitement 𝑇𝑖 , 𝛽 , est l'estimateur de la double
différence DD.
 Les variables t et 𝑇𝑖 sont incluses séparément pour tenir compte
d'un effet potentiel du temps qui passe (trend) et d'un effet
provenant du fait d'être, ou non, inclus dans l'échantillon test (a
priori non nul si le tirage des échantillons n'est pas aléatoire).

16
 Y Non traités

Traités

𝝆 = 𝝁𝑻 − 𝝁𝑪
μC

μT

0 1 Temps
Mise en place du
programme
Traités (en l’absence du programme)

𝒀𝒊𝒕 = 𝜶 + 𝜷. 𝑻𝒊 . 𝒕 + 𝜸. 𝒕 + 𝝆. 𝑻𝒊 + 𝜺𝒊𝒕 17
 Il est facile de montrer que les estimations des coefficients de cette
régression conduisent au résultat attendu:

𝑌𝑖𝑡 = 𝛼 + 𝛽. 𝑇𝑖 . 𝑡 + 𝛾. 𝑡 + 𝜌. 𝑇𝑖 + 𝜀𝑖𝑡

𝐷𝐷 = [𝐸 𝑌𝑖1 − 𝑌𝑖0 𝑇𝑖 = 1 ] − [𝐸 𝑌𝑖1 − 𝑌𝑖0 𝑇𝑖 = 0 ]

= [𝛼 + 𝛽 ∗ 1 ∗ 1 + 𝛾 ∗ 1 + 𝜌 ∗ 1 − 𝛼 − 𝛽 ∗ 1 ∗ 0 − 𝛾 ∗ 0 − 𝜌 ∗ 1]
− 𝛼+𝛽∗0∗1+𝛾∗1+𝜌∗0−𝛼−𝛽∗0∗0−𝛾∗0−𝜌∗0

= [𝛼 + 𝛽 + 𝛾 + 𝜌 − 𝛼 − 𝜌] − 𝛼 + 𝛾 − 𝛼

= [𝛽 + 𝛾] − 𝛾

=β

18
 𝑌𝑖𝑡 = 𝛼 + 𝛽. 𝑇𝑖 . 𝑡 + 𝛾. 𝑡 + 𝜌. 𝑇𝑖 + 𝜀𝑖𝑡

 Simple différence entre groupes:

𝐸 𝑌𝑖1 |𝑇𝑖 = 1) − 𝐸(𝑌𝑖1 𝑇𝑖 = 0 = 𝛼 + 𝛽 ∗ 1 ∗ 1 + 𝛾 ∗ 1 + 𝜌 ∗ 1 − 𝛼 − 𝛽 ∗ 0 ∗ 1 − 𝛾 ∗

1−𝜌∗0
=𝛼+𝛽+𝛾+𝜌−𝛼−𝛾
=𝛽+𝜌

𝜌 = biais = différence fixe entre les valeurs moyennes de Y pour les groupes
traités et non traités en l’absence de tout traitement.

19
 𝑌𝑖𝑡 = 𝛼 + 𝛽. 𝑇𝑖 . 𝑡 + 𝛾. 𝑡 + 𝜌. 𝑇𝑖 + 𝜀𝑖𝑡

 Simple différence intertemporelle:

𝐸(𝑌𝑖1 − 𝑌𝑖0 |𝑇𝑖 = 1) = 𝛼 + 𝛽 + 𝛾 + 𝜌 − 𝛼 − 𝜌 = 𝛽 + 𝛾

𝛾 = biais = mesure de l’évolution de la valeur moyenne de Y en

l’absence de tout traitement.

20
Limites

21
Validité de l’hypothèse des trends parallèles ?

22
 Evaluation d'un programme ciblé sur certaines régions dont
l’objectif est de favoriser la croissance des revenus de leurs
habitants.

 Les régions ciblées peuvent l'avoir été (ou s'être autosélectionnées)

parce qu'elles ont connu une baisse de leurs revenus (suite à un
choc comme par exemple une catastrophe naturelle) juste avant
l'introduction du programme.

23
 Ces régions, comparées à d'autres n'ayant pas connu le choc,
peuvent alors connaître un processus de rattrapage, qui va entraîner
une hausse de leurs revenus plus importante et indépendante de
leur participation au programme.

 Si cette hausse n'est pas prise en compte, l'estimateur DD conduira à

une sur-estimation de l'efficacité de la politique (« Ashenfelter Dip »)

24
 Y

Non traités

Traités

Biais si le processus de
rattrapage est ignoré
Véritable évolution
des traités en
l'absence du
programme

Evolution supposée des

traités en l’absence du
programme

0 1 Temps
Mise en place du
programme 25
Ici l’effet du programme est surestimé
 Ainsi, l'emploi de l'estimateur DD ne dispense pas de s'assurer que
les échantillons test et de contrôle présentent des caractéristiques
identiques avant l'application du traitement.

26
Comment faire mieux ?

27
Combiner Matching et Double Différence
pour réduire les sources de biais
• L’idée est d’employer la méthode du score de propension pour
renforcer la comparabilité des échantillons test et de contrôle avant
d’appliquer la double différence.
• On dispose d’au moins deux années d’observation.
• Sur l’année de base, on emploie la méthode du score de propension
pour apparier les traités avec les non traités qui ont un score de
propension proche.
• Ensuite on applique la méthode DD en calculant la différence de
variation moyenne de la variable d'intérêt entre l'échantillon des
traités et celui des individus qui leurs sont appariés.
28
L’estimateur de l’impact du programme a alors pour expression:
Traité Non traité
𝑁𝑇
1
𝐷𝐷𝑃𝑆𝑀 = ෍ 𝑌𝑖1 1 − 𝑌𝑖0 1 − ෍ 𝜔𝑗 . 𝑌𝑖1 0 − 𝑌𝑖0 0
𝑁𝑇
𝑖=1 𝑗∈𝑀(𝑖)

Nombre d’individus Date Ensemble des non Pondération issue

traités d’observation traités appariés à i de la méthode PSM

29
L'estimateur de la triple différence
 Supposons que l’on dispose de plus d'un groupe de contrôle.

 Deux possibilités:

 On peut les utiliser successivement pour vérifier que l'on obtient le même
résultat quelque soit le groupe de contrôle utilisé.

 On peut combiner ces différents groupes pour obtenir un seul estimateur,

tel que l'estimateur de la triple différence.

30
Exemple
Evaluation d'un programme destiné à réinsérer les chômeurs âgés de plus de 50
ans

 Le programme est testé dans une région.

 Deux groupes de contrôle peuvent être envisagés :

 Celui des chômeurs de plus de 50 ans habitant une autre région.

 Celui des chômeurs de la même région, âgés de moins de 50 ans.

 Si les données le permettent, l'estimateur de la double différence peut être calculé en

employant chacun de ces deux groupes de contrôle.

31
 Des estimations porteuses de biais spécifiques:

 L'emploi du groupe des travailleurs âgés de + de 50 ans habitant

une autre région peut conduire à un biais si les deux régions
connaissent des dynamiques différentes.

 L'emploi du groupe des travailleurs âgés de – de 50 ans habitant la

même région peut conduire à un biais si les deux populations
connaissent des dynamiques d'insertion différentes.

 Dans les deux cas, l'hypothèse des trends parallèles sous-

jacente à l'emploi de la double différence est invalidée.
32
 L'estimateur de la triple différence consiste à employer les
deux groupes de contrôle pour éliminer les deux sources de
biais, moyennant une hypothèse moins forte que celle qui
sous-tend la double différence.
 V: chômeurs âgés de 50 ans ou plus
 J: chômeurs âgés de moins de 50 ans
 T: région où le programme est expérimenté
 C: région où il ne l'est pas.

𝑉,𝑇 𝑉,𝑇 𝐽,𝑇 𝐽,𝑇

𝐷𝐷𝐷 = 𝐸 𝑌𝑖1 1 − 𝑌𝑖0 1 −𝐸 𝑌𝑖1 0 − 𝑌𝑖0 0
𝑉,𝐶 𝑉,𝐶 𝐽,𝐶 𝐽,𝐶
− 𝐸 𝑌𝑖1 0 − 𝑌𝑖0 0 −𝐸 𝑌𝑖1 0 − 𝑌𝑖0 0

33
 𝑉,𝑇 𝑉,𝑇 𝐽,𝑇 𝐽,𝑇
𝐷𝐷𝐷 = 𝐸 𝑌𝑖1 1 − 𝑌𝑖0 1 −𝐸 𝑌𝑖1 0 − 𝑌𝑖0 0
𝑉,𝐶 𝑉,𝐶 𝐽,𝐶 𝐽,𝐶
− 𝐸 𝑌𝑖1 0 − 𝑌𝑖0 0 −𝐸 𝑌𝑖1 0 − 𝑌𝑖0 0

Les deux premiers termes correspondent à l'estimateur de la

double différence lorsque le groupe de chômeurs de moins de
50 ans est pris comme groupe de contrôle.
Il est possible que ce groupe connaisse une dynamique
d'insertion différente de celle des plus de 50 ans. Sous
l'hypothèse que cette différence de dynamique est identique
d'une région à l'autre, on peut utiliser les données observées
dans la région C pour évaluer cette différence et la retirer :
c'est le rôle des deux derniers termes de l'équation.
34
 𝑉,𝑇 𝑉,𝑇 𝐽,𝑇 𝐽,𝑇
𝐷𝐷𝐷 = 𝐸 𝑌𝑖1 1 − 𝑌𝑖0 1 −𝐸 𝑌𝑖1 0 − 𝑌𝑖0 0
𝑉,𝐶 𝑉,𝐶 𝐽,𝐶 𝐽,𝐶
− 𝐸 𝑌𝑖1 0 − 𝑌𝑖0 0 −𝐸 𝑌𝑖1 0 − 𝑌𝑖0 0

35
 𝑉,𝑇 𝑉,𝑇 𝑉,𝐶 𝑉,𝐶
𝐷𝐷𝐷 = 𝐸 𝑌𝑖1 1 − 𝑌𝑖0 1 −𝐸 𝑌𝑖1 0 − 𝑌𝑖0 0
𝐽,𝑇 𝐽,𝑇 𝐽,𝐶 𝐽,𝐶
− 𝐸 𝑌𝑖1 0 − 𝑌𝑖0 0 −𝐸 𝑌𝑖1 0 − 𝑌𝑖0
0
 Dans cette écriture, les deux premiers termes correspondent
maintenant à l'estimateur de la double différence lorsque le
groupe de chômeurs de plus de 50 ans habitant l'autre
région est pris comme groupe de contrôle.
 Il est possible que cette région groupe connaisse une
dynamique différente de celle de la région traitée. Sous
l'hypothèse que cette différence de dynamique est identique
pour les jeunes chômeurs, on peut utiliser les données
observées sur le groupe des moins de 50 ans pour évaluer
cette différence et la retirer : c'est le rôle des deux derniers
termes de l'équation.
36