The Human Development Spanish Impact

World Bank Network Evaluation Fund

www.worldbank.org/hdchiefeconomist
 Les Essais randomisés
Session de Suivi technique II

Phillippe Leite
Banque Mondiale
Ces diapositives ont été développées par Christel Vermeersch et modifiées par Phillippe Leite dans le cadre de cet atelier
Les Essais randomisés
Comment les chercheurs apprennent-ils les états
contre- factuels du monde dans la pratique?

Dans beaucoup de domaines, les preuves de

faits contre-factuels sont produites par les essais
ou expériences randomisés.
(par exemple : la recherche médicale)
Dans certaines conditions, les essais randomisés
s’assurent que les résultats dans le groupe de
référence reflètent réellement le contrefactuel
du groupe expérimental.
Randomisation de l'inférence
causale
Les statisticiens recommandent un modèle de
randomisation à deux étapes:

Première étape
Un échantillon est sélectionné au hasard dans une
population donnée.

Seconde étape
Cet échantillon d’unités est attribué au hasard au
groupe de référence et au groupe expérimental
 Population
admissible

Echantillon
aléatoire

Echantillon

Distribution
randomisée
Groupe
Groupe de
expériment
référence
al
Pourquoi deux étapes de
randomisation ?
Première étape Pour la Validité externe
C'est-à-dire s’assurer que les résultats de
l'échantillon reflèteront les résultats de la population
dans un niveau d’erreur d’échantillonnage défini

Seconde étape Pour la validité interne

c-a-d s’assurer que l’effet observé sur la variable
dépendante est du au traitement plutôt qu’à
d’autres facteurs confusionnels.
o Rappelez-vous des deux conditions ?
Essais randomisés à deux étapes
Dans les grands échantillons, les essais
randomisés s’assurent que :

[Y̅1 |D=1]=[Y̅1 |D=0]

et
[Y0
̅ |D=1]=[Y̅0 |D=0]

Pourquoi ceci est-

il vrai?
La loi des grands nombres

Lorsque vous tirez au hasard un échantillon

d’unités d’une grande population, et
Lorsque le nombre d’unités que vous tirez
devient grand
La moyenne de toute caractéristique de votre
échantillon aura tendance à se rapprocher de la
valeur attendue.
Si le nombre d’unités de votre échantillon
augmente, sur la moyenne, l'échantillon sera
similaire à sa population originale.
 Population
admissible

Echantillon
aléatoire

Echantillon

Distribution
randomisée
Groupe
Groupe de
expériment
référence
al
Essais randomisés à deux étapes

Dans les grands échantillons, les essais

randomisés s’assurent que :
[Y1
̅ |D=1]=[Y̅1 |D=0]
et [Y0
̅ |D=1]=[Y̅0 |D=0]

Donc, l’estimateur :
δ̅̅̂ = [ Y̅̅̂1 | D = 1] - [ Y̅̅̂0 | D =0 ]
Evalue systématiquement l’Effet Expérimental
Moyen (ATE)
Population contre
Groupe sélectionné ?
Si la randomisation se fait sur un
groupe d'unités sélectionné

Quelle sera l’évaluation ??

L’effet expérimental sur le

groupe d’unités sélectionnés !
 Population
admissible
non
aléatoire
Groupe
Groupe non
sélectionné
sélectionné
(ex : Volontaires)
aléatoire

Echantillon

Distribution
randomisée
Groupe
Groupe de
expériment
référence
al
Comment se fait la
Distribution randomisée ?
Si vous désirez attribuer 50% de l’échantillon au groupe
expérimental et au groupe de référence : Choisissez pile
ou face pour chaque personne.
Si vous voulez attribuer 40% de l’échantillon au groupe
de référence, lancez le dé pour chaque personne. A 1 ou
un 2 pour le groupe expérimental; 3, 4, 5 ou un 6 pour
le groupe de référence.
Autres pourcentages: A l’aide d’ Excel, donnez un
nombre au hasard à chaque unité. Choisissez le nombre
d’unités qui seront dans le groupe expérimental
(nommez le X). Attribuer les X unités qui ont les nombres
les plus élevés au groupe expérimental.
 Exemple
Des ordinateurs pour l’Enseignement
Barrera and Linden (2009)
Essai randomisé en Colombie,
Amérique Latine.
Activités du programme :
o Rénover les ordinateurs offerts par les entreprises
privées et les installer dans les écoles publiques.
o Former les enseignants dans l’utilisation pédagogique
des ordinateurs avec l'aide d'une université locale.

2006: 97 écoles ont fait l'objet de randomisation,

o 48 d’entre elles ont bénéficié d’ordinateurs.
o 49 n’en ont pas reçu.

2008: Enquête de suivi

Etape 1 : Questionnaire d’évaluation

Quel est l’impact de l’intervention D

sur la variable d’intérêt Y?
Package d’intervention D
1 Si une école est sélectionnée pour l’installation
D= d’ordinateurs + formation des enseignants

0 Sinon

Variable d’ Intérêt Y
o Apprentissage (résultat final)
o Exercices en classe (Résultat partiel)
o Nombre d'enseignants formés (rendement)
o Nombre d’ordinateurs opérationnels dans les écoles
(rendement)
Etape 2 : Vérifier la parité
Objectif
Vérifier que les caractéristiques sont équivalentes entre le
groupe expérimental et le groupe de référence.

Regression
Yij = β0 + β1 Tj +εij
i Etudiant i
j Ecole j
Tj Variable nominale pour le cas ou l’école j a été attribuée
au groupe expérimental dans le processus de
randomisation.
Méthode
OLS contenant des erreurs-types groupées au niveau
des écoles.
Vérifier l’équilibre des notes
d’examen.
Correction
Moyenne du Moyenne du
des
Groupe Groupe de Différence
Examens Expérimental référence
Normalisés
0.08 0.00 0.08
Langue
(0.10) (0.08) (0.13)
0.04 0.00 0.04
Math
(0.08) (0.08) (0.11)
0.08 0.00 0.08
Total
(0.11) (0.10) (0.15)
Vérifier l’équilibre des caractéristiques
démographiques.
Moyenne du Moyenne du
Caractéristiques
Groupe Groupe de Difference
démographiques
expérimental référence
0.50 0.52 -0.027
Genre
(0.02) (0.02) (0.03)
11.79 11.55 0.24
Age
(0.27) (0.36) (0.45)
Nbre de parents en 1.60 1.63 -0.033
famille (0.02) (0.02) (0.03)
Nbre de 3.71 3.99 -0.286
frères/soeurs (0.22) (0.20) (0.30)
Argent de poche 0.76 0.73 0.03
reçu (0.02) (0.03) (0.03)
17.91 16.12 1.79
Nbre d’amis
(1.91) (1.15) (2.22)
Etape 3 : Impact de l’évaluation
En expression
Comparer la moyenne Y du groupe expérimental
avec la moyenne Y du groupe de référence.
Dans un Tableau
% des questions Moyenne du Moyenne du
Différence
répondues Groupe Groupe de
simple
correctement expérimental référence
Espagnol 0.42 0.40 0.02
Math 0.24 0.23 0.01
Dans une Regression
Yij = β0 + β1 Tj +εij
o Groupe au niveau des écoles.
o C’est là d'où proviennent les erreurs-types
Etape 3 : Recherches

% des questions Moyenne du Moyenne du

Différence
répondues Groupe Groupe de
simple
correctement expérimental référence
0.42 0.40 0.02
Espagnol
(0.01) (0.01) (0.02)
0.24 0.23 0.01
Math
(0.02) (0.01) (0.02)
Etape 4 : Impact de l'évaluation
à plusieurs variables
En expression
o Comparer la moyenne Y des groupes
expérimental et de référence, et
o Ajouter les commandes des caractéristiques de la
ligne de base
Dans une Régression à Variables multiples

Yij = β0 + β1 Tj + β2 Xij + εij

Xij est un vecteur des caractéristiques de ligne de base d'un
étudiant i dans une école j
Etape 5 : Recherches
Différence avec
Moyenne du
% des questions Moyenne du des
Groupe Différence
répondues Groupe de commandes (à
expérimenta simple
correctement référence plusieurs
l
variables)
0.42 0.40 0.02 0.02
Espagnol
(0.01) (0.01) (0.02) (0.02)
0.24 0.23 0.01 0.01
Math
(0.02) (0.01) Moyenne (0.02)
Moyenne du groupe du groupe (0.02)
Variable de sortie expérimental de référence Difference

Nbre d’ordinateurs à 13.38 5.10 8.281***

l’école (1.28) (0.75) (1.49)
% enseignants 0.95 0.08 0.865***
formés (0.03) (0.04) (0.05)
0.96 0.04 0.918***
Écoles expérimentés
(0.03) (0.03) (0.04)
Etape 5 : Recherches
Peu d’ effet sur les notes d'examen des étudiants
Par le niveau scolaire, matières, et le
genre.
Pourquoi ?
Les Ordinateurs ne sont pas incorporés
dans le système éducatif.
Plus de réflexions sur les
essais randomisés
Mise en garde éventuelle
Non-Respect
o En fait, Ce ne sont pas toutes les unités attribuées
au groupe expérimental qui bénéficieront de
l'expérimentation (non-respect)
o Certaines unités attribuées au groupe de référence
pourraient bénéficier de l'expérimentation(non-
respect)
o Pour le non-respect limité : Utiliser les variables
instrumentales (voir session IV)

Déperdition d'effectifs scolaires

o Nous pourrions pas observer ce qui se
passe dans toutes unités.
o Attention à la déperdition scolaire !
Mise en garde éventuelle
Effet Hawthorne
o Observer simplement les unités les
amène à se comporter différemment....
o Tendance à disparaître au fil du temps.

Effet John Henry

Les « groupes de référence »
travaillent d’arrache-pied pour
compenser.
Niveau de randomisation
Quartier, village, famille, enfant?
Le niveau de randomisation détermine le
puissance de l'essai:
Plus d’unités dans le L’ Evaluation de la
groupe expérimental et le
groupe de référence. différence entre T et C
devient plus précise.

Le bas du niveau:
o Une éventuelle contamination - Enfants dans une
classe, familles au village et
o La difficulté de gérer le programme ;

En Général: Choisir le niveau le plus bas qui est

faisable au plan administratif.
Les Essais randomisés contre
Les Essais non randomisés
Expériences randomisés
o Les hypothèses jouent un rôle mineur
o Ou aucun role lors des tests d'hypothèses de
“aucun effet expérimental ”
o En l’absence de difficultés telles que le non-
respect ou la déperdition scolaire.

Méthodes non randomisées

o Requière une forte hypothèse en vue de
valider le contre-factuel
o La déperdition est également un problème
comme dans les essais randominés.
Références
Rosenbaum, Paul (2002): Observational Studies, Springer.
Chapter 2.
Cochran, W. G. (1965): “The planning of observational studies
of human populations”, Journal of the Royal Statistics
Association Series A 128, pp. 134-155, with discussion.
Angrist, J., E. Bettinger, E. Bloom, E. King and M. Kremer
(2002): “Vouchers for Private Schooling in Colombia: Evidence
from a Randomized Natural Experiment”, American Economic
Review, 92, pp. 1535-58.
Angrist, J. and V. Lavy (2002): “The Effect of High School
Matriculation Awards: Evidence from Randomized Trials”,
NBER Working Paper.
Barrera-Osorio, F. and L. Linden (2009): “The Use and Misuse
of Computers in Education: Evidence from a Randomized
Experiment in Colombia”, World Bank Policy Research
Working Paper WPS4836.
Thank You
Q&A