Qu’est-ce qu’une

évaluation d’impact?
En collaboration avec le Centre pour le développement et la coopération de l’EPFZ (NADEL)

L’objectif des évaluations d’impact est d’améliorer

l’efficacité de l’aide. Une évaluation d’impact
analyse les effets pouvant être attribués à un
projet ou programme de développement donné.
© ETH NADEL

En quoi consiste une loppement avec lesquels le projet ou pro- sonnes les utilisent. L’évaluation d’impact
évaluation d’impact? gramme n’a qu’un lien indirect, comme chercherait à constater si la construction de
l’atténuation du changement climatique pompes a eu un effet bénéfique sur la san-
L’évaluation d’impact (positif ou négatif, ou la réduction de la pauvreté. Lorsqu’on té. De nombreuses évaluations de projets
intentionnel ou non) a pour but d’analy- parle d’évaluation d’impact, il est ici ques- et de programmes ont recours à des don-
ser l’impact d’un projet, d’un programme tion spécifiquement d’un lien de cause à nées de suivi pour mesurer, par exemple, le
ou d’une politique sur le groupe cible et effet direct entre d’une part un projet, un nombre de personnes utilisant une pompe.
de mesurer l’ampleur de cet impact. Une programme ou une politique et d’autre Certaines évaluations recueilleront même
telle évaluation permet d’établir un lien part un outcome spécifique (comme la des données de suivi sur la prévalence de
de cause à effet entre un projet, un réduction de l’incidence de la diarrhée). la diarrhée. Toutefois, les données de
programme ou une politique et un ou plu- suivi et les comparaisons avant-après sont
sieurs résultats au niveau des outcomes. souvent insuffisantes pour établir un lien
Cela implique de reconstituer une situa- Quelle est la différence entre de cause à effet entre un projet ou pro-
tion contrefactuelle. A titre d’exemple, une évaluation d’impact et gramme de développement et le outcome
pour évaluer l’impact d’un projet ou pro- une évaluation de projet ? observé, parce que les facteurs externes ne
gramme de développement visant à amé- sont pas pris en compte.
liorer la santé des enfants en construisant Alors que la plupart des évaluations de pro-
des pompes à eau communes, on analy- jet ou de programme analysent en priorité
sera la réduction de l’incidence de la diar- le succès des opérations réalisées ou des Quelles raisons pour mener
rhée par rapport à l’incidence attendue si services fournis, les évaluations d’impact une évaluation d’impact ?
aucune pompe n’avait été installée. Les tentent d’établir s’il existe un lien de cause
évaluations d’impact indiquent dès lors si à effet entre le projet ou programme et Les évaluations d’impact contribuent à
des changements mesurables dans la vie un changement dans la vie des personnes l’élaboration de politiques basées sur
des personnes concernées peuvent être concernées, et d’expliquer la présence ou les faits. Avec ces évaluations, l’attention
attribués à un projet ou programme de l’absence d’effet. Dans l’exemple présenté autrefois focalisée sur les activités se porte
développement spécifique. Il ne s’agit pas ci-dessus, une évaluation de projet ou pro- davantage sur les résultats. A l’aide de cet
de mesurer la contribution d’un projet ou gramme chercherait à savoir si les pompes outil, une organisation peut décider de réa-
programme aux grands objectifs de déve- ont bien été construites et combien de per- liser des projets, dont l’impact positif a été

Évaluation d’impact 1
 Les données de suivi servent à mesurer
le changement au niveau des outcomes
au fil du temps.

L’évaluation d’impact sert à quantifier

la part du changement observé pouvant
être attribuée au projet ou programme
évalué.

démontré, à une échelle plus importante pas participé au programme (« groupe de met pas toujours d’obtenir une estimation
(scaling-up) et d’abandonner les projets comparaison », ou « groupe témoin »). fiable de l’impact. De nombreux facteurs
ou programmes n’ayant pas eu d’impact. Les outcomes mesurés dans le groupe de sans liens avec le programme en ques-
Les évaluations d’impact peuvent contribuer comparaison servent d’indicateur sur ce tion (comme l’éducation à l’hygiène, une
à améliorer la conception des projets, pro- qu’aurait été la situation des participants augmentation des revenus ou une amé-
grammes et politiques de développement en l’absence du programme. Le groupe lioration générale de l’infrastructure sani-
et/ou à comparer leur efficacité. Elles sont de comparaison est déterminant pour taire) pourraient expliquer le changement
ainsi avant tout un outil pour l’amélioration la qualité d’une évaluation d’impact. constaté en matière de santé au cours de
des projets et programmes de développe- la même période. De même, une simple
ment et pour l’apprentissage. comparaison de l’incidence de la diarrhée
Comment définir un groupe dans les villages équipés ou non d’une
de comparaison ? pompe peut s’avérer problématique. Un
Quelles sont les défis liés à biais peut notamment s’expliquer par des
une évaluation d’impact ? Différentes méthodes peuvent être utili- différences préexistantes entre les villages,
sées pour définir un groupe de comparai- par exemple lorsque les villages qui bé-
L’idéal serait de juger de l’efficacité d’un son. Les plus fréquentes dans le contexte néficient d’une pompe sont plus proches
projet ou programme de développement des politiques de développement sont la d’une route principale. Ce type d’erreurs
en comparant les outcomes pour les in- méthode des doubles différences, l’ap- systématiques se traduit par des estima-
dividus ayant participé au projet ou pro- pariement statistique, la régression par tions d’impact biaisées et donc incorrectes.
gramme à ceux auxquels ces mêmes discontinuité et les essais randomisés (voir
individus seraient parvenus s’ils les références pour davantage de détails),
n’avaient pas participé, et ce au même mais il y en a bien d’autres. Utilisées cor- Qu’en est-il de la taille
instant. Cet outcome hypothétique est rectement, ces méthodes sont des outils des échantillons ?
appelé le contrefactuel. Dans le monde puissants pour définir un groupe de com-
réel, il est rarement observable. Dans paraison pertinent et garantir ainsi que Pour qu’une évaluation d’impact soit pos-
l’exemple évoqué, où il s’agit d’établir l’impact mesuré n’est pas dû à un biais sible, il est nécessaire de disposer d’un
la part de réduction de l’incidence de la – autrement dit, qu’il n’est pas induit par échantillon suffisamment grand pour
diarrhée attribuable à la pompe (en com- des erreurs systématiques. garantir que l’effet d’un projet, d’un
paraison avec une situation sans pompe), programme ou d’une politique puisse
nous sommes confrontés au défi suivant : être mesuré. Le nombre de participants
s’il est possible de mesurer l’incidence de Que qualifie-t-on de résultat et le nombre d’individus dans le groupe
la diarrhée dans le groupe de personnes biaisé ou d’erreur systématique ? de comparaison devraient également être
ayant reçu une pompe (« groupe de trai- suffisamment grands pour permettre de
tement »), il n’est pas possible de mesurer Un biais est possible lorsque les diffé- conclure que l’effet observé ne relève pas
simultanément l’incidence de la diarrhée rences observées entre les individus ayant de la simple coïncidence, mais qu’il est
dans un monde où le même groupe de participé à un projet ou programme et le bien dû au programme. Dans l’exemple
personnes n’aurait pas bénéficié d’une groupe de comparaison sont attribuées de de la pompe, l’on pourrait comparer cinq
pompe à ce moment-là (contrefactuel). manière erronée à ce projet ou pro- ménages qui ont utilisé une pompe à cinq
L’un des principaux enjeux des évalua- gramme, alors qu’elles peuvent être expli- ménages qui ont puisé leur eau dans un
tions d’impact est donc de se rapprocher quées par d’autres facteurs. Par exemple, étang. Toutefois, il est concevable que ces
du contrefactuel en trouvant un groupe une simple comparaison de l’incidence de dix ménages ne soient pas représentatifs
d’individus, aussi proche que possible la diarrhée dans le même groupe avant de l’ensemble des utilisateurs de pompes
des individus qui y participent, n’ayant et après l’installation de pompes ne per- et de ceux qui puisent leur eau dans

Évaluation d’impact 2
un étang. Par exemple, une différence Les évaluations d’impact demandent > Les outcomes sélectionnés pour
constatée dans l’incidence des diarrhées beaucoup de temps et de ressources. En l’analyse peuvent-ils être mesurés dans
dans les deux groupes pourrait ne pas conséquence, il n’est pas recommandé un délai raisonnable ?
être pertinente si, par hasard, les individus d’évaluer l’impact de chaque projet, pro-
des ménages du groupe « pompe » ont gramme ou politique. Cet outil devrait Lectures conseillées :
une santé plus fragile que ceux des mé- être réservé aux cas où le potentiel d’ap- AFD : Évaluations d’impacts – Quelques
nages appartenant au groupe « étang ». prentissage est important. Une réponse concepts et définitions
La taille nécessaire de l’échantillon dé- affirmative à au moins l’une des questions www.afd.fr/home/recherche/evaluation-
pend de l’impact attendu du projet ou ci-dessous laisse supposer qu’un projet ou capitalisation/Evaluation-impacts/
programme en question. Plus cet impact programme gagnerait à faire l’objet d’une concept-definition
est faible, plus la taille de l’échantillon évaluation d’impact1 :
devra être importante pour que l’impact > Est-il envisageable de réaliser le projet International Initiative for Impact
puisse être détecté. La taille de l’échantil- ou programme à une échelle plus Evaluation : Synthèse des évaluations
lon dépendra également de la variance importante (scaling-up) ? d’impact existantes ; en anglais
générale du outcome. Plus cette variance > Est-ce que le projet ou programme est www.3ieimpact.org/en
est grande, plus la taille de l’échantillon stratégiquement pertinent pour l’orga-
devra être importante. A titre d’exemple, nisation par rapport à des objectifs de J-PA L: Introduction aux évaluations
le revenu varie davantage d’un ménage à réplication ou d’apprentissage ? d’impact aléatoires
l’autre que la quantité d’eau consommée. > Est-ce qu’il s’agit d’un projet ou www.povertyactionlab.org/fr/research-
Par conséquent, l’échantillon nécessaire programme novateur qui nécessiterait resources/introduction
pour analyser l’impact d’une pompe à eau des évidences sur son efficacité ?
sur le revenu des ménages devrait être > Les résultats peuvent-ils être utilisés Banque mondiale : Impact Evaluation in
plus grand que pour examiner l’impact de pour appuyer l’élaboration de poli- Practice, Second Edition (Les évaluations
la pompe sur la quantité d’eau consommée. tiques au niveau national ou global ? d’impact dans la pratique, deuxième
édition ; en anglais)
De même, il n’est pas possible d’analyser openknowledge.worldbank.org/handle/
Quel est le moment opportun l’impact de tous les types de projets et pro- 10986/25030
pour une évaluation d’impact ? grammes de développement. En d’autres
termes, l’impact ne peut pas être évalué
Pour constituer un groupe de comparai- pour tous les projets et programmes
son approprié, une évaluation d’impact d’une organisation. Trois aspects sont
devrait être préparée dès la conception ici primordiaux : Contact:
d’un projet, d’un programme ou d’une > Le nombre de bénéficiaires du Direction du développement et de la
politique, et donc avant sa mise en œuvre. projet ou du programme permet-il de coopération DDC
Autrement, il pourrait être trop tard pour constituer un échantillon d’une taille Section Evaluation et Contrôle de Gestion
obtenir des données de qualité et mettre suffisante pour l’évaluation d’impact ? Freiburgstrasse 130, 3003 Berne
en place un groupe de comparaison ap- > Est-il possible de constituer un groupe [email protected]
proprié. Toutefois, la qualité d’une éva- de comparaison approprié ?
luation d’impact passe également par une
bonne compréhension du programme. En Cette publication peut être téléchargée sous
règle générale, il est dès lors conseillé de www.ddc.admin.ch
planifier l’évaluation d’impact une fois que 1 Voir aussi le site de la Banque mondiale sur les
les aspects opérationnels ont été réglés, évaluations d’impact : http://www.worldbank.
mais avant le déploiement du programme. org/en/research/dime (en anglais) Avril 2017

© DDC

Évaluation d’impact 3