Formation S&E

Concevoir et mettre en place

un système de suivi et d’évaluation

Module 1 : la discipline du suivi-évaluation

Module 2 : la démarche HQSE
Module 3 : les étapes clés de mise en place

2007-2017

Sébastien Galéa
[email protected]
www.eval.fr

Ce support est distribué sous licence Creative Commons sous les

conditions suivantes : attribution, pas d'utilisation commerciale,
partage dans les mêmes conditions. Nous sommes à l’écoute de
toute observation ou suggestion que vous pourriez apporter à son
contenu.

1
 Sommaire
Module 1 : La discipline du S&E 1
Présentation EVAL 5
Le S&E : une discipline à part entière 11
Objectifs et contenu 18
Bref historique de l'évaluation 25
Evaluation et citoyenneté 45
Les fondamentaux
Outil de pilotage, outil démocratique, outil d'apprentissage 53
Les différents types d'évaluation 64
Les critères d'évaluation 75
Principes directeurs et cadre déontologique 114
Evaluation et ODD 117
Théorie du changement et chaine de résultats 123
Le modèle logique 132

Module 2 : La démarche HQSE 148

Les fonctions d'un système de S&E 152
Le SED (Suivi et Evaluation Dynamique) 155
Les fondamentaux 162
Les points d’équilibre 165
2
 Sommaire
Module 3 : Les étapes clés de mise en place du système 181

Etape 1 : état des lieux 184

Diagnostic 185
Analyse des parties prenantes 199
Etape 2 : définir les champs du système 214
Etape 3 : sélection des méthodes 224
Gestion axée sur les résultats et approche du cadre logique 225
Etude de cas : microcrédit 240
Méthode du changement le plus significatif 265
Cartographie des incidences 294
Etude de cas : citoyenneté 305
Evaluation d’impact 321
Méthodes d'évaluation randomisées 330
Etude monographique 352
Capitalisation d'expérience 353
Recherche action 361
Elaboration d'indicateurs 367
Etape 4 : planifier la collecte d’information et le traitement des données 402
Etape 5 : planification de l'utilisation et de la valorisation des résultats 428

3
 Introduction

i. Présentation EVAL
ii. Objectifs
iii. Modules
iv. Déroulé

4
• Coeur de métier : renforcement des compétences en suivi et évaluation : tout
collectif devrait posséder des bases méthodologiques en suivi et évaluation et tout
citoyen être introduit aux fondamentaux de l'évaluation des politiques publiques.

• Interface entre société civile et institutions pour l’élaboration conjointe de référentiels

• Mission et activités:
- Formations Suivi et Evaluation
- Accompagnements à la mise en place de système de suivi et d’évaluation (SSE)
- Evaluations externes
- Capitalisation

5
La mesure de l’intérêt général

EVAL

6
 Tout individu Tout collectif (ONG,
contribue à travers entreprise, quartier, commune,
ses capacités région, nation, UE, etc.)
à des projets collectifs. contribue à l’accroissement des
capacités de ses membres.

Individuel Collectif
Potentialités Citoyenneté
Capabilités Gouvernance
Emancipation Participation à la vie
de la cité

EVAL

Système vertueux où tout collectif participe à l’accroissement des capacités de ses membres et
chaque individu met à disposition ses capacités au profit du collectif.
Centre de ressources
www.eval.fr

8
 Blog évaluation
http://evaluationdeprojet.wordpress.com/

9
Le réseau EVAL

• s'adresse à tous ceux qui gèrent ou accompagnent des projets ou initiatives

porteuses de changement et qui souhaitent améliorer leurs pratiques

• un réseau d’acteurs du développement, du social, de la solidarité intéressés par

la discipline de l’évaluation et engagés à promouvoir sa pratique

• objectif : favoriser l'échange entre acteurs de terrain et partager nos

apprentissages.

10
L’évaluation : une discipline à part entière

« Le processus même d’acquisition de l’information fausse la réalité. Notre

perception est sélective. Nous portons tous des lunettes de teintes
différentes. Nous ne sommes pas neutres, il y a un rapport émotionnel à
l’information. Nous avons besoin de techniques rigoureuses pour être capable
de prendre du recul. »

Michael Quinn Patton

11
Gandhi

« ... nous ne penserons jamais tous de la même façon, nous ne verrons

qu’une partie de la vérité et sous des angles différents. »

12
Enjeu : devenir impartial ou plutôt réduire sa partialité…

Considérer l’ensemble des points de vue sur une action

Mettre en oeuvre des processus de partage de l’information et de

réflexion commune

Eclairer les mécanismes en amont de la prise de décision

13
 Tout est projet.
Entreprendre... une entreprise mais aussi un projet qu'il soit à caractère culturel, social,
environnemental...

14
Qu’est-ce qu’un projet?

• « Ensemble des actions à entreprendre afin de répondre à un besoin défini dans

des délais fixés »

• Un projet repose sur 3 pilliers :

1. des parties prenantes 2. des mécanismes de coordination,

clairement identifiées de gestion et de financement

15
3. un système de suivi et d’évaluation

16
« Ce qui compte ne peut pas toujours être compté, et ce
qui peut être compté ne compte pas forcément. »
Albert Einstein

17
De la théorie à la pratique

Objectifs :

s’approprier les fondamentaux de la discipline du Suivi & Evaluation

appréhender différentes méthodologies de S&E

être capable de concevoir et mettre en place un système de suivi et

d’évaluation adapté à son contexte (projet/programme/politique
publique, etc.)

Orienter l’impact

18
 Module 1 : la discipline du suivi-évaluation

i. Les fondations d’une discipline récente

ii. Evaluation et citoyenneté
iii. Outil de pilotage, outil démocratique, outil d’apprentissage
iv. Les différents types d’évaluation
v. Les différents degrés de participation
vi. Les critères d’évaluation
vii. Principes directeurs et cadre déontologique
De la théorie à la pratique
viii. Théorie du changement
ix. Chaine de résultats

19
 Module 2 : la démarche HQSE

i. Un système de S&E sur mesure

ii. Fonctions et caractéristiques d’un système de S&E

iii. Les fondamentaux

iv. Les points d’équilibre

v. Le SED (suivi et évaluation dynamique)

20
 Module 3 : les étapes clés de conception d’un
système de suivi et d’évaluation

i.Les étapes clés de mise en place

• L’état des lieux
• La définition des champs du système
• Approches et choix méthodologiques
• La formulation des indicateurs
• La collecte d’information et le traitement des données
• La planification de l’utilisation des résultats
De la théorie à la pratique : études de cas

21
 évaluation évaluation
finale interne
évaluation ex post
évaluation ex ante
évaluation pays
méta évaluation
auto-évaluation
évaluation groupée

évaluation indépendante évaluation externe

évaluation d’impact
évaluation à mi-parcours évaluation formative

Réduire le champ : préciser ses attentes et adapter la terminologie

22
EVALMAP

23
 Module 1 : la discipline du suivi-évaluation

i. Les fondations d’une discipline récente

ii. Evaluation et citoyenneté
iii. Outil de pilotage, outil démocratique, outil d’apprentissage
iv. Les différents types d’évaluation
v. Les différents degrés de participation
vi. Les critères d’évaluation
vii. Principes directeurs et cadre déontologique
De la théorie à la pratique
viii.Théorie du changement

24
 Bref historique de l’évaluation

Evaluation de politiques publiques :

les fondations d’une discipline récente

25
 Historique

Les fondations d’une discipline récente

Article 15 de la déclaration
des droits de l’homme et du
citoyen d’août 1789 : la
société a le droit de demander
compte à tout agent public de
son administration

26
 Historique

« Si les milieux officiels ont manifesté récemment un vif intérêt pour

l’évaluation, l’idée n’est pas nouvelle. »

Pour qu’une gestion, de quelque nature qu’elle soit, puisse être efficace, il est
indispensable de définir clairement ce que l’on veut faire, de déterminer
périodiquement ce qui a été réalisé et de quelle manière, de comparer les
résultats aux buts visés et d’estimer le coût de l’opération.

27
Historique

28
 Historique

Bref historique de l’évaluation

• L’EPP (Evaluation des Politiques Publiques) nait aux Etats-Unis dans les années
60

• Offre : universitaires dans le domaine des sciences sociales

• Demande : démontrer de manière scientifique que des réformes sont efficaces

ou non

➡ Enjeu : apporter des données utiles à un gouvernement éclairé

29
 Historique
Historique

Bref historique de l’évaluation

• Emergence des premières sociétés de professionnels de l’évaluation (congrès,

revues professionnelles, etc.)

• Eastern Evaluation Research Society (1978)

• Société canadienne d’évaluation (1981)

• American evaluation society (1986)

• Australasian evaluation society (1987)

• Société Française de l’Evaluation (1999)

30
 Historique
Historique

Bref historique de l’évaluation

• Standards for evaluations of educational programs, projects, and materials. Joint

Committee on Standards for Educational Evaluation (1981).

• The program evaluation standards, Joint Committee on Standards for

Educational Evaluation (1994).

• Les principes pour l’évaluation de l’aide au développement (1991), CAD, OCDE

• Normes de qualité pour l'évaluation du développement - Comité d'Aide au

Développement de l'OCDE - 2010

• Charte de l'évaluation des politiques publiques et des programmes

publics, Société Française de l'Evaluation, 2003, actualisée en 2006

31
 Historique
Historique

Bref historique de l’évaluation

Des pratiques et
méthodologies qui se sont
développées dans le
domaine de la coopération:
EuropeAid, USAID, GIZ

32
 Historique

• Practical evaluation (1982) Michael Quinn Patton

• Creative Evaluation (1987) Michael Quinn Patton

• Utilization-focused Evaluation: The New Century Text (1997) Michael Quinn

Patton

• Realistic Evaluation, (1997), Pawson, R.; Tilley, N.

33
 Historique

Bref historique de l’évaluation

Rapport Viveret, 1989

34
 Historique

Bref historique de l’évaluation

circulaire Rocard, 1989, sur le renouveau du service public : 4

grandes orientations dont le devoir d’évaluation des politiques
publiques

35
 Historique

Bref historique de l’évaluation

Décret relatif à l’évaluation des politiques publiques, janvier 1990 :

• création d’un comité interministériel de l’évaluation
• création d’un fonds national de développement de l’évaluation
• création d’un comité scientifique de l’évaluation

36
 Historique
Historique

Bref historique de l’évaluation

une culture de l’évaluation

qui se développe en France
depuis les années 1990,
notamment au niveau des
régions

37
 Historique

Bref historique de l’évaluation

2001-2006 - introduction de
la LOLF : une culture de
performance > les
administrations doivent
rendre des comptes sur
l’efficacité de l’utilisation des
crédits qui leur ont été
attribués.
L’Etat se fixe des objectifs
précis à atteindre, avec des
moyens alloués pour
atteindre ces objectifs : new
public management

38
 Historique

Bref historique de l’évaluation

• 2007 : RGPP - vise la

réforme de l’état, la baisse
des dépenses publiques et
l’amélioration des politiques
publiques

39
 Historique

Modernisation de l’action publique (MAP)

• L’ensemble des politiques publiques évaluées sur le temps du mandat

2012-2017 :
• la formation professionnelle des demandeurs d’emploi
• la politique de soutien à la vie étudiante
• la gestion des prestations d’assurance maladie

40
 Historique

Bref historique de l’évaluation

• La loi organique du 15 avril

2009 impose que la plupart
des projets de loi déposés
soient désormais
accompagnés d’une étude
d’impact

41
 Historique

Constitution : article 24 (depuis 2008)

• «Le Parlement vote la loi. Il contrôle l’action du Gouvernement. Il évalue les

politiques publiques.»

42
 Historique

• Realworld evaluation (2006) M. Bamberger, J. Rugh, L. Mabry

• When Will We Ever Learn? Improving Lives Through Impact Evaluation (2006)

• Purposeful Program theory (2011) S. Funnell

43
 Historique

Bref historique de l’évaluation

2005 : déclaration de Paris - adoption de principes sur efficacité de

l’aide (Résultats – Les pays en développement se concentrent sur
les résultats souhaités et leur évaluation.)
2008 : programme d’action d’Accra (Obtention de résultats : l’aide est
axée sur un impact réel et mesurable du développement.)
2010 : Principes d'Istanbul sur l'efficacité du développement - Les
OSC sont efficaces en tant qu'acteurs du développement
lorsqu'elles favorisent un environnement durable
AFD (2012) : "L'APD est probablement la politique publique la plus
évaluée mais on s'interroge toujours sur son efficacité"

44
 Evaluation et citoyenneté

Patrick Viveret

« avant d’être un ensemble de techniques, l’évaluation est

avant tout un acte politique »

45
 Evaluation et citoyenneté

Analyse des politiques publiques

Progressistes Conservateurs
Changer la société
en agissant sur les
Conserver ce qui a
comportements des
fait ses preuves
individus ou des
organisations

Quels sont les

En quoi la politique
changements induits
a-t-elle fait ses preuves ?
et observables ?

46
 Evaluation et citoyenneté

Analyse des politiques publiques

Donald Thomas Claude Levi

Campbell Strauss
« rêve d’une société qui expérimente de
nouvelles solutions aux problèmes récurents, « toute société a besoin de
les évalue et en expiremente d’autres encore conserver des rituels pour
jusqu’à obtention des objectifs » subsister »
Experimenting society

Quelles réponses Quels rituels souhaitons-nous

aux problèmes récurrents ? conserver ?

Quel modèle de société ?

47
 Evaluation et citoyenneté

Evaluation et citoyenneté

Obtenir des clés méthodologiques de compréhension de la

conception, du suivi et de l’évaluation des politiques qui affectent
son quotidien, son environnement et sa planète :
-accès au soin, accès au logement, accès à
l’éducation, accès à l’emploi, accès à la
justice…

-environnement, transport, sécurité…

48
49
 Evaluation et citoyenneté

Evaluation de programme/projet vs évaluation de politiques publiques

évaluation du programme d’appui à la médicalisation des aires de

santé rurales au Mali - OMS-Ministère de la Santé
évaluation externe du programme « En santé à l’école » Agence
Régionale de Santé Pays de la Loire

Différence : dans cet exemple précis, intervention d’une entité

tierce (OMS) dans le cadre de l’évaluation au Mali
Point commun : apprécier la valeur de l’action du point de vue de
l’intérêt général

50
Les différentes fonctions de l’évaluation

• Pourquoi évaluer ? A quoi sert l’évaluation ?

51
Les différents types d’évaluation

• Les différents objets d’une évaluation (sur quoi porte l’évaluation ? qu’est-ce qui
est évaluable ? )

• Les différents temps de l’évaluation (à quel moment intervient l’évaluation ?)

• Les différents acteurs de l’évaluation (qui porte l’évaluation ? qui est concerné
par l’évaluation ?)

52
 Les bases
Les fondamentaux

Définitions

L’évaluation doit permettre d’améliorer les politiques,

programmes et projets des années futures grâce à la
prise en compte des enseignements tirés du passé
et fournir les éléments en vue de la justification des
actions menées, avec des informations destinées au
public. CAD/OCDE

53
 Les
fondamentaux

Définitions

Evaluer une action : apprécier la valeur de l’action du

point de vue de l’intérêt général (plusieurs «parties
prenantes» : citoyens, opérateurs, décideurs…) SFE

54
 Les
fondamentaux

Le suivi et l’évaluation : un couple indissociable

Suivi : processus
continu de collecte
systématique
d’information

• tableau de bord, intégré au projet

• permet le suivi en temps réel du projet
• garantie la fiabilité de l’évaluation

55
 Les
fondamentaux

M&E : Monitoring and Evaluation

56
 Les
fondamentaux

Un outil intégré au projet

57
 Les
fondamentaux

un outil de pilotage

une aide à la décision :

• collecter l’information qui permet de

prendre les décisions suivantes: arrêter le
projet, le poursuivre, le modifier

• permettre des choix éclairés

• permet de dresser un état des lieux à une

date donnée, d’effectuer un diagnostic,
d’ébaucher des recommandations...

58
 Les
fondamentaux

un outil démocratique (transparence)

• redevabilité (« avoir des comptes à rendre », utilisation de fonds publics)

• informer l’ensemble des acteurs sur diverses composantes du projet (et non pas
communiquer)

• solidifie la relation de confiance

• transparence à différents niveaux :

• Externe : informations sur la conduite du projet, l’atteinte des objectifs ou des

résultats,…

• Interne : mode de gouvernance, respect des valeurs, éthique, modes de

décisions et consultation des parties prenantes, conflits d’intérêts…

‣ vis à vis des usagers (participants, bénéficiaires…)

‣ critères d’attribution des subvention (modes de sélection)

59
 Les
fondamentaux
Quel équilibre des flux d’information ?

Bailleur/Financeur

Mode d’attribution
des subventions Reporting

Opérateur

Usagers

60
 Les
fondamentaux

un outil d’apprentissage

• permet de mettre en perspective les actions passées pour améliorer la

programmation des actions futures

• détecter les innovations et les «bonnes pratiques»

• documenter, capitaliser ou systématiser les expériences

• mettre en forme l’expérience pour la rendre partageable

Capitalisation d’expérience

61
 Les
fondamentaux

L’évaluation n’est pas:

• un audit, ni un instrument de comptabilité, c’est la globalité du projet qui est

étudié

• un verdict, ni un jugement tranché, c’est une base de discussion

• un luxe : recommandation de 3% du budget du projet consacré au S&E, ces 3%

permettent d’économiser des sommes bien plus importantes en mettant à jour
les dysfonctionnements

• un instrument de contrôle

• un exercice RH visant à éclairer des pratiques individuelles

• une réponse routinière à une contrainte juridique

62
surtout pas une usine à gaz : le système de S&E à pour objectif de vous être utile... 63
 Les
fondamentaux

Les différents types d’évaluation

1. suivant le périmètre de l’évaluation

2. suivant la programmation dans le temps

3. suivant l’auteur de l’évaluation

64
 Les
fondamentaux

1. Le périmètre de l’évaluation

65
 Les
fondamentaux
1. Le périmètre de
l’évaluation

• évaluation d’un outil

• évaluation d’une zone

?
géographique, d’une période
temporelle

• évaluation de l’utilité d’une

évaluation

• évaluation de la structure

• évaluation sectorielle (santé,

éducation, environnement, etc.)

• beaucoup d’évaluations au
niveau de l’action, du projet mais
des blocages sur l’évaluation des
politiques/stratégies
66
 Les
fondamentaux

2. Selon leur programmation dans le temps

Une approche intégrée

Toutes les phases du projet sont conçues et gérées de manière interdépendante; la
gestion d’une phase tenant compte des éléments des phases antérieures

67
 Les
fondamentaux

2. Selon leur programmation dans le temps

• Ex-ante :
• intervient en amont de la mise en oeuvre du projet, au moment de la
conception du programme,
• s’appuie sur une analyse du contexte en lien avec l’identification des
besoins : diagnostic
• vérifie l’adéquation des objectifs par rapport aux besoins, enjeux ou
problèmes à résoudre

• Intermediaire
• par exemple à mi-parcours
• analyse les premiers résultats, permet de réorienter l’action
• vérifie, au cours du cycle du projet, si les besoins sont toujours présents,
si la gestion du programme se déroule comme prévu ou nécessite une
amélioration 68
 Les
fondamentaux

2. Selon leur programmation dans le temps

• Finale :
• en fin de programme, permet d’observer les conséquences à court
terme

• Ex-post

• après l’arrêt du programme, se situe nettement après la clôture de

l’action et s’intéresse aux effets à moyen ou long terme (impacts)

69
 Les
fondamentaux

3. Selon l’auteur de l’évaluation

• l’auto-évaluation : réalisée par une ou plusieurs personnes directement

impliquées dans l’action évaluée

• l’évaluation interne : effectuée par un agent relevant de la structure

responsable de l’action, mais n’ayant pas été impliqué dans la conception
ou la mise en oeuvre de celle-ci

• l’évaluation externe : implique un recours à des intervenants extérieurs,

favorise un regard neutre et neuf

• l’évaluation par les bénéficiaires

70
 Les
fondamentaux

L’auto-évaluation

• Démarche décidée et mise en place par ceux qui réalisent l’action

• Maitre du processus (choix de l’objet, des outils, méthodes, ...)

• Démarche volontaire (facilite l’appropriation des objectifs, des outils, des

résultats)

• Au plus près des opérations, connaissance historique du projet

• Coût élevé d’une évaluation externe

• Alimente et améliore la qualité d’autres types d’évaluation

71
 Les
fondamentaux

Les limites et difficultés

• difficile d’être impartial quand on porte soi-même projet

• manque de temps, les priorités de l’opérationnel

Insérer l’auto-évaluation dans la programmation des actions

72
Illustration : Rash Brax 73
 Les
fondamentaux

Objet Périmètre

- Aide à la décision - Activité

- Redevabilité - Projet
- Apprentissage - Programme
- Politique
Formative : orientée Outil,
- Stratégie
apprentissage Zone géographique,
Sommative : atteinte - Structure Période temporelle,
des objectifs Secteur…

Temporalité Auteur

- Ex-ante - Auto-évaluation
- Intermédiaire - Evaluation interne
- Finale - Evaluation externe
- Ex-post - Bénéficiaires
Chemin faisant ou in
Bénéficiaires : simple mesure
itinere : en interaction
de satisfaction ou participation
constante = M&E
à la conception du SSE ?
 Les Critères d’évaluation

• Le but d’une évaluation est d’analyser les effets d’un programme et de porter un
jugement. Ce jugement devra s’articuler autour de différents critères :

critères génériques (par exemple les critères du CAD)

critères spécifiques (en fonction des champs d’intérêts)

critères transversaux

• Cette analyse s’effectuera en premier lieu à partir de données collectées auprès

d’usagers (ou bénéficiaires en fonction de la terminologie employée) . Mais quel
type d’usagers?

75
 Les critères d’évaluation

Les usagers

‣ ceux qui ont participé activement ?

‣ ceux qui ont participé partiellement ?

‣ ceux qui ont refusé de participer ?

‣ les exclus ? (ceux qui n’ont pas eu l’opportunité de participer)

76
 Les critères d’évaluation
Critères

Les différents degrés de participation

77
 Les critères d’évaluation
Critères

Les usagers au coeur du dispositif

78
Illustration : Rash Brax 79
Mesurer les besoins et les attentes... le programme a-t-il répondu aux besoins des usagers ?

80
 Les critères d’évaluation
Critères

Les critères du CAD

• Comité d’aide au développement de l’OCDE

• Mandats :
• Améliorer les politiques de développement
• Promouvoir des politiques de coopération pour le développement

81
 Les critères d’évaluation
Critères

La pertinence

• La pertinence concerne l’adéquation du projet avec les problèmes à résoudre. Dans

quelle mesure les objectifs envisagés par le projet répondent aux problèmes
identifiés ou aux besoins réels ? Dans quelle mesure les objectifs de l’action
correspondent aux attentes des bénéficiaires ? aux besoins du territoire ?
Concerne la valeur ajoutée du projet : la mise en oeuvre est-elle motivée ?

• La pertinence doit être évaluée tout au long du cycle du projet. Dans l’hypothèse
où des changements se produiraient tant au niveau des problèmes initialement
identifiés que du contexte (physique, politique, économique, social,
environnemental ou institutionnel), une mise au point ou une nouvelle orientation
devrait être donnée.

82
La pertinence 83
La cohérence/complémentarité

84
 Les critères d’évaluation
Critères

La cohérence/complémentarité

• Cohérence externe

• En lien avec la pertinence :

‣ Si le projet répond effectivement à un besoin, combien de structures

sont-elles attelées à y répondre ? Les structures sont-elles
complémentaires ou en situation de concurrence ?

• Analyse de la logique, valide une absence de contradiction

• Cohérence interne :
• les valeurs qui sont affichées en externe - solidarité, gestion démocratique,
participation, transparence, responsabilité sociale et environnementale,
respects des textes et des lois, indépendance - sont-elles réellement
appliquées en interne ?

85
 Les critères d’évaluation
Critères

L’efficacité

• le degré de réalisation des objectifs

• comparaison entre les objectifs fixés au départ et les résultats atteints (traduit en
indicateurs : nombre d’événements réalisés, nombre de visiteurs, nombres de
personnes formées…)

• nécessite des objectifs clairs au démarrage - l’intérêt est de mesurer les écarts et
de pouvoir les analyser

86
Japon, mars 2011 (image de gauche) et avril 2011 (image de droite) - un mois après le tsunami : les côtes ont été nettoyées.

87
 Les critères d’évaluation
Critères

L’efficience

• Concerne l’utilisation rationnelle des moyens à disposition

• Analyse si les objectifs ont été atteints à moindre coût (financer, humain et
organisationnel)

• Mesure la relation entre les différentes activités, les ressources disponibles et les
résultats prévus (mesure quantitative et qualitative)

• Question centrale : le projet a-t-il été mis en oeuvre de manière optimale ?

• Des résultats similaires auraient-ils pu être obtenus par d’autres moyens, à un

coût moins élevé et dans les mêmes délais ?

88
Quelle efficience ?
A trop vouloir chercher l’efficience…
 Les critères s’observent dans leur globalité.
Par exemple, l’analyse de l’optimisation des moyens (optimisation de l’espace, du
temps de transport, etc.) n’a plus raison d’être si la pertinence de l’opération (faut-il
intervenir ?) est remise en cause et abandonnée.
RD Congo. L’équipement des bureaux de vote, tables et chaises en plastique sont envoyés par hélicoptère
(1000/USD par heure de vol) alors que la zone est accessible par voie fluviale. Aucune retombée économique pour
les artisans locaux qui restent sans emploi.

92
 Les critères d’évaluation
Critères

L’impact

• les retombées de l’action à moyen et long terme

• l’appréciation de tous les effets du projet sur son environnement, aussi bien
positifs que négatifs, prévus ou imprévus, sur le plan économique, social,
politique, écologique

• mesure l’ensemble des changements significatifs et durables dans la vie et

l’environnement des personnes et des groupes ayant un lien de causalité direct
ou indirect avec le projet

• comparaisons dans l’espace et dans le temps (avant/après - avec/sans)

93
 Les critères d’évaluation
Critères

Effet imprévu: exemple

Des moustiquaires imprégnées utilisées comme filet de pêche…

94
 Les critères d’évaluation

Durabilité (pérennité, viabilité)

• vise à savoir si les effets du programmes perdurent après son arrêt

• analyse des chances que les effets positifs de l’action se poursuivent lorsque
l’aide extérieure terminée

• la durabilité permet de déterminer si les résultats positifs du projet sont

susceptibles de perdurer une fois taris les financements externes

• en lien avec le secteur d’intervention : un projet ESS (économie sociale et

solidaire) visera la viabilité économique - néanmoins, pas de viabilité économique
envisageable pour un projet dans le domaine de la défense des droits humains
par exemple qui restera dépendant de financements extérieurs.

95
Quelle continuité une fois le financement externe achevé ? 96
 Les critères d’évaluation

Des critères supplémentaires suivant le type

de projet et l’objectif de l’évaluation
• la couverture : les usagers correspondent-ils à notre population cible de départ?
A-t-on atteint les plus accessibles ou les plus précaires ?

• la plus-value institutionnelle : en quoi mon organisation est-t-elle légitime pour

s’engager dans ce projet ? les attentes sont-elles en lien avec notre savoir-faire
ou s’agit-il de répondre à une opportunité de financement ?

• la coordination

• le partenariat : égalité, équité, complémentarité, subordination ?

• l’utilité sociale : en quoi le projet contribue au bien commun, à l’intérêt général ?

• l’acceptabilité : comment le projet est-il acccepté par les populations cibles ?

• la progression : pouvoir identifier une dynamique positive même si les résultats ne

sont pas atteints…
99
 Les critères d’évaluation

Critères/domaines de changement
(exemple : programme visant l’amélioration du climat scolaire)

Réduction de la
Esprit d’initiative
violence

Autonomie des Cohésion de

élèves groupe

Apprentissages Apprentissages
scolaires non scolaires

100
 Les critères d’évaluation

Critères/domaines de changement
Exemples

Renforcer la Intégration des ONG Capacité d’adaptation

gouvernance des dans le système au changement
collectivités locales national de santé climatique

Egalité de salaire entre

les femmes et les Changement social Utilisation du SRO
hommes

Accès des jeunes et des

Amélioration de la
Insertion des jeunes femmes à un emploi dans
le secteur du tourisme production agricole

101
 Les critères d’évaluation

Evaluation des outils!

Les outils sont-ils adaptés au projet ?

102
 Les critères d’évaluation
Les outils sont-ils utilisés de manière adéquate ?

103
 Critères transversaux

Critères transversaux
Environnement
Sociaux
Genre
Equité

104
 Les
Critères
critères
transversaux
d’évaluation

Critères environnementaux

105
 Critères transversaux

Critères sociaux

106
 Critères transversaux

Critères de genres

107
 Critères transversaux

Equité

108
 Inégalités Discrimination
- Accès à l’eau
- Accès aux soins
- Accès à l’éducation
Genre Age - Accès au droit
- Accès à l’emploi
- Accès à la culture
Handicap Ethnique Langue Religion Engagement - Accès au logement
- Accès à la citoyenneté
Politique - Accès à la terre
Syndical
Civique

Dans un contexte de dispositifs SE précaires, l’éclairage de critères transversaux est souvent

modeste, dilué et perçu comme une figure imposée. Une hierarchisation des priorités en
terme de lutte contre les inégalités ou les discriminations permettra a minima de
détecter les groupes vulnérables en prise directe avec le programme.
Etude d'impact : loi de financement de la sécurité sociale pour 2017

http://www.assemblee-nationale.fr/14/pdf/projets/pl4072-ei.pdf
111
Vulnerability Category

disaggregated by
age, gender
Source

Health Disability Care, DRC

Elderly (60+) without
Household Care, DRC
family support
Pregnant women and
Women Care, DRC
nursing mothers
Children at risk (child
Children Care, DRC
labour)
Income less than X/
Income Oxfam
month
 Les critères
Critères de bases Critères spécifiques

- Pertinence - Couverture
- Cohérence - Plus-value institutionnelle
- Efficacité - Qualité du partenariat
- Efficience - Utilité sociale
- Impact - Coordination
- Durabilité - Progression

Critères transversaux

Environnement
Sociaux
Genre
Equité

Domaines de changement
par exemple :
- Accès au droit
- Amélioration du climat scolaire
 Principes directeurs et cadre déontologique

• utilité

• pluralité (l’ensemble des points de vue a-t-il été considéré ?)

• impartialité et intégrité (conflits d’intérêt ?)

• transparence (processus libre et ouvert ?)

• compétences de l’évaluateur

• réciprocité (le regard de l’ « évalué » sur l’évaluateur)

• implication des parties prenantes ?

114
 Déontologie

L’évaluation est un sport de combat

une technique de self-defense

• l’évaluation est toujours à double sens : si votre structure fait l’objet d’une
évaluation, les principes directeurs ont-ils été respectés ? un restitution effectuée
? un droit de réponse accordé ?

• en tant que citoyen : les politiques publiques qui façonnent nos territoires et nos
sociétés sont-elles pertinentes, cohérentes, efficaces, efficientes, perennes,
évaluables, évaluées ?

• exercer la « responsabilité d’apprentissage » de la part du commanditaire (les outils

de S&E exigés notamment par les bailleurs ne doivent pas servir uniquement la
redevabilité)

115
Retour d’expérience

• En tant que responsable d’un programme évalué ?

• Des conflits d’intérêt comme limite à l’objectivité ?

• Quelles limites à la transparence ?

116
 Evaluation et Objectifs de Développement Durable

Contexte
• 2015 : année internationale de l’évaluation :
résolution de l’ONU visant à renforcer les Etats en
matière d’évaluation

• 150 VOPEs (Voluntary Organizations for

Professional Evaluation) avec une accélération
sans précédent

• EVALAgenda 2020 : créer un environnement

favorable à l’évaluation, renforcement des
capacités individuelles et institutionnelles

• RFE : réseau francophone de l’évaluation : 2ème

Forum International Francophone de l’Evaluation,
en décembre 2016 à Marrakech

117
 ODD

Des OMD aux ODD

• Objectifs du Millénaire pour le Développement (OMD) :

• 2000-2015 : 8 objectifs définis dans une approche top-down
• avant tout sociaux (en réaction aux Programmes d'Ajustements Structurels des années
80 et 90). L’économique, les villes, les migrations n’apparaissent pas.
• sous la responsabilité de l’Aide Publique au Développement -
• bilan très mitigé

• Objectifs de développement durable (ODD)

• 2015/2030 - 17 objectifs - 169 cibles - approche officiellement bottom-up (1 million de
personnes consultées)
• Universel : concerne l’ensemble des pays
• Transversal : intègre le développement économique et social, l’environnement
et le climat
• Transformatif : vise un changement de modèle
• Non contraignants
• Diffus : reflète la diversité des ambitions
• à la carte ?

118
 ODD

Quels enjeux pour la communauté d’évaluateurs ?

• Chaque gouvernement, chaque parlement, chaque société civile est responsable de sa

contribution aux ODD sur son propre territoire

• Comment mesurer cette contribution ?

• Renforcement des capacités nationales en suivi et évaluation est central

• intégrer des systèmes de S&E à l’écriture des lois, décrets et toute

formulation de politique publique

119
 ODD

Objectif de développement durable 16

Paix, Justice, Institutions

CIBLES :

• 16.6 : Mettre en place des institutions efficaces, responsables et transparentes à tous

les niveaux

• 16.7 : Faire en sorte que le dynamisme, l’ouverture, la participation et la représentation

à tous les niveaux caractérisent la prise de décisions

SUIVI ET EXAMEN :

76. Nous entendons aider les pays en développement, en particulier les pays d’Afrique, les
pays les moins avancés, les petits États insulaires en développement et les pays en
développement sans littoral, à renforcer les capacités des bureaux de statistique et des
systèmes de collecte de données nationaux pour garantir l’accès à des données de qualité,
actualisées, fiables et ventilées.

120
De la théorie à la pratique

L’évaluation dans…

une
une ONG un laboratoire
organisation
nationale ? de recherche ?
internationale ?

une ONG une agence une société de

internationale d’expertise conseil
? technique ? privée ?

une une collectivité

un ministère ?
fondation ? locale

121
122
Théorie du changement et chaine de résultats

Crédit : Sidney Harris

123
 ToC

Théorie du changement

• « Une théorie du changement (ToC) est une vision explicitement documentée (et
donc évaluable) de la façon dont on pense que le changement doit se produire. »
Rick Davies

• feuille de route vers le changement

• aide à appréhender la complexité du changement social

124
Plan stratégique EVAL
125
 Chaine de résultats

Inputs Output Outcome

Ressources Produit Résultat

126
 Chaine de résultats

Chaine de résultats

Inputs Activities Output Outcome Impact

Réalisation
Ressources Activités Résultat Impact
Produit

127
 Chaine ToC
de résultats

? ?
?

? ?

?
???
Facteurs et dynamiques similaires 128
 Chaine de résultats

? ?
?

? ?

?
???
Facteurs et dynamiques adverses 129
 Chaine de résultats
Chaine de résultats

Output Outcome Impact

Produits (extrants, Résultats Impact

réalisations) Objectif spécifique Objectif global

Exemple d’indicateurs

Nombre d’heures Nombre de diplômés Nombre de diplômés en poste

de formations dispensées % de diplômés 6 mois après l’obtention du diplôme

130
Chaine de résultats

131
 Chaine de résultats

Le modèle logique

132
 Chaine de résultats

La logique du programme

133
Chaine de résultats

134
 Chaine de résultats

Le modèle logique

135
 Chaine de résultats

Evaluation basée sur la théorie

• Concept central à toute évaluation : s’attache à comparer les résultats, effets et

impacts qui avaient été visés au démarrage de l’action avec les résultats, effets
et impacts réellement atteints en fin d’action.

• Les processus qui ont apporté le changement sont-ils bien ceux qui avaient été
identifiés au démarrage de l’action ?

• Comment faire la part des choses entre ce qui est imputable au projet et ce qui
est imputable aux mutations de l’environnement ?

136
 Chaine de résultats

Evaluation basée sur la théorie

Comprendre la chaine des causes :

• Les actions ont-elles produit les résultats escomptés ?

Comment s’explique la différence entre le prévisionnel et le réalisé ?

• Les résultats ont-ils produit les effets attendus ?

Comment expliquer la différence entre le prévisionnel et le réalisé ?

• Mesure et analyse des écarts

137
 3 niveaux de programme

1 2 3

Evaluation du Evaluation de la Evaluation des

contexte : réalisation : état résultats et des
diagnostic d’avancement impacts : ce qui est
généré en terme
sociaux,
envrionnementaux,
économiques

138
 Chaine de résultats

CONCEPTION MISE EN OEUVRE EFFETS

Enjeux Objectifs Ressources Activités Résultats Effets

Moyens Volumes
Besoins Attentes Résultats Répercussion
affectés traités

Pertinence Efficience Impact

Cohérence

Efficacité
 Evidenced based policy

Politiques «basées sur la preuve»

140
 Evidenced based policy

Matignon/sécurité routière

141
Recherche ou marketing ? 142
 Chaine de résultats

La boite noire

143
 Chaine de résultats

Construire ou reconstruire le modèle logique

Données primaires
Données secondaires
Causalité
Données primaires

CONTEXTE MISE EN OEUVRE PRODUITS EFFETS IMPACTS

144
 Chaine de résultats

Identifier les ruptures dans le modèle

Données primaires

Causalité
Données primaires

CONTEXTE MISE EN OEUVRE PRODUITS EFFETS IMPACTS

145
Orienter l’impact

146
 Le modèle logique

Inspiré librement du modèle logique de Ellen Taylor-Powell et Ellen Henert, "Developing a logic model : teaching and training guide" 2008, p.14

147
 Module 2 : la démarche HQSE

i. Un système de S&E sur mesure

ii. Fonctions et caractéristiques d’un système de S&E

iii. Les fondamentaux

iv. Les points d’équilibre

v. Le SED (suivi et évaluation dynamique)

148
 HQSE

Définir un système de suivi et d’évaluation

149
 HQSE

Module 2 : la démarche HQSE

i. Fonctions et caractéristiques d’un système de S&E

ii. La démarche HQSE

iii. De la théorie à la pratique : études de cas

150
 HQSE

Un système sur mesure

151
 HQSE

Fonctions d’un système de S&E

Courroie de
Boussole Gouvernail
transmission

152
 HQSE

Caractéristiques d’un système

• interaction : des causalités non-linéaires

• globalité : le tout est plus que la somme des parties

• complexité à différents niveaux :

- incertitude de l’environnement
- impossibilité d’identifier tous les éléments et toutes les relations en jeu

➡ approche globale (holistique) du projet (et de l’usager)

➡ considérer la part d’aléatoire inhérent à tout projet «humain»

153
 HQSE

Démarche HQSE (Haute Qualité en Suivi et

Evaluation) : une approche systémique

• 4 fondamentaux

• 8 points d’équilibre

154
 HQSE

Suivi Evaluation Dynamique (SED)

les outils de collecte d’information ne sont pas neutres

ils peuvent être orientés afin de servir l’action et ses objectifs

porter une attention fine à la conception et à la formulation

enjeux de vulgarisation

intégrer systématiquement des questions en lien avec le sens, la vision,

l’objectif global

le participant doit pouvoir indiquer sur une échelle graduée sa perception

des dynamiques en cours

155
HQSE

156
 HQSE

Pourquoi dynamique ?

les outils de S&E sont parties intégrantes de l’action et visent à orienter

l’impact

visent une meilleure réactivité via une utilisation rapide des informations
issues du système.

éclairer les processus décisionnels : retracer le cheminement

préalable à la prise de décision

enjeu de transparence

157
 HQSE

HQSE : les fondamentaux

1. Les usagers au coeur du dispositif

• A chaque étape de mise en place du système de S&E, les usagers sont

sollicités et impliqués.

• Le degré de participation (information, consultation, concertation, co-

décision) est clairement défini en amont et, en tant qu'objectif à part
entière, comporte ses propres outils de suivi.

158
 HQSE

Les usagers au coeur du dispositif

159
 HQSE

HQSE : les fondamentaux

2. Un système de suivi et d'évaluation doté de ressources

propres
• 1% (à minima) des ressources de l'action, du projet, de la politique sont
affectés au fonctionnement du système de suivi et d'évaluation. Dès la
conception du projet, une ligne budgétaire spécifique (généralement
estimée de 1 à 3% du budget global, jusqu’à 10%), couvre l'ensemble des
frais liés à cette fonction (concertations, enquêtes, collecte, traitement et
analyse de l'information, restitutions, suivi des recommandations, etc.).
• Le temps consacré par chaque acteur aux activités de S&E est anticipé et
la fonction S&E est intégrée dans les profils de poste.

160
161
 HQSE

HQSE : les fondamentaux

3. La figure libre

• En complément de méthodes reconnues, les porteurs de projets

innovent avec la création d'un outil qui leur est propre.

• Objectif : capturer toute trace de l'action sous tout type de support

• Cartes, plans, photos, vidéos... Capturer ce qui fait sens grâce à une
mosaïque d'informations; contrebalancer les apports statistiques par
des perceptions plus abstraites mais néanmoins riches en
informations.

162
 HQSE

HQSE : les fondamentaux

3. La figure libre

• formulation des questions évaluatives

• mix de méthodes utilisées

• latitude d’utilisation d’outils de collecte d’information dynamiques (SED)

• tout support de restitution, notamment des supports de restitution

dynamiques

163
 HQSE

HQSE : les fondamentaux

4. Intégration d'échéances trimestrielles consacrées à la

maintenance du système de suivi et d'évaluation

• Suite à la conception du système, 4 points annuels de suivi et

d'évaluation du système sont programmés. Ces temps peuvent être
fusionnés avec des outils de management et de gestion existants :
séminaires, réunions mensuelles, comités de pilotages, etc.

• 3 échéances de suivi et 1 révision annuelle du système

164
 HQSE

HQSE : les points d’équilibre

1. La finalité du système mis en place

165
 HQSE

HQSE : les points d’équilibre

1. La finalité du système mis en place

166
 HQSE

HQSE : les points d’équilibre

2. Des méthodes mixtes

• Un système de suivi et d'évaluation se construit sur des méthodes

mixtes, c'est à dire des combinaisons de méthodes. Sont
principalement recherchés :

‣ Une triangulation de l'information : obtenir différents éclairages

sur une même question

‣ Une combinaison de données quantitatives et qualitatives : des

données chiffrées et également des témoignages, des récits,
des opinions...

167
 HQSE

HQSE : les points d’équilibre

3. équilibre au niveau des critères d’évaluation
• Le principal intérêt d'un système d'évaluation est d'obtenir une vision
d'ensemble qui permette d'interroger les interactions entre les
différents critères : pertinence, cohérence et complémentarité,
efficacité, efficience, impact, pérennité… Divers facteurs
contextuels pourront justifier l’orientation de l’analyse vers un critère
plutôt qu’un autre, néanmoins toujours en veillant à conserver une
vision globale.
• prise en compte de critères transversaux (genre, social,
environnement,...)
• critères ou domaines de changement complémentaires ou
spécifiques à son champ d'action (innovation, partage,
décloisonnement, etc.)
168
 HQSE

HQSE : les points d’équilibre

4. équilibre au niveau du périmètre de l'évaluation

• Trop souvent, l'évaluation se limite à analyser une action, ou un

programme, sans s'intéresser à la stratégie de la structure qui porte
l'action. Pour permettre une vision globale, le système de suivi et
d'évaluation nécessite la prise en compte équilibrée de l'ensemble des
strates potentielles du périmètre : de l'action quotidienne au plan
stratégique.

• La définition du périmètre d'évaluation permettra également d'inclure des

zones géographiques, des périodes temporelles, des outils…

169
 HQSE

HQSE : les points d’équilibre

5. équilibre au niveau des auteurs de l’évaluation

• L'auto-évaluation permettra un degré de compréhension fin de chaque
action et, au-delà, la connaissance de l'historique du projet.
• L’évaluation interne, idéalement pilotée par un service spécifique (et non
pas de manière transversale par les chargés de programmes) permettra
de jouer les chefs d'orchestre, de mettre en harmonie, d'accompagner les
processus afin de tirer le plus d'enseignements des données fournies par
l'auto-évaluation et par les évaluateurs extérieurs.
• Les évaluateurs externes pourront apporter un regard neuf et supposément
neutre sur la situation.
• Les usagers

170
 HQSE

HQSE : les points d’équilibre

6. équilibre au niveau de la temporalité de l’évaluation

• Le suivi/évaluation est un cycle, intégré à chaque moment de la vie de

l'action, du programme, de la stratégie. Le système de suivi et
d'évaluation devra donc s'inscrire en filigrane et à chaque moment de la
vie du projet : ex-ante (avant le démarrage) à mi-parcours, à la fin de l'action,
et ex-post (bien après la fin de l'action afin d'en relever les effets à moyen
ou long terme).

171
 HQSE

HQSE : les points d’équilibre

7. équilibre entre reporting et recherche

• Le suivi est bien plus qu'un simple reporting sur une activité, par exemple le
décompte des bénéficiaires. Pour autant, même si les questions évaluatives
sont complexes et pourraient consituer un objet de recherche, les moyens et
compétences en interne restent souvent limités. L'implication consacrée à la
recherche ne doit pas se faire au détriment de l'opérationnel. Des
partenariats avec des laboratoires de recherche devraient alors être
envisagés afin d'approfondir la réflexion.

172
 HQSE

HQSE : les points d’équilibre

8. équilibre entre suivi et évaluation

173
Une vision d’ensemble, partagée

© Mark Nolan

174
 HQSE

Démarche HQSE

175
 HQSE

4 8

FONDAMENTAUX POINTS
D’EQUILIBRES
1. Participation des usagers à la
mise en place du SSE 1. Redevabilité et
apprentissage
2. SSE doté de ressources 2. Méthodes mixtes : quanti
propres (à minima 1% du et quali
budget global) 3. Critères
4. Périmètre
5. Acteurs
3. Innovation
6. Temporalité
7. Reporting et recherche
4. Points trimestriels SE 8. Suivi et évaluation

176
 Enjeux

i. Représentativité du système : qui conçoit le système ?

ii. Adhésion et formation : sur quelle base se conçoit le système ?

quelles montées en compétence sur les nouveaux outils ?

iii. Place du système dans l’organigramme

177
 Bureau d’évaluation
indépendant Conseil d’Administration

Com

Audit
Bureau
Direction générale
d’évaluation
Contrôle

Analyse, recherche, Finance et

Opérations RH Logistique
apprentissage comptabilité
Equipe SE

Programmes Evaluation
Resp. SE

Chargés SE
Capitalisation

178
 Bureau
d’évaluation Conseil d’Administration
indépendant

Transparence
Bureau Direction générale
d’évaluation

Evaluation et
Intégration verticale

Recherche
capitalisation
Support
Pôle SE Opérations/siège

Chargés de SE

Gestionnaires de Opérations/terrain
base de données,
superviseurs,
enquêteurs

Usagers
 Intégration horizontale

Finance et
Opérations Recherche RH Logistique Communication
comptabilité

Apprentiss Extraction de Analyse

Support Analyse Intégration des alternative
ages données
fonctions SE
dans les profils
de poste

Pôle SE multidisciplinaire
- Statisticiens, analystes, gestionnaires de base de données
- Sociologues, anthopologues, cartographes
- Graphisme, photographie, vidéo

180
 Module 3 : les étapes de mise en place

1. Etat des lieux du dispositif de suivi et évaluation en place

2. Définition des champs du système/formulation de questions

évaluatives

3. Choix des méthodes et outils/identification d’indicateurs, domaines et

échelles de changement

4. Collecte d’information et traitement des données

5. Planification de l’utilisation des résultats

181
 I understand the theory behing evaluating Go to step 1 : introduction and key concepts
1 NO of M&E
programme outcome and why it is important

YES

2 I know what I need to evaluate NO Go to step 2 : evaluation questions

YES

I know which methods I will use and chose Go to step 3 : methods and indicators
3 NO
essential indicators selection

YES

Go to step 4 : data collection and analysis

4 I know how I will collect and analyse data NO plan

YES

I have a ME system allowing real time

Go to step 5 : benefits of the system and
5 blockage detection, recommandations and NO
decision-making chain
decision making

182
 Les phases principales de mise en place du
système de S&E

En amont : ossature/ De l’utilité du suivi &

Phase opérationnelle
fondation/cahier des charges évaluation

1 2 3

183
 Etape 1 : état des lieux

• Collecte et analyse de données sur des facteurs sociaux, culturels, économiques

et politiques

• Compréhension du public bénéficiaire ou des usagers

• Situation de départ et enjeux auxquels le programme entend répondre

• Justification du programme au regard des besoins identifiés

• Quels changements sont déjà en cours ? Quels sont les freins au changement ?

184
 Etape 1
1. Diagnostic

Données primaires et secondaires qui permettent d’éclairer une problèmatique

Données statistiques
Indicateurs
➡ Prévalence de l'insuffisance pondérale chez les enfants de moins de 5
ans
➡ Taux d’accès aux services sociaux de base
➡ Taux de chômage

Cartographie
Projections
Analyses
185
 Etape 1
2. Conception du programme

• Formalisation de la chaine logique

Cohérence entre les

besoins identifiés et la
réponse
envisagée
186
 Etape 1
3. Evaluation ex-ante

« Appréciation globale de la pertinence, de la faisabilité et de la

durabilité probable d’une action de développement avant que la
décision de financement ne soit prise. » (CAD)

Confronte le diagnostic et la théorie d’action

Anticipe la mise en oeuvre, les effets et impacts directs et indirects,

positifs et négatifs…

Appraisal : anticiper le coût

187
 Etape 1
4. Situation de départ/état initial (baseline)

• Définir la valeur initiale des indicateurs

• Point de référence pour mesurer la progression

• Condition indispensable pour une évaluation basée sur la preuve

188
 Etape 1
Chronologie

Conception/
Diagnostic Evaluation ex-ante Etat initial
théorie d’action

Comment le
Analyse de
programme
Quelle est la l’adéquation Valeur initiale
compte
situation entre besoins des indicateurs
répondre à
problèmatique exprimés et au démarrage
cette
de départ ? théorie d’action du programme
problèmatique
proposée
?

189
 Etape 1
Chronologie

Diagnostic Etat initial

- Analyse - Données de référence

- Modélisation de la théorie d’action

- Conception du système de suivi & évaluation

190
 Etape 1
Etape 1 : état des lieux (du dispositif S&E en place)

• Les fondations du programme : quelles analyses réalisées en amont ?

➡ un diagnostic a-t-il été réalisé ?

➡ une chaine logique a-t-elle été modélisée ?

➡ un évaluation ex-ante ?

➡ une étude de base ?

• Appréciation sur :

➡ la disponibilité de données générales relatives au programme

➡ la connaissance des besoins

➡ la connaissance des bénéficiaires

191
 Etape 1
Etape 1 : état des lieux (du dispositif S&E en place)

• L’organisation du S&E dans la configuration actuelle

➡ quel état d’esprit en interne sur la démarche de S&E ?

➡ quelles compétences en interne en S&E ?

➡ quelle est la place du S&E dans l’organigramme ?

➡ quels sont les moyens alloués au S&E ?

➡ quelle participation des usagers :

‣ dans le programme

‣ dans la conception et mise en oeuvre du dispositif de S&E

• Quels sont les freins et les limites du dispositif actuel de S&E ?

192
 Etape 1
Eclairer les processus de prise de décision

• Sur quels critères ?

• Transparence
• Réactivité
• Consultation
• Mise en application

• Quelle fluidité entre les phases ?

Signal Réfléxion Décision Exécution

Suivi Evaluation

193
 Etape 1
Constitution du groupe de travail

• Qui participe à la mise en place du système de suivi et d’évaluation ?

➡ crédibilité du processus

• En interne uniquement ou constitution d’un comité de pilotage ?

➡ rigueur, motivation, accompagnement...

• Désignation d’un pilote ? (transversal ou chargé de mission évaluation ?)

• Place de l’évaluation dans l’organigramme

• Représentants des usagers ?

194
 Etape 1 : état des lieux
Plan d’action
page 1 à 4
• Analyse des parties prenantes

• Appréciation sur la phase de diagnostic/étude de base

• Appréciation sur l’organisation actuelle du S&E

• Quels éléments de diagnostic sont à reprendre ?

• Constitution du groupe de travail/attribution des rôles

• Restitution Etape 1
195
Etude de cas :
projet de microcrédit

‣ Financer les micro-entrepreneurs qui n’ont pas accès au crédit bancaire et

plus particulièrement les chômeurs et les allocataires des minima sociaux, à
travers le microcrédit

‣ Accompagner les micro-entrepreneurs avant, pendant et après la création de

leur entreprise pour assurer la pérennité de leur activité

196
 Etape 1

Etude de cas

Qui sont les parties prenantes ?

197
 Etape 1

Analyse des parties prenantes

• Permet de synthétiser et de récapituler les informations sur l’ensemble des

personnes, groupes de personnes, organismes et institutions concernées d’une
manière ou d’une autre par le projet

• Mieux comprendre un système grâce à l’analyse des attentes, des besoins, des
enjeux liés aux différents acteurs

Les étapes :
1. Identifier les acteurs
2. Délimiter le périmètre
3. Définir la légende
4. Préciser les liens entre acteurs
5. Analyse des liens

198
 Etape 1

1. Lister les acteurs

• Diverses possibilités de catégorisation :

๏ Statut : autorités publiques, opérateurs, usagers

๏ Relation au projet :
‣ les parties prenantes primaires directement concernées : publics cibles ou
bénéficiaires
‣ les parties prenantes secondaires indirectement touchées

๏ Influence :
‣ les parties prenantes clés, incontournables pour le processus de
changement
๏ Enjeux

199
 Etape 1

Tableau d’analyse des parties prenantes

Catégorie Type de
Acteurs Priorité Influence Enjeux Que faut-il changer ?
d’acteurs relation

CC EVAL

200
 Etape 1

Sociogramme

Autorités publiques Acteurs de la mise en

oeuvre
financeurs, gestionnaires,
décideurs, opérateurs,
élus agences

destinataires directs
et indirects

Public concerné

CC EVAL

201
 Etape 1

2. Délimiter le périmètre

• Quel niveau de focus/zoom ? (les flux en interne ? les flux avec les usagers ? les flux
avec les autorités locales ?)

• Qui mettre au centre du graphique ? Le porteur de projet ? L’usager ?

• Cartographie ? (réproduire un territoire)

• option : des cercles plus ou moins grand en fonction de l’importance des acteurs

202
 Etape 1

Carte des liens de communication (exemple de l'Association des paysans de Lemu

Chemeri, en Ethiopie) FAO http://bit.ly/2j7ZUWh
203
Etape 1

204
 Etape 1
3. Définir la légende : sens des flèches et volume
Matérialiser les flux

La réciprocité Le débit

Fort
Sens unique

Faible

Irrégulier
Double sens
205
 Etape 1
3. Définir la légende : codes couleurs

Flux monétaire Collaboration Accompagnement

Communication Concurrence Services

Instruction Formation Suivi Evaluation

206
 Etape 1
4. Quantifier/qualifier les flux

• Contenu du flux (accompagnement, formation,…)

• Fréquence

• Lien souple ou rigide ?

• Formel ou informel ?

• Etroit ou distendu ?

• Apaisé ou conflictuel ?

• Canaux de communication (mail, courrier, réunion, informel, etc.)

207
 Etape 1
Les questions clés

• Quelles sont les relations entre chaque partie prenante?

• Quels sont les intérêts en jeu?

• Qui est prêt/opposé au changement?

• Quels bénéfices seront tirés par les uns et par les autres?

208
 Etape 1
5. Analyse et apprentissage

• Remettre en question chaque flux (pertinence, cohérence, efficacité, efficience, impact,

etc.)

• Quelles sont les dynamiques en cours ? (en quoi le graphique aurait été différent il y a 3
mois ? un an ?)

• permet d’illustrer des liens ou l’absence de lien : absence de relation souhaitée ou de

fait ?

• Prises de décision

• Quelle information est manquante pour analyser certains liens ? Quelle collecte
d’information est nécessaire pour poursuivre l’analyse ?

209
 Etape 1
Les questions clés

• Repérer les priorités

• Recommandations

• Situation actuelle et situation idéale

210
 Etape 1

Association
de microcrédit

A compléter...

211
 Etape 1
Collectivités Politique de
locales Com la ville
Agglo Micro-
entrepreneurs
(crédits accordés)
Conseil
Général crédits
refusés
Conseil
Régional

Association
de microcrédit

CAF Fondations

Pôle Emploi

Banques

URSSAF

Organismes
Organismes de d’accompagnem
financement ent

Financement Communication
A compléter...
Collaboration Concurrence

212
 Etape 1

Crédit

Porteurs de projets

Accompagnement

Salariés bénévoles

A compléter...

213
 Etape 2 : définir les champs du système

• Quelles sont nos attentes ? Que cherche-t-on à savoir ?

• Quels sont les enjeux ? (en terme de temporalité, ressources humaines,
financement…)
• Elaboration de termes de référence

• Démarche HQSE
1. Quel degré de participation des usagers ?
2. Quelles ressources et budget prévisionnel pour le système ?
3. Quelle inclusion dans le système de gestion et de coordination ?
4. Quelle marge de manoeuvre pour l’innovation ?

• Quel est l’objet de la démarche : apprentissage, pilotage, transparence ?

• Quel équilibre dans le choix des méthodes, le quanti et le quali, la diversité des sources ?
• Quels critères nous interrogent plus particulièrement ? (pertinence ? impact ?)
• Quel est le périmètre envisagé : évaluation de la stratégie, d’un programme, d’un projet,
d’une action ?
• Quelle temporalité : évaluation ex-ante, à mi-parcours, finale ou ex-post ?
• Quels acteurs : auto-évaluation, évaluation interne ou externe ?
• Quelle balance entre reporting et recherche ?
• Quelle balance entre suivi et évaluation ?

214
 Etape 2
Formulation des questions évaluatives

• Préciser les dimensions que l’on souhaite approfondir en fonction des critères
retenus

• Quelles sont les questions les plus sensibles au moment de la mise en place du
système ?

• Nécessite de hierarchiser les interrogations

• Confronter les questions soulevés aux critères du CAD

• Eclairer des points spécifiques tout en conservant une vision globale

Quelle latitude/degré d’autonomie dans la formulation des questions ?

(figure libre HQSE)

215
 Etape 2
Formulation des questions évaluatives

Pertinence : quelle adéquation entre le besoin identifié et la réponse à ce

besoin ?

Cohérence externe : la politique est-t-elle complémentaire avec d’autres

types d’intervention sur le territoire ?

Efficacité : les résultats sont-ils conformes aux objectifs ?

Efficience : le rapport entre résultats et moyens est-il satisfaisant ?

Impact : quels seront les effets à long terme, positifs et négatifs, directs ou
indirects, induits par l’action ?

Perénnité : quelle continuation des bénéfices après la fin de l’intervention ?

216
 Etape 2
Exemple de questions évaluatives

• Les outils de planification développés répondent-ils aux besoins des

collectivités territoriales ?

• Les moyens humains mis à disposition pour conduire l’action sont-ils

suffisants ?

• Qu’en est-il de l’impact sur les jeunes des actions de sensibilisation

et de communication en matière d’exercice démocratique ?

• Les actions menées ont-elles atteint leur objectif en termes

d'impulsion de dynamiques sur le territoire ?

217
Etape 2

218
 Etape 2
Formulation des questions évaluatives

219
 Etape 2
Anticiper le choix des méthodes

1. En fonction du degré d’autonomie dans le processus de choix (cadre existant

ou imposé)

2. En fonction de la thematique : axé sur le changement social, technique

3. En fonction des données déjà disponibles

4. En fonction des moyens disponibles

5. En fonction de l’ampleur du projet

6. En fonction du degré de formation et de compétences en S&E des équipes

7. En fonction des questions évaluatives

220
 Etape 2
Anticiper les ressources nécessaires

1. Quel budget prévoir ?

2. Quelles sources de financement ?

221
Termes de référence (ToR) Etape 2
(évaluation externe)

1. Contexte

2. Les objectifs et les attentes

3. Les questions évaluatives

4. Les méthodes envisagées

5. Modes de restitution

6. Compétences recquises, budget et calendrier

7. Livrables

222
 Etape 2 : définir les champs du système
Plan d’action
page 5 à 8

• Quelles sont les attentes par rapport au système de S&E ?

• Réflexion et positionnement autour des 4 fondamentaux et 8 points d’équilibre du

HQSE

• Formulation des questions évaluatives

• Lier les questions évaluatives à des critères

• Quels enjeux sont liés à l’obtention des réponses aux questions soulevées ?

• Quelles ressources (moyens) seront mobilisables ?

• Quelles méthodes pourraient nous permettre de répondre aux questions soulevées ?

223
 Etape 3 : sélection des méthodes

1. Gestion axée sur les résultats et approche du cadre logique

2. Méthode du changement le plus significatif

3. Cartographie des incidences

4. Méthodes d’évaluation randomisées

5. Etude monographique

6. Capitalisation et systèmatisation d’expérience

7. Recherche action

224
 Etape 3 : sélection des méthodes

1. Gestion axée sur les résultats et approche

du cadre logique

225
Gestion axée sur les résultats (GAR)

• un outil de planification et de gestion de projet et à ce titre incorpore (ou peut

être utilisé comme) un dispositif de suivi et d’évaluation

• attribué à Peter Drucker en 1964 avec l’ouvrage « Managing for results »

• s’intéresse aux résultats réellement atteints et aux effets des projets et

programmes

226
Gestion axée sur les résultats (GAR)

• « une stratégie ou méthode de gestion appliquée par une organisation pour

veiller à ce que ses procédures, produits et services contribuent à la réalisation de
résultats clairement définis. » (PNUD)

• “axer la gestion sur les résultats signifie gérer et mettre en oeuvre l’aide en se
concentrant sur les résultats souhaités et en utilisant les données disponibles en
vue d’améliorer le processus de décision.” (Déclaration de Paris, 2005)

• Influance diffuse : différents noms, différentes formes (gestion du cycle de projet,

approche du cadre logique...) utilisé dans le domaine de la coopération depuis
plus de 30 ans.

227
 Chaine de résultats

Output Outcome

? Avant l’utilisation
généralisée
Ecole
du cadre logique

? Contexte
De projets de
plus en plus
sociétaux et
Produit Résultat immatériels

Rétablissement de

? conditions de sécurité Depuis l’utilisation

propices à la redynamisation génralisée du cadre
socio-économique durable logique

? Améliorer la résilience des

personnes déplacées

228
229 OIF
Méthode du cadre logique
(Logical Framework Approach

• également un outil de conception et de conduite de projet

• permet de confronter, déjà sur le papier, la cohérence entre les différents niveaux
de projets, en prenant comme point de référence son objectif le plus élevé.

• développé en 1969 par le cabinet Practical Concepts Inc pour la coopération

américaine (USAID), le cadre logique a été repris depuis lors par la quasi-totalité
des organisations et institutions internationales (EuropeAid, GIZ, DFID, DANIDA,
JICA, AusAID, ACDI, Banque Mondiale, AFD…)

230
Méthode du cadre logique
(Logical Framework Approach
• Utilisation du cadre à l’Agence Française de Développement partir de
2002

• «L’AFD se propose […/…] de généraliser la méthode du cadre logique,

largement appliquée par la communauté des bailleurs de fonds. Celle-
ci présente l’avantage d’obliger les concepteurs et évaluateurs
de projets et programmes à expliciter les objectifs, en les
reliant aux activités financées dans le cadre des projets, et à
expliciter les résultats ou impacts attendus en fonction
notamment d’indicateurs… »

231
 Outil : le cadre logique

• Le cadre logique est un document qui synthétise sous forme de tableau (une
matrice) toutes les informations clés d’un projet : objectifs, résultats, activités,
programmation, ressources

• La méthode du cadre logique est la succession d’étapes et d’analyses qui va

permettre l’élaboration progressive de la matrice

232
Le cadre logique

cohérence horizontale
cohérence verticale

A chaque niveau correspondent des indicateurs spécifiques et pour le niveau

activité des moyens (ressources) et des coûts.

233
De l’analyse à la construction du cadre

1ère colonne: la logique d’intervention

1. l’objectif global : à long terme, en quoi le projet aide au développement du

pays ?

2. les objectifs spécifiques : but du projet, déclinaison de l’objectif à long terme pour
des résultats concrets

3. les résultats : mesurables, adaptés, réalistes

4. les activités : à mettre en oeuvre pour obtenir les résultats

234
235
Le cadre logique

Le cadre logique va permettre de répondre aux questions suivantes:

• QUI ? Qui est le public cible ? Quelles sont les parties-prenantes ?

• POURQUOI ? Quels sont les besoins ? Dans quel contexte ? Quels sont les effets attendus ?

• QUOI ? Les activités qui vont permettre de répondre aux besoins.

• COMMENT ? Avec quels moyens ?

• QUAND ? Le programme d’action (chronogramme, diagramme de Gantt, etc.)

236
Le cadre logique: caractéristiques et avantages

• aide à définir les objectifs, facilite la conception, améliore l'exécution

• permet de résumer un projet

• implique une uniformisation des documents

• un document dynamique qui s’enrichit à chaque étape de la vie du projet et

reflète son évolution

• un support de communication entre les parties prenantes: bénéficiaires, bailleurs,

partenaires, gestionnaires du projet

237
Les limites du cadre logique

• Moindre intérêt s’il est réalisé à posteriori, pour répondre à une demande de
financement

• Le point de départ est la réponse à un problème identifié : ne permet pas

d’identifier ou de développer des initiatives porteuses, limite l’innovation

• Oblige une immersion dans le jargon du développement et de maitriser tableurs

et matrice

• Reste rigide

• Indicateurs Objectivement Vérifiables : quantitatifs

238
Retours d’expérience

239
Etude de cas : projet de microcrédit
Contexte

‣ crise économique, chômage élevé

‣ simplification administrative : régime auto-entrepreneur

‣ frilosité des banques

‣ semble plus facile de créer son entreprise que d’accéder à un emploi salarié

‣ engouement pour la microfinance des bailleurs (social + économique)

‣ peu de visibilité sur la santé des microprojets financés

240
Construction du cadre logique :
les phases d’analyse

• l’analyse des parties prenantes

• l’analyse des problèmes

• l’analyse des solutions/objectifs

• l’analyse des stratégies

241
1. Analyse des problèmes

• identifier les aspects négatifs d’une situation existante

• analyser les relations de cause à effets entre les problèmes

• Questions directrices : quelle est la cause ? quel sont les effets ?

242
243
Quel problème central ?

• Les porteurs de projets n’ont pas accès au crédit bancaire ?

• Faible pérennité des projets ?

244
Groupe

Effets ? Conséquences ?

Faible taux de pérennité des

projets (52% à 3 ans)

Causes ? Pourquoi les projets

sont en échecs ?

245
Arbre à problèmes

Pauvreté

Exclusion

Chômage

Faible taux de pérennité des

projets (52% à 3 ans)

Multiplicité des tâches

Isolement professionnel

manque de compétences en
manque de compétences en Statuts non adaptés
commercialisation
gestion
Pas d’étude de marché

Montants accordés
Problèmes personnels Difficulté à trouver Crise
insuffisants
Pas d’assurance des locaux
246
On se débarrasse de la mauvaise
herbe en s’attaquant aux racines

247
Arbre à solutions

dévelopement économique

Amélioration des
conditions de vie

création d’emploi

Insertion

Versement d’un salaire

Augmentation du taux de
pérennité à 3 ans

Accompagnement individuel Formation développement

commercial

Mise en réseau
Formation en gestion

248
2. Analyse des
solutions

Arbre à solutions/objectifs

Branches : objectif global (les fins)

Tronc : objectif spécifique (objectif

central)

Racines : résultats et activités

(moyens d’action)

249
3. Analyse des stratégies

• Toutes les solutions inscrites

dans les racines de l’arbre à
solutions sont autant de
stratégies potentielles, il reste à
définir celles sur lesquelles on
veut/peut intervenir pour mener
à bien le projet

• Faut-il se limiter à une famille

unique de solutions ou
entreprendre des activités dans
plusieurs familles?

• Opter pour des activités visant

chacune des stratégies ou se
limiter à une ou deux stratégies
déterminées? 250
Arbre à stratégies

dévelopement économique

Amélioration des
conditions de vie

création d’emploi

Insertion

Versement d’un salaire

Augmentation du taux de
pérennité à 3 ans

Accompagnement individuel Formation développement

commercial

Mise en réseau
Formation en gestion

251
Colonne vertébrale du cadre : la logique
d’intervention

A partir de l’arbre à objectif se construit la première colonne du cadre logique:

• les branches deviennent les objectifs globaux

• le tronc devient l’objectif spécifique

• les racines se transforment en résultats et activités

252
Exemple :
Création d’un centre de ressources dédié à l’accompagnement des porteurs de projets

Objectif global : favoriser l’insertion et le développement économique dans

les quartiers politiques de la ville

Objectif spécifique : renforcer la pérennité des micro-entreprise financées

---------------------------------------------------------------------------------------
-

Résultat 1 : les porteurs de projets acquièrent des compétences en gestion

Activité 1.1 : organisation d’ateliers de formation à la gestion

253
4ème colonne : les hypothèses

• Gestion par les risques

• Quels risques pourraient perturber le chemin tracé dans la première colonne?

• Quels facteurs externes pourraient empêcher la mise en place et le bon

déroulement des activités prévues? Que les activités ne conduisent pas aux
résultats escomptés? Que les résultats ne contribuent pas à l’atteinte des
objectifs?

• Comment modifier l’intervention pour écarter le risque détecté ?

• Indiquer uniquement les risques sur lesquels vous n’avez pas prise

254
4ème colonne : les hypothèses

• conditionalité entre ressources et résultats

• les risques sont les facteurs qui peuvent échapper au contrôle des partenaires
chargés de la mise en œuvre

• exemple : « pas de réduction des dépenses publiques dans le domaine de

l’éducation »

• « motivation des professeurs »

• les hypothèses spécifient les conditions qui doivent être remplies pour que le
projet puisse enregistrer la performance attendue

255
Grève des transports,
pénurie d’essence,
mouvement social... était-
ce anticipable, prévisible ?

256
Crash aérien : RD Congo. Certaines organisations interdisent à leur personnel d’utiliser les compagnies aériennes
locales. Le risque de crash aérien est écarté. Les répercutions sont nombreuses sur le projet (calendrier, couverture,
budget, etc.) qui doit être redéfini en conséquence.

257
Relation entre les hypothèses et la chaine logique

258
259
260
Caricature du cadre logique

une histoire technocratique :

« Si les gentils acteurs d’un projet se voient attribuer certains moyens,

qu’ils utiliseront frugalement et dont ils rendront fidèlement compte, ils
mettront en œuvre des activités utiles et nécessaires, qui permettront
d’atteindre des objectifs vérifiables et bénéfiques, au service d’une juste
cause, sauf si de méchants acteurs extérieurs ne font pas ce qu’ils ont
promis de faire. »

Planification, gestion et politique dans l’aide au développement : le cadre

logique, outil logique, outil et miroir des développeurs - François Giovalucchi
et Jean-Pierre Olivier de Sardan -Revue Tiers Monde, 2009

261
Critiques du cadre logique

« vision technique et dépolitisée, sans références aux arènes locales, aux

dynamiques en cours, aux jeux d’acteurs existants »

« il suffirait de dérouler mécaniquement les actions prévues pour obtenir les

résultats attendus oubliant qu’une intervention induit des intéractions
permentes entre les espaces locaux et l’intervention »

« pas de temps est incompatible avec les objectifs poursuivis » (phases trop
courtes, changement de priorités des bailleurs)

« tyrannie du cadre logique et bureaucratisation de la mise en oeuvre »

Analyser, suivre et évaluer sa contribution au changement social

Philippe Lavigne Delville, séminaire AFD-F3E, 2014
262
 Etape 3 : sélection des méthodes

Retours d’expérience
Plan d’action
page 9

263
 Etape 3 : sélection des méthodes

Les alternatives au cadre logique

Les approches orientées changement

Le changement le plus significatif (2004)

La cartographie des incidences (2000)

264
 Etape 3 : sélection des méthodes

2. Méthode du changement le plus significatif

265
Méthode du changement le plus significatif
(Rick Davies)

• méthode qualitative et participative, de faible coût, sans indicateurs

• recueil d’histoires relatives à des changements intervenus dans la vie des

usagers depuis le démarrage du projet (story telling, témoignage…)

• «A votre avis, quel a été le changement le plus significatif au cours des

derniers mois?»

• « Pourquoi ? » (en quoi est-il plus significatif ?)

• sélection des changements les plus significatifs

• analyse des effets positifs ou négatif, de leur réplicabilité...

266
Méthode du changement le plus significatif
(Rick Davies)

• identification de changements non attendus

• permet une hiérarchisation et un jugement de valeur sur les changements

• transversal à travers les cultures (raconter une histoire)

• pas de besoin de compétences particulières, de formation S&E

• favorise l’analyse : les participants doivent justifier pourquoi ils pensent qu’un
changement est plus remarquable qu’un autre

• permet de suivre et évaluer des initiatives partant de la base, sans résultats

prédéfinis (sans analyse possible des écarts)

267
Dans quel contexte ?

• des programmes complexes aux résultats incertains, inattendus,

• axés sur le changement social

• aux valeurs participatives

• peu adaptés aux outils de suivi quantitatifs

• en complément d’autres outils

268
CPS : les étapes

Etape 1 : poser les fondations : identifier des relais et se familiariser avec

l'approche.
Etape 2 : identifier les domaines de changement
Etape 3 : définir la fréquence de collecte des histoires
Etape 4 : collecte des histoires de CPS
Etape 5 : sélection des histoires les plus « significatives »
Etape 6 : retour régulier d’information concernant les histoires selectionnées
Etape 7 : vérification des histoires
Etape 8 : quantification
Etape 9 : analyse secondaire et méta-monitoring
Etape 10 : révision du système

269
Etape 1 : identifier des relais
et organiser un pilote

• Comment débuter et susciter l’intérêt ?

• Métaphore d’un voyage : au retour d’un voyage, on ne lisse pas l’information, on

va surtout se souvenir des meilleurs et des moins bons moments

• Métaphore du rédacteur en chef : comment hiérarchiser l’information ? Que mettre

en première page ?

270
Etape 2 : identifier des domaines
de changement

• optionnel : les domaines sont prédéfinis ou non

• exemple de domaines : santé, éducation, pouvoir d’achat, relations hommes/

femmes, etc.)

• si prédéfinis alors toujours laisser une porte ouverte : « autre domaine »

• centrés sur la personne mais possibilité d’ « ouvrir » à d’autres domaines :

partenariat, vie de la communauté, etc.)

271
Etape 3 : définir la fréquence de collecte

• de bimensuelle à annuelle

• en règle générale : 3 mois

• possible de réduire la fréquence au fur à mesure, beaucoup d’histoires au

démarrage car les gens vont puiser dans leurs souvenirs puis la matière se rarifie

• en fonction du temps disponible

272
Etape 4 : collecte des histoires -
une question modulable

1. « En passant en revue les évènements du mois passé… » se réfère à une période de

temps bien définie.

2.« … quel a été, d’après vous… » : une demande aux participants d’exercer leur propre
jugement.

3.« … le changement… » : demande explicite d’être sélectifs, de retranscrire des

changements uniquement plutôt que des aspects statiques ou des aspects déjà
présents lors de la dernière période de retranscription

4.«… le plus significatif… » demande aux participants d’être sélectifs, de ne pas tout
commenter mais de ce concentrer sur un aspect principal

5.« …concernant la qualité de vie des gens… » : encore plus sélectif - demande un
changement concernant la qualité de vie - peut s’ajuster à d’autres domaines

6.« … de cette communauté ? » : ajoute une délimitation supplémentaire - peut

également être ajustée
273
Etape 4 : collecte des histoires de CPS

• Qui rapporte les histoires ? Comment sont-elles collectées ?

• les équipes remontent des histoires vécues ou entendues sur le terrain
(non sollicitées)
• entretiens semi-directifs auprès des bénéficiaires
• focus group de bénéficiaires
• questionnaires auto-administrés

• Transcription de l’histoire
• garder l’histoire la plus brute possible, narration chronologique
• longueur de l’histoire : libre (en moyenne une page par histoire)
• option : donner un titre à l’histoire

• Support
1. Données contextuelles (date, lieu, enquêteur, narrateur, etc.)
2. Histoire
3. Pourquoi ? (l’importance au yeux du narrateur des éléments fournis)

274
Etape 5 : sélection des histoires les plus
significatives

275
Etape 5 : sélection des histoires les plus
significatives

• Quelle mode de prise de décision ?

• vote à main levé
• note
• note avant la réunion + vote
• vote à bulletin secret

• Quel dispositif de sélection par les pairs ?

• L’ultime étape de sélection peut par exemple intégrer un panel avec l’ensemble
des parties prenantes

276
Etape 6 : retour d’information

• processus de redescente d’information jusqu’aux narrateurs

• quelles histoires ont-été choisies ?

• avec quelle méthode de sélection ?

• comprendre ce qui est valorisé par des pairs (ou d’autres échelons) peut être
source de réflexion pour les participants lors de la collecte suivante

• source de motivation : montre l’utilisation faite de la collecte d’histoires

• par mail, réunion, magazine de communation interne

277
Etape 7 : vérification des histoires

• étape optionnelle

• possibilité de creuser certains aspects

• éclairer certains aspects contextuels pour des personnes tierces

• l’histoire demande un suivi propre

• peut se révéler utile avant :

• de prendre une décision stratégique, constat de l’histoire elle-même
• de diffuser l’histoire en externe

278
Etape 8 : quantification

Extraire de cette approche avant tout qualitative des éléments également

quantitatifs :

1. Au sein même de l’histoire figure des éléments chiffrés : nombre de participants,

etc.

2. Rechercher des occurences (correspond à la création d’un nouvel indicateur

classique) : par exemple l’élément significatif d’une histoire concerne l’achat
pour la première fois d’un terrain en nom propre pour une femme - on
recherchera ensuite le nombre d’occurence sur l’ensemble du programme :
nombre de femmes participantes ayant acheté un terrain en nom propre

279
Etape 9 : analyse secondaire et méta-suivi

- 2 niveaux d’appronfondissement statistisque supplémentaires :

- se réalise sur l’ensemble des histoires et non pas uniquement celles
sélectionnées
- nécessite un archivage : base de données avec numéro de série de l’histoire,
date, narrateur, etc.
- approche le domaine de la recherche, nécéssite des compétences
complémentaires

1. méta suivi (approndissement thématique, par domaine de changement)

• nombre d’histoires recueillies et évolution dans le temps
• représentativité des narrateurs
• représentativité des histoires sélectionnées
• Suivi des histoires (les histoires ont-elles générées des recommandations,
les recommandations ont-elles été suivies, etc.)

280
Etape 9 : analyse secondaire et méta-suivi

2. analyse secondaire (sur l’ensemble des histoires, 1 fois par an)

codage thématique (proportion de chaque domaine)

effets positifs versus négatifs

histoires sélectionnées vs non sélectionnées (que peut-on en apprendre ?

quelles caractéristiques émergent des unes ou des autres ?)

représentativité des groupes de bénéficiaires (des profils excluent, n’aparaissant

jamais dans les histoires ?)

à quel moment du programme interviennent les changements ?

281
Etape 10 : révision du système

Une méthode totalement modulable

modification des domaines ou des noms de domaine ?

modification de la fréquence de collecte ?

modification des participants ou du parcours du processus de sélection ?

modification du mode de sélection ?

282
Les difficultées rencontrées par les participants

• Incompréhension de la question (significatif par rapport à quoi ? )

‣ reformuler
‣ décliner en sous questions
‣ par rapport aux objectifs

• Nous n’avons rien à dire puisque rien n’a changé…

‣ Héraclite : « on se baigne jamais deux fois dans la même rivière… »

• Pourquoi ne choisir qu’une seule histoire ?

‣ stimuler le débat

• Chronophage
‣ limiter à 2 heures par séance, cadrer les procédures
‣ embaucher des modérateurs
‣ réduire la fréquence de collecte (1 fois par trimestre ? )
283
Liens et complémentarité avec un dispositif
classique de suivi et d’évaluation

• ne se substitue pas à des indicateurs quantitatifs mais est complémentaire

• permet de capturer des détails plus fins, réflète des changements sur le terrain
mais aussi dans la perception de ce qui fait sens

• contrairement à des indicateurs classiques :

• les points d’intérêts évoluent dans le temps
• les points d’intérêts sont choisis localement

• interroge la temporalité : permet de confronter la cohérence de la chaine de

résultats
l’impact arrive-t-il vraiment au moment où cela avait été anticipé ?

284
Validité de la méthode

Validité de l’échantillon :

• échantillonnage dirigé : choisi non pas de manière aléatoire mais sélection

volontaire des histoires les plus extrèmes

Patton : « … dans de nombreux cas, on peut apprendre davantage en étudiant

profondément les cas extrêmes ou inhabituels qu'on ne peut apprendre à partir
des représentations statistiques de ce à quoi ressemble le cas moyen ». Patton, M.
Q. (1990). Qualitative evaluation and research methods. Newbury Park: Sage

• necessité de combiner les approches

285
Les biais

tendance à mettre en avant des histoires de succès plûtot que des échecs
- indique néanmoins le potentiel du projet et les conditions qui favorisent le
succès
- possibilité d’insérer les échecs ou effets négatif comme un domaine
spécifique

subjectivité du processus de sélection

- subjectif par nature puisqu’il reflète les valeurs des membres des comités
- nécéssite un suivi et analyse de la représentativité des membres de
comité
- subjectivité néanmoins documentée, disponible pour analyse via la 2ème
question : pourquoi ?

le processus de sélection étouffe les voix minoritaires

286
A votre avis, quel a été le changement le plus significatif suite à
votre implication auprès d’Osi Tanata (les gardiens de la terre) ?

Oxfam, Papouasie-Nouvelle-Guinée.

« Après la formation, je suis retourné au village et j’ai mobilisé mes

proches autour d’un projet de maraichage bio. Nous n’avions aucune
source de financement, uniquement les nouvelles compétences
acquises durant la formation avec Osi Tanata…

Je suis très reconnaissant de cet apprentissage que j’utilise au

quotidien. Nous vendons également d’autres produits issus de la ferme
coopérative. Nous avons généré suffisamment de profits pour acheter
des vêtements et autres produits du quotidien. Une partie est
économisée pour investir dans une boutique en dur. »

287
Pourquoi ?

« Ce qui me parait décisif, c’est qu’auparavant je n’avais aucune idée

de comment mettre en oeuvre un projet. Et maintenant, je possède ma
propre activité, et des moyens pour faire vivre ma famille. »

Répondant : Sébastien Kakau

A quel moment est intervenu le changement ? Après 1 an

288
 Le jardin enchanté

« Dans un coin de la cour de l'école, une parcelle de terre était un peu à

l'abandon. Personne n'avait le temps de s'en occuper. Les enfants, en
lien avec les volontaires, ont eu l'idée d'y faire pousser des légumes et
des fleurs. Après quelques séances de nettoyage, préparation de la terre
et ateliers semis, les graines ont germé et tout a commencé à pousser
sous les soins des enfants et des volontaires. Le jardin a éclos pour le
bonheur des enfants qui ont pu accroître leurs connaissances en
botanique. »

Guillemette, coordinatrice d’équipe,

antenne Isère, Unis-Cité

289
Pourquoi ?

« le plus réprésentatif des multiples facettes du programme, le plus

symbolique et le plus visible… »

• travail de groupe et cohésion des enfants entre eux, avec les adultes et les
volontaires
• apprentissage non formels : botanique
• le « fruit » de l’effort est visible et concret
• cycle : nettoyage, préparation, semis, récolte…
• joyeux et convivial
• touche ou implique l’ensemble des acteurs (les enfants ramènent quelques
fruits et légumes à la maison, des parents viennent donner un coup de
main…)
• alimentation saine
• environnement

290
Comment orienter ou adapter la méthode ?

Ajouter une section « recommandation » ou travailler sur des liens favorisant

l’apprentissage rapide - la modificiation ou réorientation de composantes du
programme

Collecter des histoires auprès de personnes exclues ou étant sorties de l’action

afin d’obtenir une vision plus exhaustive

Réinventer le parcours de sélection des histoires lorsque le mode d’organisation

n’est pas hierarchique

291
Quel lien avec le modèle logique ?

292
 Etape 3 : sélection des méthodes

Changement le plus significatif

Plan d’action page 9

293
 Etape 3 : sélection des méthodes
3. Cartographie des incidences

294
"Quand on voyage vers un objectif, il est très important de
prêter attention au chemin. C'est toujours le chemin qui
nous enseigne la meilleure façon d'y parvenir, et il nous
enrichit à mesure que nous le parcourons. » Paulo
COELHO
« il est aussi important et vital de demeurer attentif tout au
long du périple que d'atteindre sa destination. » Michael
Quinn Patton

« la carte, ce n'est pas le territoire »

…mais sans carte, on risque de se perdre, de ne pas

arriver où on le souhaitait, de ne pas même savoir revenir à
son point de départ…

295
 Cartographie des incidences

• initiée sur des services sociaux aux Etats-Unis puis adaptée au développement en 2000
par le CRDI

• le développement est issu en grande partie de changements de comportement

• l’impact est difficile à mesurer : des événements multiples et non-linéaires mènent au

changement

• «incidence» préféré à «impact» fait référence aux modifications des comportements, des
relations et des activités ou encore des actes des personnes, groupes ou organisations
avec lesquels les responsables du programme ont des contacts directs

• Réflexion sur la vision : « Quelle serait la situation idéale ? Comment pourrait-on y parvenir
?»

• Elaboration de marqueurs de progrès en fonction de partenaires limitrophes

296
 Les changements de comportement au centre de la méthode :
le focus n’est plus sur le programme mais sur les acteurs

Exemple

Programme d’assainissement de l’eau

S&E « classique » Cartographie des incidences

niveau de compétence des

Nombre de filtres installés responsables techniques pour
surveiller les contaminants

niveau de compétence des

Niveaux de contaminants dans l’eau
responsables techniques pour
avant et après installation des filtres
changer les filtres…

297
Illustra(on+of+Outcome+Mapping+Focus
PROGRAM:' CHANGE'OF'
Water' BEHAVIOUR:' CHANGE'OF'
Purifica;on' How'are'the'villagers' CONDITION:''
System'for' maintaining'the'water' Villagers'get'
villagers' system'using''the' clean'water'
' skills,'knowledge'and' con;nuously'
other'resources?''

Input' Ak;vitas' Output' Outcome' Impact'

LogFrame' OUTCOME'
MAPPING'

298
299
Définition des intentions

300
1. La vision

• Pourquoi ? Quelle est la vision d’avenir à laquelle le programme veut contribuer ?

• L’objectif ultime du travail quotidien

• Décrit :
• les changements économiques, politiques, sociaux ou
environnementaux que le programme espère apporter
• les changements de comportement à grande échelle chez les
partenaires limitrophes clés

• La réalisation dépasse les capacités du programme

301
1. La vision

• A quels changements majeurs voulez-vous contribuer ?

• Sur quels domaines le projet va-t-il pouvoir exercer une influence significative ?

• Qu’est-ce qui nous guide ?

• A quel idéal rêvons-nous ?

302
2. La mission

• En quoi consiste l’intervention ?

• Quelle sera notre « bite of the apple », notre contribution ?

• De quelle façon le programme a l’intention d'appuyer la poursuite de la vision ?

• Sur quels domaines le projet va-t-il pouvoir exercer une influence significative ?

303
3. Identification des partenaires limitrophes

304
Exemple :
programme Néo-Citoyens

‣ vise l’amélioration du climat scolaire

‣ une mission de Service Civique qui vise à faire vivre aux enfants une
citoyenneté active au quotidien

‣ mettre en place des ateliers pédagogiques, favorisant la coopération et la

participation de tous, pour faire changer les comportements et agir
concrètement sur le mieux vivre ensemble à l’école

305
 Ministère Jeunesse et Sport Ministère de l’Education Nationale
Partenaires
stratégiques Région Département

Organisations Internationales UNICEF

Associations Municipalité

Enseignants

Directeurs

Situation
Situation
Projet souhaitée,
actuelle
Elèves idéale

Proviseurs
Animateurs
Parents

Partenaires Organisations
Individus Groupes
limitrophes
306
4. Les incidences visées

• les effets de la mise en oeuvre du programme et notamment les effets sur

les comportements

Enfants

• réduction de la violence

• capacité à travailler en groupe

• mixité des interactions

• capacité à demander de l’aide à un adulte

• autonomie

307
4. Les incidences visées

Exemples d’incidences visées pour chaque partenaire limitrophes :

• Parents : participation à la vie de l’école

• Animateurs : appropriation des outils d’animation et des valeurs portées par le

programme (jeux coopératifs)

• Enseignants : implication dans le programme (accueil des volontaires sur les

temps de classe)

• Directeur : inclusion des temps non-scolaires dans le projet d’établissement

308
5. Les marqueurs de progrès

• Les marqueurs de progrès sont des indicateurs gradués

• Il s’agit d’identifier les signaux qui traduisent un changement de comportement

des partenaires

• observer des changements graduels, visibles et observables

• comprendre le processus et le cheminement du changement

• 3 échelons :
‣ ce qui est attendu
‣ ce qui est souhaité
‣ ce qui serait idéal

309
 Marqueurs de progrès

Enfants

De nombreuses incivilités
constatées. Les enfants sont Climat scolaire apaisé. Aucune
impolis, insolents. Ne respectent incivilité constatée, enfants
pas des règles de politesse de polis et respectueux.
base.

310
 Marqueurs de progrès

Parents d’élèves

Forte implicaAon des parents.

Les parents d’élèves n’ont aucun ParAcipaAon au comité de
lien avec le projet. pilotage et à l’ensemble des
phases du projet.

311
 Marqueurs de progrès

Enseignants

Les enseignants sont réfractaires Les enseignants sont moteurs.

au programme. Aucune De nombreuses intervenAons
proposiAon d’intervenAon sur le sur le temps de classe en
temps de classe. perspecAve.

312
Marqueurs de progrès

313
 Incidence visée :
implication des enseignants dans le programme

1. Les enseignants sont informés du motif de la présence des volontaires

2. Des enseignants orientent les élèves vers les activités organisées sur les
temps non scolaires (jeux coopératifs)
3. Les enseignants sont conviés aux réunions du comité de pilotage

4. Les enseignants sensibilisent les élèves aux thématiques abordées pendant

les clubs Néo-Citoyens
5. Les enseignants accueillent les volontaires sur les temps de classe
6. Des enseignants participent aux réunions du comité de pilotage

7. Des activités sont co-construites avec les volontaires sur les temps de
classe
8. Les enseignants sollicitent la reconduction du programme
9. Les enseignants s'approprient des activités du programme (jeux, clubs,
bâtisseurs, etc.)

314
Journal des incidences

Nom du partenaire limitrophe : Enseignants

Période concernée : 1er trimestre 2015/2016
Implication/appropriation du programme par les
Incidence visée :
enseignants

Suivi/mesures
Marqueurs de progrès Que s’est-il passé ?
correctrices

1. Les enseignants sont informés du Présentation formelle des

motif de la présence des volontaires volontaires en réunion
d’équipe le 12/09

2. Des enseignants orientent les 3 enseignants sur 12

élèves vers les activités organisées orientent régulièrement
sur les temps non scolaires leurs élèves

315
Marqueurs de progrès

316
317
Questionnaire

318
Les conditions du changement

Ateliers de recherche d’emploi : Retour à l’emploi

Comment rédiger un CV ?
Comment se préparer à l’entretien ?

Garde des enfants

Transport/mobilité

319
 Etape 3 : sélection des méthodes

Cartographie des incidences

Plan d’action page 9

320
 Etape 3 : sélection des méthodes

4. Etudes d’impact

• les différents types d’études d’impact

• les étapes de mise en place

• les points de vigilance

• le rôle du S&E dans une EI

• illustration à travers un cas pratique

321
Evaluations d’impact

« effets positifs et négatifs, directs ou indirects,

intentionnels ou non, induits par une intervention à
l’appui du développement. »

CAD-OCDE

322
Source : Ciedel/1999
Source : Ciedel/1999
Evaluations d’impact

« Les évaluations d’impact mesurent le changement dans

un effet de développement qui est attribuable à une
intervention définie ; les évaluations d’impact sont basées
sur des modèles de cause et d’effet et demandent un
scénario contrefactuel crédible et rigoureusement défini pour
contrôler les facteurs autres que l’intervention qui pourraient
expliquer les changements observés. »

USAID

325
Etudes d’impact

• visent à mesurer les effets strictement attribuables à une

intervention

• recherche des effets causals à court, moyen et long terme

• au niveau des bénéficiaires mais aussi de structures

intermédiaires

• notion de contrefactuel : la situation en absence d’intervention

326
Source : J.Delarue/SFE/2012
Source : J.Delarue/SFE/2012
« Une société expérimentatrice sera celle qui
expérimentera vigoureusement des solutions à des
problèmes récurrents, qui fera des évaluations
déterminées et multidimensionnelle des résultats et qui
s’orienteront vers de nouvelles alternatives lorsque les
évaluations démontrent qu’une réforme a été inéfficace
voire dangereuse. Cette société n’existe pas à ce jour. »

Donald T. Campbell
American Psychological Association

1971
 Méthodes d’évaluation randomisées
(Randomized Controlled Trial - évaluations aléatoires)

« Just as randomized evaluations revolutionized

medicine in the 20th century, they have the
potential to revolutionize social policy during the
21st » [Duflo et Kremer, 2003])

330
Programme Impact

Contrefactuel ≠ ?
 Suivi

Comment discerner ce qui est strictement attribuable à l’intervention ?

 Randomized Controlled Trial

• Trial : expérimentation (les effets ne sont pas encore connus)

• Controlled : vérifiée sur le temps du projet (constance

méthodologique)

• Randomized : tirage aléatoire

• Population similaire
• en terme de caractéristiques observables (âge, revenu,
niveau d’éducation)
• non-observable (motivation, détermination, etc.)

333
Caractéristiques

• le focus ne porte pas sur le projet/programme (cohérence/efficacité/efficience

mais plutôt sur une question : le couple pertinence/impact

• logique de test : quelle est la différence ? adapté aux situations ou les effets sont
rapides et visibles

• adapté aux projets tunnels :

-inputs circonscrits :
-traitement stable
- participation stable
- effets visibles et rapides

334
Jean David Naudet/AFD 2012
Expérimentations aléatoires contrôllées
échantillonage aléatoire

Source : J.Delarue/SFE/2012
336
Exemple d’expérimentation :
l’internat d’excellence de Sourdun

"Les effets de l’internat d’excellence de Sourdun sur les élèves bénéficiaires :

résultats d’une expérience contrôlée" (J-Pal, IPP, 2012).

3 ans, 750000€

1ère limite à cette évaluation selon les auteurs :

"Cette étude nous apprend donc quels sont les impacts d'une scolarité
à l'internat d'excellence de Sourdun, mais ne nous dit rien sur les effets
produits par les autres internats. Extrapoler les impacts de Sourdun semble
d'autant plus hasardeux que les populations d'élèves visés et les modes de
fonctionnement varient fortement d'un internat à l'autre (Rayou et Glassman,
2012). "

337
1. Conception : Conception
identification des questions de recherches

Préciser les questions évaluatives en fonction du type d’utilisation :

• Mesurer les effets aussi bien positifs que négatifs, prévus ou imprévus, sur le
plan économique, social, politique ou écologique

• Analyser la causalité (valider la chaine logique)

• Détecter les facteurs de réussite et les conditions du changement

• Tester des hypothéses

• Anticiper une mise à l’échelle

338
 Conception
Exemple de questions évaluatives

• Pour qui, de quelles manières et dans quelles circonstances l’intervention a-t-elle

fonctionnée ?

• Les impacts ont-ils affectés différemment les différents types de bénéficiaires ?

• Un mécanisme permet-il de détecter si les effets et impacts engendrés

correspondent aux besoins et attentes des bénéficiaires ?

• Quel lien entre le dosage et les effets ? (par exemple en quoi l’effet aurait été
différent en doublant le nombre d’heures de formation ? le montant du crédit,
etc.)

339
 Conception
Conseils

• rester sur un nombre limité de questions (moins de 10)

• des questions en lien avec l’objectif de plus haut niveau

• méler évaluation interne et externe dès la conception méthodologique

• permettre d’identifier des tendances

340
 Conception
2. Collecte des données de base

Points de vigilance :

• complexité et appropriation des protocoles de recherches

• mieux vaut peu d’indicateurs mais calculés avec des données fiables

• intégrité et contrôle des enquêteurs

• tester les questionnaires

341
 Sélection
Contrôle
Traitement
3. Sélection

• Cas pratique : formation et création d’activités des jeunes

342
4. Pendant l’intervention

• Détecter des disparités de mise en oeuvre

• La mise en oeuvre a-t-elle été distincte d’une région à l’autre, d’une école à
l’autre, d’une ONG à l’autre, etc. ?

• L’efficacité de la mise en oeuvre a-t-elle pu être suivie d’une région à l’autre ?

• En quoi la différence dans l’impact détecté est-il du à une différence de mise en

oeuvre ?

343
 Collecte de données
5. Collecte de données finales finales

• la plupart des RCT restent sur des temps courts : environ 2 ans

• sensibilité des effets à l’épreuve du temps : des impacts constatés à court terme
peuvent évoluer, voire s’inverser à moyen ou long terme.

344
 Analyse et
6. Analyse et dissémination dissémination

• Anticiper les enjeux de confidentialité

• Mise en ligne ? Quelle visibilité de la base de données ?

• Sous quel format ?

• Quelle vulgarisation des résultats de recherche ?

• exemple Ecole et Famille

345
 Analyse et

6. Analyse et dissémination dissémination

• Quels liens avec les instituts nationaux de statistique ?

• augmente la crédibilité et l’appropriation des résultats

• Quels liens avec les systèmes nationaux d’évaluation ? (implique de connaitre son
système national : l’institutionnalisation de l’évaluation de son pays)
• Volonté politique
• Compétence des techniciens et fonctionnaires en SE
• Compétence des élus en SE
• Opportunité de renforcement des capacités en SE
• Ressources et moyens affectés au SE
• Independance
• Transparence

346
Limites et points de vigilance

• capacité à maintenir la rigueur méthodologique sur la durée :

• arrêt du financement ?
• crises et conflits ?
• réorientation politique ?
• les sujets savent qu’ils sont testés : effets psychologiques
• les effets produits dans un contexte déterminé ne seront pas forcément similaires
dans un autre contexte et réplicable
• le changement d’échelle (de l’expérimentation à l’essaimage) affecte certaines
variables et leur reproductibilité
• « absence of evidence is not evidence of absence » Levine et al. 2012
• l’interprétation de résultats demeure subjective - en fonction des chiffres
regardés, de leur présentation, de leur mise en valeur, d’enjeux politiques

347
 Limites et points de vigilance

1. lorsque la méthode est errigée en dogme et non adaptée au programme

(inputs hétérogènes, nouvauté de la mise en oeuvre et phase d’apprentissage
des opérateurs, participation inconnue, traitements multiples, multiples
intervenants extérieurs limitant l’étanchéité de la chaine causale…)

2. lorsque le choix de la méthode d’évaluation conditionne la mise en oeuvre du

programme
• détecter des antagonismes entre les priorités des chercheurs et celles
des opérateurs
• la mise en place du protocole d’évaluation (par exemple la traduction
puis le test des questionnaires ou l’accord du comité éthique) retarde-t-
il la mise en oeuvre de la phase opérationnelle ? Jusqu’à quel point
celui-ci mobilise-t-il les forces opérationnelles du programme ?

348
Quel suivi et évaluation de l’étude d’impact ?

• Utilisation des résultats

• Lorque le budget des RCT est aussi conséquent que certains volets du
programme = nécessite la mise en place de système de suivi et évaluation
sur la mise en place des RCT
• Pertinence
• Cohérence
• Efficacité
• Efficience
• Impact
• Durabilité

349
Limites et points de vigilance

opposition de fond sur la notion d’utilité

• un SSE efficace permet d’améliorer l’action et ses effets en temps réel

• une RCT permet une amélioration à moyen terme

Normes et règles d’évaluation, United Nations Evaluation Group, 2016

350
351
 Etape 3 : sélection des méthodes

5. Etude monographique

• étude exhaustive portant sur un sujet précis et limité

• créer une mosaïque d’information avec tout type de supports, entretiens mais
aussi cartes, plans, photos

• « toutes traces de l’action »

352
 Etape 3 : sélection des méthodes

6. Capitalisation d’expérience
transformer le savoir en connaissance partageable

connaissance tacite : non formalisée, diffuse, transmise par

socialisation (des tours de main, talents, secrets de métier, des
routines,…)

connaissance explicite : formalisée, fait l’objet d’écrits, de normes,

de références

dans les ONG la connaissance tacide est souvent forte,

connaissance explicite appauvrie et formatée par le jargon :

enjeu de transformer le tacite en explicite

pas à la marge mais intégré dans la démarche

353
 Capitalisation d’expérience

2 voies complémentaires selon Michel Gründstein :

voie opportuniste : demander à une personne qui a vécu une

expérience de la capitaliser dès lors qu’elle est disponible et intéressée
par cet exercice

voie stratégique : coproduire un cahier des charges des

capitalisations à réaliser

354
Les 5 facettes de la problèmatique selon Gründstein

355
 Capitalisation d’expérience

concevoir la capitalisation comme un projet à part entière

suivre la diffusion de la capitalisation mais aussi ses effets et impacts

l’information est-t-elle déjà disponible ailleurs? Quels mécanismes de

mise en commun ?

356
 Systématisation d’expérience

Oscar Jara, « Para sistematizar experiencias, una propuesta téorica y

práctica » 1994

courant d’éducation populaire, de promotion sociale

l’attention est portée sur les processus plus que sur les résultats

intègre une dimension subjective

Systématiser les expériences : Manuel pour apprendre de

nos pratiques, Quinoa ASBL, 2011

357
 Systématisation d’expérience
récupération de l’expérience : construire ou reconstruire l’histoire

décrire les événements

établir une chronologie

repérer et nommer les étapes

établir des catégories, des thèmes

relever les tensions et les questionnements

faire émerger les concepts et les visions

358
 Systématisation d’expérience

exemple : format de registre hebdomadaire

359
 Etape 3 : sélection des méthodes

Capitalisation d’expérience

Plan d’action page 9

360
 Etape 3 : sélection des méthodes
7. Recherche action
« recherche-intervention », « recherche-expérimentation »

un prolongement particulier de la recherche traditionnelle en sciences

sociales

la recherche est un moyen d’action

recherche d’émancipation et d’autonomie, liens avec l’éducation

populaire

base : la présence du chercheur modifie forcément son terrain

l'humain et le social, en tant qu'objets d'études, présentent des

caractéristiques spécifiques qui appellent à la mise en place d'une
méthodologie différente de celle qui a cours dans les « sciences dures »

361
 Recherche action
vise sur une meilleure compréhension du problème, mais essaie aussi de
contribuer à la résolution du problème social étudié.

transformer la réalité et produire des connaissances concernant ces

transformations

agir sur le réel autant qu’on l’observe

développement dans les années 2000 du Réseau RAP (Recherche Action

Participative)

exemple de recherche-action : « favoriser les compétences sociales à l’école :

un exemple de recherche-action en zone d’éducation prioritaire », recherche
menée par des psychologues en Alsace auprès d’écoliers de maternelle
"agressifs et perturbateurs"

362
 Etape 3
Méthodes mixtes

• Gestion axée sur les résultats/modèle logique : approche inductive

anticiper les changements souhaités (plutôt axé sur la redevabilité)

• Changement le plus significatif : approche déductive

identifier des changements naissants

• Cartographie des incidences : approche inductive

détermine des chemins de changement par partenaire limitrophe

363
 Etape 3
Méthodes mixtes

• Etude monographique : éclairer toute trace de l’action

• Capitalisation : orientée sur l’apprentissage

• Recherche action : la recherche contribue à l’action en temps réel

364
 Etape 3
Démarche HQSE

365
 Etape 3 : sélection des méthodes
De la théorie à la pratique Plan d’action
page 9

Quelles méthodes vous paraissent le plus appropriées à vos projets ?

366
 Indicateurs Etape 3

Elaboration d’indicateurs

367
Indicateurs et sources d’information Indicateurs

368
 Indicateurs

Les indicateurs

Facteur ou variable, de nature quantitatif ou

qualitatif, qui constitue un moyen simple et
fiable de mesurer et d’informer des
changements liés à l’intervention ou d’aider
à apprécier la performance d’un acteur du
développement. CAD

369
 Indicateurs

Les indicateurs

• Du latin « indicare » : indiquer

• L’indicateur évoque une unité de mesure, une barre mesurable ou observable.

• Un indicateur qualifie ou quantifie la satisfaction d’un critère.

Indicateur : population moyenne couverte par structure de santé

Critère : couverture

370
 Indicateurs

Indicateurs de performance

Indicateur Situation de référence Cible à X année

Taux des prévalence des

maladies diarrhéiques 27,7% en 2006 10% en 2025
chez les enfants de 0-5
ans
L'usine de traitement des
eaux est dotée en produits
Manque de trésorerie : peu chimiques (300 tonnes de
Quantité de produits
de produits chimiques sulfate d'alumine, 36
chimiques livrés
achetés tonnes hypoclorite de
calcium actif) à partir de
2015

371
 Indicateurs

Cible

Indicateur cible

Nombre de personnes formées 100

Couverture vaccinale 90 %

Proportion de foyers ayant des

40 %
activités génératrices de revenu

Mesure le degré d’atteinte d’un objectif ou d’un résultat, de réalisation

d’une action

372
 Indicateurs

Différentes formes suivant le type de mesure

Type de mesure Exemple

nombre d’heures d'entretien mené avec les

une mesure cardinale
personnes détenues
(nombre, volume,
% de sièges occupés par des femmes dans les
pourcentage)
parlements nationaux

niveau de satisfaction
une mesure ordinale
conditions de détention : très bonnes, bonnes,
(échelle)
médiocres, moyennes, très dégradées

un signe binaire Existence d’une proposition de loi (oui/non)

Nombre de consultations par

une formule (ratio,
clinicien par jour, par unité
taux)
administrative

373
 Indicateurs

Désagrégation

Indicateur Exemple

Zone géographique Nbre d’infirmiers/département

Rapport filles/garçons dans l’enseignement

Genre
primaire, secondaire et supérieur

Age % enfants de - 5 ans

Professions et catégories
Taux de départ en vacances/ouvriers
socio-professionnelles (PCS)

Proportion
d'immigrés au sein des commissions ou
Groupes éthniques, religieux
des organes de
direction (ind intégration UE)

374
 Indicateurs

Mixtes : quantitatifs (nombres, quantité, montants) et qualitatifs (opinions,

perception du changement, récits de vie)

Compréhensibles par les usagers

Sélectionnés de manière participative (reflêter une diversité de points d’intérêt)

Ne peut être utilisé seul : une batterie d’indicateurs se complètent et se

nuancent

Un indicateur doit être sensible : refléter les variations

Testés

375
 Indicateurs
QUANTITATIFS

Les indicateurs objectivement vérifiables (IOV)

• Le rôle des indicateurs objectivement vérifiables est de décrire les objectifs

globaux, l’objectif spécifique et les résultats en terme effectivement mesurables.

• Ne laisser aucune place à la subjectivité : 2 évaluateurs différents doivent revenir

avec les même résultats (quantitatifs)

• ne pas se limiter à résumer les activités mais en appréhender les conséquences

• Traduction des objectifs à atteindre en cible précise

376
 Indicateurs
QUANTITATIFS

Mise en place d’indicateurs SMART

• Spécifique: ne mesure qu’un seul aspect du projet

• Mesurable: ne laisse pas de place à la subjectivité

• Accessible: le coût de la collecte de données doit rester supportable

• Reliable (fiable)

• Time-bound: définit dans le temps

377
 Indicateurs
QUANTITATIFS

CREAM

• Clear

• Relevant

• Economic

• Adequate

• Monitorable

378
 SMART ?

De la théorie à la pratique : les indicateurs ci-dessous sont-ils SMART ?

Proportion de sièges occupés par des femmes dans les parlements nationaux

Nombre de demandeurs d’emploi bénéficiant des actions mises en place (PE

2014)

Pourcentage d’enfants âges de 5 à 17 ans impliqués dans des activités

économiques

379
 SMART ?

De la théorie à la pratique : les indicateurs ci-dessous sont-ils SMART ?

Plus de 3300 familles et personnes isolées ont été accueillies par les bénévoles
de nos permanences iséroises (Secours Populaire) en 2012

Lorsque les femmes gagnent de l’argent, elles en réinvestissent 90% dans leur
famille. (Care)

174 000 tonnes de produits alimentaires distribués (PAM, 2015)

le nombre de demandes d’assistances d’enfants en danger augmente de 50%

à la fin du projet

Pourcentage d’animateurs qui utilisent le guide des bonnes pratiques

380
 SMART ?

De la théorie à la pratique : les indicateurs ci-dessous sont-ils SMART ?

Le nombre de jeunes dans le même emploi depuis plus de 6 mois augmente

de 20% à la fin du projet

Le nombre de demandes d'assistance enfants en danger augmente de 50% à

la fin du projet

100% des Communes ont des micro-stations météorologiques fonctionnelles,

avec des rapports diffusés à temps aux agriculteurs

60% des 182 villages ciblés ont une pépinière opérationnelle et financièrement
viable

381
 SMART ?

16.4.2 Proportion des armes légères et de petit calibre saisies qui sont
enregistrées et tracées, conformément aux normes internationales et aux
instruments juridiques

16.5.1 Proportion de la population ayant été en contact avec un agent

public au moins une fois et ayant payé un pot-de-vin à un agent public, ou à
qui un agent public a demandé un pot-de-vin, au cours des 12 derniers mois

16.6.2 Proportion de la population satisfaite de sa dernière interaction avec

des services publics

Objectif 16 : Promouvoir l’avènement de sociétés pacifiques et ouvertes à tous aux

fins du développement durable, assurer l’accès de tous à la justice et mettre en
place, à tous les niveaux, des institutions efficaces, responsables et ouvertes à tous

382
 Indicateurs
QUANTITATIFS

Chaine logique et indicateurs

Indicateurs d’impact les conséquences plus lointaines

et/ou indirectes de l’intervention
Indicateurs de résultats les effets à court ou moyen terme
(outcome) pour les destinataires direct
Indicateurs de réalisations les produits et services délivrés
directes (output)
Activités le processus de mise en oeuvre
de l’action
Ressources les moyens financiers, humains,
matériels mobilisés

383
Indicateur et logique d’intervention

Indicateurs d’impact Taux d’insertion

Indicateurs de résultats Taux de pérennité à 3 ans

Indicateurs de réalisations/ nbre de certificats d’aptitude, nbre

produits d’études de marché réalisées

Indicateurs d’activités nbre de permanences comptable,

nbre de formation proposées

Indicateurs de ressources budget annuel, nbre ETP, superficie

du centre...

384
385
 Indicateurs
La prolifération des indicateurs quantitatifs QUANTITATIFS

386
 Indicateurs
QUANTITATIFS

Indicateurs simples

Avantage : mesure ce que l’on cherche

Inconvénient : ne mesure que ce que l’on cherche...

387
 Indicateurs
QUANTITATIFS

Distortion de comportement et effets pervers

• perte de qualité

• logique concurrentielle, limite la solidarité

• effets de palier (quelle attitude adopter une fois la cible atteinte ?)

• introduit des mécanismes de récompense et de sanction

• limite l’innovation (ou ne détecte pas l’innovation)

388
 Indicateurs de performance

Attention : les indicateurs ne sont pas tous des indicateurs de performance et ne se

voient pas attribuer systématiquement une cible : ils peuvent correspondre à un simple
besoin d’analyse. 389
 Indicateurs essentiels
Plan d’action
page 10

RESSOURCES ACTIVITES REALISATIONS EFFETS IMPACTS

1.
1. 1. 1. 1.

2.
2. 2. 2. 2.

3.
3. 3. 3. 3.

Intrants
Processus Services et Produits Incidences
Moyens

390
 indicateurs
mixtes

Indicateurs mixtes

• des indicateurs quantitatifs qui nous renseigne sur la qualité :

‣ roulement de personnel (turn over)

‣ absenteisme

‣ le pourcentage des dépenses de consommation des ménages qui vont

à l’alimentation

391
 Indicateurs
QUALITATIFS

Indicateurs « qualitatifs »

• opinion, perception du changement, constat, appréciation d’une situation

• analyse d’attitudes, de croyances, de valeurs, de faits permettant de mieux

appréhender une situation, une évolution

• niveau de satisfaction

• récit de vie, storytelling

• contiennent une part de subjectivité

392
 Echelle de graduation en complément d’un IOV
IOV : % de femmes participant aux comités

Domaine de changement : participation des femmes

Aucune implication Implication forte

Etat initial Points trimestriels

Marqueur de progrès
Implication active dans la prise de décision
393
Echelles de
changement

394
 Echelles de
changement

Echelle de Hart

395
 Parcours de
comportement

396
 Parcours de
comportement

397
 Indicateurs

Indicateurs

• Indicateurs externes (sectoriels, vérifiables en premier lieu auprès des usagers)

• Indicateurs internes (gestion démocratique, éthique, diversité, non-enrichissement

personnel, lien fort avec le territoire)

• Indicateurs transversaux (environnement, genre, sociaux, équité)

• Critères d’exclusion

398
 Elaboration des indicateurs

Plan d’action
page 11 et 12

• identifier 3 domaines de changements

• élaborer une échelle de changement sur au moins un des domaines de

changement identifiés

• proposer une figure libre (éclairer toute trace de l’action par tout type de support)

399
 Sources

Sources d’information/moyens de vérification

• Quelles seront les sources ?

‣ base de données, enquêtes, archives, statistiques officielles, rapports…

‣ À spécifier dès la conception des indicateurs

‣ participe à la sélection des indicateurs (par exemple des indicateurs

écartés si les sources ne sont pas fiables)

• Comment seront recueillies les données ?

• Qui collectera les données (interne ou externe ?)

• A quelle fréquence ?

400
 Sources

BIG DATA

‣ Appli smartphone

‣ Réseaux sociaux et professionnels

‣ Cartographies satellites

‣ Terminaux de paiement

401
Etape 4 : planifier la collecte d’information et le traitement des données

• Outils de collecte

• Fréquence

• Traitement

• Responsabilité

402
 Etape 4
Outils de collecte

1. Veille documentaire

2. Observation

3. Entretiens

4. Focus group

5. Questionnaires

403
 Etape 4
1. Veille documentaire

• Données primaires : collectées en interne, spécifiques à votre action (journal de

bord, rapport d’évaluation, compte-rendu d’entretien)

• Données secondaires : données statistiques, articles, revues spécialisées,

newsletters, open data, podcasts, réseaux sociaux,…

• Quel type d’archivage ? Comment partager et mettre en réseau ? Organisation

de revue de presse thématique ?

404
 Etape 4
Veille et modèle logique

Données secondaires
Données
Donnéesprimaires
primaires

RESSOURCES ACTIONS RESULTATS EFFETS IMPACTS

Les données primaires pourront éclairer plus facilement les niveau des ressources,
actions, résultats et plus difficilement les effets et les impacts.

Les données secondaires donneront une vision d’ensemble du secteur (taux de chômage,
proportion d’élèves dans des filières scientifiques, etc) mais n’éclairent pas ou peu vos actions.

405
 Etape 4
Echantillon

Face à l’impossibilité de saisir toutes les situations ou tous les

comportements, les analyses se construisent sur des mesures, des
observations ou des questionnements : sur un « morceau » ou une
« parcelle » de la réalité

Aucun principe universel permettant de vérifier la pertinence de

l’échantillon ni procédé technique permettant de valider sa composition

L’échantillon est-il représentatif ?

Qu’est-ce qu’un échantillon de taille suffisante ?

406
 Etape 4
2. Observation

• « Mode de collecte de données par lequel le chercheur observe de lui-

même, de visu, des processus ou des comportements se déroulant dans
une organisation pendant une période de temps délimité. »

• Attitude systématique « maintenir le sens de l’observation », rester curieux

• Délimiter le périmètre de l’observation ? (activités, appropriation par les

participants, animation, contenu, …)

• Informelle vs structurée (guide d’observation)

• Programmée (échéances régulières)

• Entre pairs

407
 Etape 4
3. Entretiens
• Qualitatif

‣ Libre
‣ Semi-directif (semi-structuré, centré)
‣ Directif (questions ouvertes ou fermées)

• Quel intérêt ? plus spontané, pas bridé par des réponses prédéfinies,
possibilité de réponses argumentées, d’analyser des problèmes complexes,
d’utiliser son propre vocabulaire, de laisser place à l’innovation

• Préalable : élaborer un guide d’entretien, définir l’échantillon, établir un

protocole

408
 Etape 4
3. Entretiens
• Caractéristiques : échantillon réduit, traitement long

• Introduit une certaine partialité : les propos seront analysés à travers la

perception de l’interviewer

• Rappeler le but de l’étude, son déroulement, le mode de restitution envisagé

• Types d’intervention de l’enquêteur : recentrer, approfondir, reformuler

• Prise de notes ou enregistrement ?

• Codage et post-codage (par exemple domaines de changement anticipés,

domaines de changement évoqués, redéfinition des domaines de changement et
reformulation en pourcentage)

409
 Etape 4
4. Focus group
• Qualitatif

• Vise à explorer des terrains inconnus

• 6 à 12 participants, grille d’une dizaine de questions ouvertes (guide d’entretien)

• Favoriser l’émergence de toutes les opinions (ne pas rechercher un consensus),

faire naitre le débat, des points de vue innovants

• Relever les besoins, les priorités, les perceptions, interroger le « pourquoi » et le

« comment »

• Atteindre la « saturation de contenu »

• Traitement fastidieux si retranscription

410
5. Questionnaire

• Beaucoup de bon sens (outils type google form, lime survey, survey monkey, etc.
demandent moins de compétences en traitement statistique)

• Surexposition des usagers aux questionnaires (donc créativité pour inciter à

répondre, humour pour garder le répondant, faire passer les questionnaires dans
des endroits « captifs », identifier des moments « creux », insérer des questions
dans des outils existants : formulaire d’inscription, réservations, etc.)

411
1ère étape : élaboration

• Définir la cible

• Ergonomie : agréable

• Mise en place de filtres ? (pour sélectionner uniquement un profil de répondants)

• Branchement ? (renvoyer suivant les réponses vers certaines parties spécifiques)

• Déterminer une taille d’échantillon

• Indiquer les objectifs du questionnaire et le mode de restitution prévu

• Décomposer le questionnaire en grands chapitres, par question évaluative

412
1ère étape : élaboration
• Technique de l’entonnoir : du plus large au plus spécifique

• Commencer par des questions ouvertes, pour ne pas prendre le risque

d’influencer, puis par la suite uniquement emmener le répondant sur notre
logique, les pistes que l’on souhaite explorer…

• Questions signalétiques à la fin (rébarbatif si placées au début, acceptation plus

facile à la fin lorsque les répondants se sentent impliqués)

• Tester le questionnaire, détecter des biais éventuels

• Tester des inversions de l’ordre ou de la logique des réponses

413
Les différents types de questions

• Questions textuelles (zone de texte)

• Questions numériques (donner une note, un prix…)

• Questions à choix multiples : fermée proposant un choix d’une ou plusieurs

réponses

• Liste déroulante

• Échelles d’évaluation

414
Les différents types de questions

Echelles d’évaluation, exemple :

• échelle différentielle d’Osgood (utilise les antagonismes)

• échelle de Likert (degré de désaccord ou d’accord vis-à-vis d’une affirmation)

415
Les différents types de questions

Grille :

416
Points de vigilance

• Durée du questionnaire

• Compréhension des questions (en lien avec le type de répondant, éviter le

jargon)

• Éviter de contraindre à un choix par défaut, proposer un large choix de réponse

• Laisser des portes de sortie (« je ne sais », « trop tôt pour le dire », « autre », etc.)

• Solliciter des réponses précises (par exemple pour identifier une fréquence :
« nombre de fois par semaine » plutôt que « souvent »…)

• Réponses induites

417
Exemple de réponse induite :

Recommandations des volontaires

"Une bonne pratique ou un conseil à destination d'une école qui intégrerait le
programme pour la première année ? »

« Bien faire les présentations des le début, ne pas lâcher les volontaires du début à la fin
du projet leur montrer que vous êtes là pour eux, que vous savez pourquoi ils viennent et
ce qu'ils vont faire. »

418
2ème étape : recueil des réponses

• Quel support ? (en ligne ou papier)

• Face à face ou auto-administré ?

• Quelle diffusion ? (mailing, participants, réseaux,…)

• Quel moment est le plus propice ?

• Quelle durée d’activation ? Pour quand a-t-on besoin des réponses ?

• Récompense ?

• La possibilité de suivi en temps réel

419
3ème étape : le traitement et l’analyse

• Taux de réponse (faire des camemberts 3D pour 8 répondants sur 100 participants ?)

• Validité de l’échantillon, représentativité des répondants (vos plus fidèles bénévoles ont
répondus ?)

• Fiabilité des données : manque de temps, fatigue, désintérêt pour l’étude…

(étudier la cohérence des réponses)

• Fiabilité des données également en fonction des enjeux et problèmatiques

propres aux répondants

420
 Etape 4
Innovation dans les outils ?

• Contexte de croissance exponentielle des sources (d’ici 2020, une estimation de

1,7 MB de nouvelles données seront générées par habitant par seconde au
niveau planétaire)

• Exploiter le potentiel des nouvelles technologies et de l’intelligence collective

• Enjeu : se laisser une diversité de choix, une mosaïque d’information avec tout
type de supports en essayant d’identifier « toutes traces de l’action »…

• …tout en anticipant les capacités de stockage, l’archivage…

• …et les enjeux environnementaux (pollution numérique)

421
 Etape 4
« I only believe in statistics that I “The more precise the number,
doctored myself » the bigger the lie.”
Bill Bonner, Hormegeddon

William Churchill
Doctored : to falsify or change in such a
way as to make favorable to oneself

422
 Etape 4
Points de vigilance en amont de l’analyse

• Nombre de répondants

• Représentativité des répondants

• Fiabilité des résultats en fonction des enjeux et problèmatiques propres aux

répondants

423
Etape 4

424
Etape 4

425
 Etape 4
Finalisation du budget : ressources
1. Quel est le budget disponible ?
2. Quelles seraient les ressources nécessaires pour mettre en oeuvre le système
préconisé ?
ressources humaines (heures, jours,…)
coûts
3. Quelle marge de manoeuvre pour obtenir des ressources complémentaires ?
4. Quelles sources de financements alternatives ?
5. Quelle proportion sera réalisée en interne ? Quelle proporation sera externalisée ?

Exemple
Interne Externe
1 chargé de SE 1 enquête annuelle sur 10% des bénéficiaires
20% transversal responsable de projet 10 enquêteurs, traduction du questionnaires,…

426
Etape 4 : planifier la collecte d’information et le traitement des données
Plan d’action page
• Sélection des outils de collecte 13 à 15

• Elaboration des outils de collecte

• Quelle fréquence de collecte des données ?

• Quel traitement ?

• A qui incombe la responsabilité ?

• Quelle incorporation envisageable du SED dans la formulation des outils de collecte ?

(suivi & évaluation dynamique)

• Quels enjeux pour les répondants ?

• Quels biais potentiels ?

427
Etape 5 : planifier l’utilisation et la valorisation des résultats

Robert Picciotto
Professeur associé au Kings College,
économie du développement

428
Comment valoriser et utiliser les résultats de Etape 5
l’évaluation?

429
Planifier l’utilisation et la valorisation des résultats :
Etape 5
les incontournables
• Etape planifiée et transversale dès la conception du système : utilisation
focused evaluation (quelle utilité pour les utilisateurs ? qui sera l’utilisateur
de chaque donnée produite et quel est son besoin ?)

LA RESTITUTION

• Déterminer les formes et modalités de restitution de l’information

• écrites (rapports d’évaluation, présentation ppt, rapport)
• orales (ateliers, réunions, séminaires)
• Déterminer les destinataires de la restitution (siège, terrain, partenaires,
usagers, bailleurs,…)

• Déterminer les modalités de distribution de l’information en fonction des

destinataires (journal interne, mail, rapport annuel,…)

• Détecter des enjeux de confidentialité éventuels

430
Planifier l’utilisation et la valorisation des résultats :
Etape 5
les incontournables
• Rapport d’évaluation :
• inclure une note de synthèse (executive summary)
• language clair et accessible
• inclure les limites du processus d’évaluation

• Les recommandations
‣ stratégiques
‣ opérationnelles
‣ ou données brutes (abscence de recommandations : l’analyse est
laissée à l’appréciation du commanditaire)

‣ Organiser un droit de réponse : la perception des parties prenantes sur la

pertinence des recommandations

‣ En cas de validation des recommandations, organiser le calendrier de suivi

des recommandations et le financement de la mise en place des
recommandations
431
Etape 5

432
 Etape 5

433
 Etape 5

Mise en œuvre de l’Agenda 2030 : rapport de la Suisse

434
 Etape 5
Quel support de restitution ?

Infographie ?

Photographie ?

Vidéo ?

Présentation ?

Rapport ?

Cartographie ?

Résumé exécutif ?
435
Etape 5

436
 Etape 5

Même jeu de données - 25 visualisations 437

ILO i-eval discovery

438
Les métiers de l’évaluation/
compétences de l’évaluateur

• Statisticien • écoute

• Sociologue • analyse

• rédaction • responsabilité
• Infographe
• facilitation • éthique
• Cartographe

• Expertise sectorielle

Compétences Aptitudes et
métier capacités

« La voix de ceux qui n’en ont pas »

439
440
Etape 5 : planifier l’utilisation et la valorisation des résultats

Questions directrices Plan d’action

page 16, 17, 18
• Quel type de restitutions ? Quelles formes et modalités ?
• écrit, oral ?
• rapport, présentation, ateliers, réunions, séminaires ?
• photographie ? vidéo ?

• Auprès de qui ?
• usagers, partenaires, bailleurs?

• Quels enjeux de confidentialité ?

• Pertinence des recommandations ? Quel droit de réponse ?

• Quel calendrier pour le suivi des recommandations ?

• Quelle ligne budgétaire pour financer des recommandations ?

441
Etape 5 : planifier l’utilisation et la valorisation des résultats

Plan d’action
page 15 à 16
• Suivi & Evaluation du système (fréquence de l’exercice ?)

• Démarche HQSE
1. Quel a été la participation effective des usagers ?
2. Quelles ressources budgetaires ont réellement été affectées au S&E ?
3. Quel a été le calendrier effectif de révision du système (points trimestriels, revue annuelle,
etc.)
4. Quel degré d’innovation dans le système mis en place ?

• Quel équilibre entre le pilotage, l’apprentissage et la transparence ?

• Quel équilibre entre le quantitatif et le qualitatif ?
• Quel équilibre des questions évaluatives sur les critères ?
• Quels équilibre au niveau du périmètre suivis et évalués ?
• Quel équilibre sur le S&E de l’ensemble du cycle de projet ?
• Quel équilibre au niveau des acteurs du S&E ?
• Quel équilibre entre reporting et recherche ?
• Quel équilibre entre suivi et évaluation ?

• Retracer les modes de prises de décision en lien avec les apprentissages en temps réel
• Accompagnement du SED (suivi&évaluation dynamique) et amélioration des outils de
collecte
442
Etape 5 : planifier l’utilisation et la valorisation des résultats
Plan d’action
page 17

• Formalisation du système à travers un document écrit

• Renforcement des compétences en S&E

• Formation au système établi

• « Evaluer pour évoluer » demande parrallèlement d’« Evoluer pour Evaluer »

443
Etape 5 : planifier l’utilisation et la valorisation des résultats
Plan d’action
page 17

• Quelles connexions avec les RH ?

• Quelles connexions avec la prise de décision et les réflexions stratégiques ?

• Quelle connexion avec d’éventuelle évaluations externes commanditées par un

bailleur ?

• Quelle mode de management compatible avec une démarche HQSE ?

444
445
 CONCLUSION

Vision globale

• ensemble des critères : pertinence, cohérence, efficacité, efficience,

impact, pérennité, etc.

• sur un ensemble des principes et valeurs : gouvernance démocratique,

utilité sociale, éthique, diversité, lien fort avec le territoire, etc.

• avec certaines exigences : impartialité, pluralité des points de vue, faire

prévaloir l’intérêt général

446
 CONCLUSION

Patrick Viveret Amartaya Sen

« Définir l'évaluation comme une « Ce qui est central, ce ne

délibération sur les valeurs, ce qui sont pas les indicateurs...
correspond à l'étymologie du terme, mais le développement
c’est refuser de la réduire à un simple humain. »
exercice de mesure (…)

La question des "indicateurs" qui relève

des outils ne peut donc être dissociée
de celle des "critères" qui relève du
débat sur les fins. »

447
448
449