Module de formation

Le suivi et l’évaluation
dans le contexte des
cadres de qualifications

Module de formation

Sékou COULIBALY
Karim KEITA
Introducti
on
Présentation de formation
1. Informations générales.
2. Présentation du manuel de formation.
3. Justification du suivi évaluation (S/E) et concepts clés du S/E
4. Éléments à prendre en compte pour la mise en place d'un
système de S/E.
5. Mise en place d’un système de S/E pour un cadre de
qualifications.
6.Évaluation des
acquis. Annexes:
• Références pour une
lecture plus
approfondie
• Exemples de cas de
S/E de cadres de
Module de formation 7 -
Principaux résultats
d'apprentissage
1. Comprendre des concepts clés du suivi et de l'évaluation.
2. Comprendre le suivi et l'évaluation dans le contexte des
cadres de qualifications.
3. Présentation d'un cadre de résultats pour un cadre de
qualifications.
4. L'identification des indicateurs en adéquation avec un cadre
de résultats pour un cadre de qualifications.
5. La compréhension de la relation entre les indicateurs et les
sources de données.
6. L'élaboration d’un plan d'évaluation pour un cadre de
qualifications.
Présentation de la session
1. Introduction
2. Justification du suivi et de l'évaluation des cadres de
qualifications et concepts clés
3. Éléments à prendre en compte dans la mise en place d'un
de S/E
système
Cadre de résultats et indicateurs : éléments de base
clés d'un système de S/E
Évaluation d'un cadre de qualifications (5 minutes)
4. Résumé
Concepts clés et
justification du suivi et
de l'évaluation
 Suivi et évaluation :
Définitions
• Le suivi est la collecte et • L'évaluation est une
l'analyse régulières appréciation périodique qui
d'informations pour vise à répondre à des questions
déterminer si des progrès sont spécifiques sur la
réalisés ou non en vue pertinence, l'efficience et
d’atteindre un résultat l'efficacité d'une politique ou
escompté (SADC, 2011). d'un programme. L'évaluation
permet également de mesurer
l'impact - attendu et inattendu
- et d'identifier les effets qui
peuvent être attribués à une
politique ou à un programme.
(SADC 2011).
 Le suivi et l’évaluation : Principales
caractéristiques
Suivi Évaluation
Qui le conduit? Gestionnaires de programme et personnel de mise en œuvre Évaluateurs travaillant avec le personnel du programme ainsi que d'autres
intervenants clés
But/intérêt Gestion adaptative Responsabilité
Apprentissage
Calendrier Continu Périodique, à des intervalles clés

Portée typique • Utilisation du financement et d'autres ressources • Réalisation des objectifs

• Mise en œuvre , y compris les activités, les extrants et les • Critères d'évaluation (pertinence, qualité, efficacité, efficience,
résultats à court terme rentabilité, durabilité)
• Fidélité • Résultats, impact, attribution
• Performances par rapport aux objectifs • Conclusions tirées sur le mérite/la valeur

Financement Intégré dans le budget du programme Rubrique dédiée

Actions Indicateurs et cibles Critères, indicateurs et normes

Données Implique la collecte de données primaires (données du Implique généralement la collecte de données primaires, utilise des
programme) programmes et d'autres données secondaires, s'appuie généralement sur
des sources de données multiples.

Rapports Descriptif, liés à la performance Explication, jugement, enseignements tirés

Composantes clés d'un système
de
• S/E.
Description de
l'évaluation Éléments
(projet/programme/politiq transversaux
ue)

Rétroaction
du S/E.
Utilisateurs et utilisation
œuvre
Capacité de mise en
Objectif
Contexte et culture
• Cadre de résultats
• Indicateurs et cibles
• Sources de données,
méthodes, instruments
• Collecte des données
• Gestion des données et
analyse
• Rapports, diffusion et
utilisation
Justification du S/E dans le
contexte des cadres de
qualifications
• Suivre les progrès et maintenir la mise en œuvre sur la bonne voie.
• Identifier ce qui fonctionne bien/moins bien et déterminer la cause.
• Informer des modifications à la politique, à la mise en œuvre et à la
gestion.
• Évaluer les résultats.
• Générer des connaissances et partager des enseignements
pertinents ailleurs.
Les cadres de qualifications sont relativement nouveaux et il existe peu de
preuves documentées quant à leur efficacité et leur impact.
 Chaîne de résultats du
S/E.
(ressources) (livrable) (avantages des
Intrant

Extrant
Activité

Impact
Résultat
Ressources Personnes activités/extrants) (effets à long
humaines formées Amélioration des terme)
connaissances et Développement
des compétences des systèmes de
(mesures S/E et
prises) renforcement
Formation des NQF

Suivi

Évaluation

Hypothèses (conditions nécessaires) les personnes concernées sont intéressées et ont le temps de participer.
 Différents types de
résultats
• Prise de conscience : Prise de conscience sur les défis et les possibilités de
réajustement.
• Attitude: Attitude à l'égard de la RPL et possibilité d’un apprentissage continu et
tout au long de la vie.
• Connaissance: Connaissance des nivéaux et de leur application aux qualifications.
• Comportement: Changement dans la façon dont les différents types de
qualifications sont perçus et traités.
• Compétences: Le développement de nouvelles qualifications pour combler
les lacunes identifiées permet de remédier aux pénuries de compétences.
• Conditions de développement: Amélioration de la mobilité et de la participation
au marché du travail. Intégration économique.
Les résultats peuvent être à court terme/immédiats (survenant peu après la mise
en œuvre), à moyen terme/intermédiaires (survenant 1 à 3 ans après la mise en
œuvre) et à long terme (survenant 3 ans ou plus après la mise en œuvre).
L'impact peut se produire 3 à 5 ans ou plus après la mise en œuvre et est
habituellement le point culminant d'une variété d'interventions et de facteurs et
Module de formation 7 sur l’ACQF : S/E dans le contexte des cadres ou
n’est pas seulement attribuable à une intervention.
systèmes de qualifications
 Principales caractéristiques des
indicateur
Les indicateurs de changement qui décrivent comment
suivre les résultats escomptés, essentiels pour le suivi et
l'évaluation.
● Mesures ( approximatives ) de quelque chose qui n'est

pas (généralement) directement visible, observable ou

mesurable.
● Peut être direct (extrant) /et indirect (résultat).
● Peut être quantitatif (nombre, %, fréquence) et

qualitatif (niveau de participation et de satisfaction,

développement des compétences).
● Peut être appliqué à différents niveaux (intrant,

activité, extrant, résultat, impact).

● Peut être appliqué pour différents types

d'intervention (projet,
programme, politique).
 Types
Niveau
d'indicateurs
Description Objet
Impact Effets à long terme produits par Mesure le degré de réalisation des
une intervention, directement ou objectifs généraux.
indirectement.
Résultat Changements ou avantages résultant Mesure la manière dont les
des activités ou des résultats, changements prévus se produisent et la
changements dans l'apprentissage, les manière dont les objectifs sont atteints.
connaissances, l'attitude, les
compétences ou la compréhension,
le comportement, la pratique, les
décisions ou la condition.
Extrant Produits, biens et services résultant Mesure les livrables.
d'une intervention.

Activité Travail effectué. Mesure ce qui a été réalisé

conformément aux plans.
Intrant
Module de formation r Ressources
7 su qualifications
financières,
l’ACQF : S/E dans le contexte
systèmes de
des cadres ou humaines et
Mesure la manière dont les ressources
matérielles utilisées. sont utilisées.
Caractéristiques de bons indicateurs
Indicateurs CREAM
Clairs Précis et sans ambiguïté
Pertinents, Appropriés à ce qui est mesuré
Économiques Obtenables à un coût raisonnable
Adéquats Capables de fournir suffisamment d'informations
sur les performances
Contrôlables Facilement contrôlables et capables d'être validés de
manière indépendante.
Éléments à prendre en
dans la
compte mise en
système de
place d'un
S/E.
Principaux éléments à prendre en
compte lors de la mise en place d'un
système
• deetS/E
Établir les besoins la demande en matière de S/E
• Identifier les utilisateurs et les utilisations
• Identifier l'emplacement du système de S/E
• Les ressources disponibles et nécessaires
• Renforcer la capacité organisationnelle
• Élaborer un cadre de résultats et identifier les indicateurs
• Identifier les sources de données
• Élaborer une stratégie de collecte de données
• Définir des objectifs
• Utiliser les informations recueillies dans le cadre du S/E pour éclairer la prise
de décision
Sondage 1 : Utilisateurs et utilisations
du S/E.
Dans votre pays/contexte, qui seront les utilisateurs primaires et
secondaires des informations recueillies dans le cadre du S/E et
dans quel but les utilisent-ils ?
1. Qui sont vos principaux utilisateurs des informations
recueillies dans le cadre du S/E ?
2. À quoi leur serviront ces informations ?
Renforcer la capacité organisationnelle
dans la mise en œuvre et l’utilisation
du système de S/E
• Faire le point sur les capacités
existantes
sur lesquelles l’on peut s’appuyer.
• Faire le point sur la culture
organisationnelle , y compris les
obstacles à l'utilisation des
données du S/E.
• Envisager des interventions
pour renforcer les capacités et
améliorer l'utilisation.
• Utiliser des mécanismes
permettant le changement.
Module de formation 7 sur l’ACQF : S/E dans le contexte des cadres ou
systèmes de qualifications

Source: Goldman, 2021

Cadre de résultats et
Éléments constitutifs
indicateurs : d'un
S/E pour
système deun cadre de
qualifications
 Regrouper les composantes du
système de S/E.

Module de formation 7 sur l’ACQF : S/E dans le contexte des cadres ou

systèmes de qualifications
Proposition pour un cadre de
qualifications et un cadre de
résultats
Module de formation 7 sur l’ACQF : S/E dans le contexte des cadres ou
systèmes de qualifications
Travail à la
maison
1. Identifier au moins deux indicateurs pour le suivi de l'
élaboration ou de la mise en œuvre du (niveau de
l'activité/l’extrant).
2. Identifier au moins deux indicateurs de résultats basés sur
le cadre de résultats.
3. Proposer des sources de données primaires ou secondaires
qui pourraient être recueillies pour suivre les indicateurs que vous
avez identifiés.
4. Identifier les méthodes et les instruments de collecte de
données
pour recueillir des données pour les indicateurs que vous avez
sélectionnés.
Évaluation d'un
cadre de
qualifications
 Différents types
d'évaluation
• Étude de base entreprise au début d'une intervention pour déterminer le
changement au fil du temps.
• Évaluation formative (provisoire) entreprise au cours de la mise en œuvre, afin
d'évaluer les progrès réalisés et d'aider à la prise de décisions sur la mise en œuvre
et la stratégie ultérieure.
• L'évaluation à mi-parcours (processus/mise en œuvre) tient compte de la
mise en œuvre à ce jour et identifie les obstacles. Génère des recommandations
pour la prochaine phase de mise en œuvre.
• Évaluation sommative (finale) effectuée à la fin d'un cycle de mise en œuvre.
Peut considérer la mise en œuvre depuis le début, l’adéquation de l'intervention
par rapport à l'objectif et la mesure dans laquelle les recommandations de
l'évaluation à mi-parcours ont été prises en compte. Il s’agit également d’évaluer
les progrès vers les résultats escomptés, les effets imprévus, la proportion des
résultats par rapport au coût et la mesure dans laquelle l'impact a été atteint.
Étapes de la planification de
l'évaluation
1. Clarifier le cadre de résultats.
2. Identifier les questions d'évaluation.
3. Identifier les méthodes de collecte de données et les
sources de données.
4. Établir le calendrier et un plan de travail.
5. Élaborer un plan d'évaluation (interne) ou un cadre de
référence
pour une évaluation indépendante (voir l'annexe C).
 Exemple pratique: Évaluation du cadre
national de certifications (NFQ) de
l’Irlande
• Le NFQ a été lancé en 2003, établissant un système à dix niveaux de
connaissances, d’aptitudes et de compétences pour la reconnaissance de tous
les types d'apprentissage.
• Examen commandité en 2017 pour orienter l'élaboration, la mise en œuvre et
l'évaluation des politiques futures. Elle a examiné : La connaissance du
projet ; la qualité de l'enseignement et de l'apprentissage ; la
progression des qualifications ; l'employabilité et l'emploi ; les priorités
futures en matière de politiques.
• L’examen a comporté : un sondage en ligne sur les points de vue des parties
prenantes nationales quant à l'impact du NQF et les priorités futures en matière
de politiques; des entrevues avec des intervenants clés afin d'examiner le
rôle et la contribution du NFQ aux objectifs stratégiques.
• Principales conclusions : niveau élevé de soutien et évaluation positive de
sa contribution au changement : transparence et qualité des
certifications, progression, mobilité, alignement entre compétences
et opportunités d'emploi.
• Identification d’une gamme de priorités futures possibles, lancement d’un
processus de consultation, d'examen et de réforme.
• NB : ll est difficile de déterminer l'impact, étant donné que le NQF est un
catalyseur plutôt qu'un moteur du changement.
 Le S/E à différentes étapes de
développement d’un projet (5 étapes)

4) en place,
2) Premières mise en œuvre
• Élaborer un cadre de
en cours • Suivi continu
• Conceptualiser réflexions résultats
• Identifier les indicateurs et • Effectuer un
• Analyser la développer un système de • Collecter les données
gestion et d'évaluation examen interne
situation de référence • Commanditer une
• Évaluation • Mener le suivi
1) pas encore 3) en cours évaluation externe
commencé des besoins d'élaboration/
• Planifier l'évaluation
en consultation
5) en place depuis
un certain temps,
révisé et amélioré

Module de formation 7 sur l’ACQF : S/E dans le contexte des cadres ou

systèmes de qualifications
Résu
mé
Conclusion
• Justification et concepts clés :
• Suivi, évaluation, système de S/E, cadre de résultats, résultats,
indicateurs.
• Réflexions :
• Établir les besoins et la demande ; identifier les utilisateurs et les
utilisations ; localiser le système de S/E ; renforcer la capacité
organisationnelle dans la mise en œuvre et l’utilisation des
preuves ;
• Éléments constitutifs:
• Cadre de résultats et indicateurs.
Sondage 1
• Planification de l'évaluation
Module de formation 7 sur l’ACQF : S/E dans le contexte des cadres ou
systèmes de qualifications
Rappel : Travail à la
maison
1. Identifier au moins deux indicateurs pour le suivi de l'
élaboration ou de la mise en œuvre du NQF (niveau de
l'activité/de l’extrant).
2. Identifier au moins deux indicateurs de résultats basés sur
le cadre de résultats du NQF.
3. Proposer des sources de données primaires ou secondaires
qui pourraient être recueillies pour suivre les indicateurs que vous
avez identifiés.
4. Identifier les méthodes et les instruments de collecte de
données
pour recueillir des données pour les indicateurs que vous avez
sélectionnés.
5. Remplir la fiche de référence des indicateurs.
6. Préparez-vous à présenter le vendredi 22 avril matin.
Module de formation 7 sur l’ACQF : S/E dans le contexte des cadres ou
systèmes de qualifications