Guide d'évaluation des finances publiques
Guide d'évaluation des finances publiques
finances publiques
Cadre de mesure de la performance
Mai 2020
Coordonnées de contact
Equipe CMP ISC, Initiative de développement de l'INTOSAI: CMP [email protected]
Table des matières
Objet du présent document .........................................................................................................................4
Principes clés du CMP ISC .............................................................................................................................4
Sujets généraux ............................................................................................................................................6
Objectif de l'évaluation ............................................................................................................................6
Portée de l'évaluation ..............................................................................................................................6
L'équipe d'évaluation ...............................................................................................................................8
Échantillonnage des dossiers d'audit pour la revue ................................................................................9
Autres types d'audit ...............................................................................................................................14
Notation .................................................................................................................................................15
Eléments Probants .................................................................................................................................19
Garantir la qualité du rapport d'évaluation ............................................................................................23
Références aux ISSAI ..............................................................................................................................23
Evaluations répétées - Version pilote vs. Version 2016 du CMP ISC .......................................................25
Travail de terrain ....................................................................................................................................25
Rapport d'évaluation - Justification de l'exclusion des recommandations .............................................26
Publication du rapport d'évaluation .......................................................................................................26
CMP ISC et autres processus de gestion de la performance...................................................................26
Indicateurs .................................................................................................................................................29
Domaine A : Indépendance et cadre juridique .......................................................................................29
ISC-1 : Indépendance de l'ISC .............................................................................................................30
ISC-2: Mandat de l'ISC ........................................................................................................................33
Domaine B : Gouvernance interne et éthique ........................................................................................33
ISC-3: Cycle de planification stratégique ............................................................................................33
ISC-4: Environnement de contrôle organisationnel ............................................................................36
ISC-5: Audits externalisés ...................................................................................................................38
ISC-6: Leadership et communication interne .....................................................................................39
ISC-7: Planification générale de l'audit ...............................................................................................39
Domaine C : Qualité des audits et des rapports .....................................................................................40
Clarifications générales ......................................................................................................................40
Page 2 de 53
ISC-8: Couverture des audits ..............................................................................................................42
ISC-10: Processus en matière d'audit financier ..................................................................................45
ISC-11: Résultats de l'audit financier ..................................................................................................46
ISC-12: Normes d'audit de performance et Gestion de la qualité ......................................................46
ISC-13: Processus d'audit de performance .........................................................................................46
ISC 15: Normes d'audit de conformité et Gestion de la qualité ..........................................................47
ISC-16: Processus d'audit de conformité ............................................................................................48
Domaine D : Gestion financière, actifs et services de soutien ................................................................50
ISC-21: Gestion financière, actifs et services de soutien ....................................................................50
Domaine E : Ressources humaines et Formation ...................................................................................50
ISC-22: Gestion des ressources humaines ..........................................................................................50
ISC-23: Développement professionnel et Formation..........................................................................52
Page 3 de 53
Objet du présent document
La méthodologie CMP ISC est généralement facile à suivre et à appliquer. Toutefois, certains critères et
autres aspects méthodologiques du cadre sont susceptibles d'être mal interprétés par les évaluateurs en
raison de leur nature.
Ce document a été élaboré afin de clarifier les principaux sujets et questions méthodologiques du CMP
ISC qui, au fil des ans, se sont avérés être difficiles pour de nombreux évaluateurs. Les sujets abordés
dans ce document sont basés sur les questions que l'équipe CMP ISC de l'IDI a reçues des évaluateurs
individuels, des équipes d'évaluation et des participants aux différents cours de formation sur le CMP ISC
de l'IDI.
Les équipes d'évaluation et les individus sont encouragés à contacter l'équipe CMP ISC de l'IDI par
l’adresse e-mail CMP [email protected] pour des questions spécifiques et des orientations générales sur toutes
les questions relatives à l'application de la méthodologie du CMP ISC. Ce document sera révisé
périodiquement afin de s'assurer qu'il tient compte de tous les nouveaux défis méthodologiques qui
pourraient survenir avec l'utilisation continue du cadre.
Le fond prime sur la forme – Cela signifie que lors de l'examen d'une question, par exemple l'évaluation
d'un critère, les évaluateurs doivent veiller à ne pas tirer de conclusions hâtives selon lesquelles les
choses sont réellement telles qu'elles apparaissent (forme), mais doivent tenir compte de toutes les
autres conditions et/ou dispositions pertinentes entourant cette question ou ce critère, qui peuvent en
fait dépeindre un statut différent de celui observé sur la valeur nominale (fonds). Les exigences d'un
critère peuvent être remplies de différentes manières d'une ISC à l'autre.
Évaluation fondée sur des éléments probants – Les descriptions et l'analyse figurant dans le rapport
doivent être fondées sur des éléments probants documentés suffisants et appropriés et pas seulement
sur la théorie.
Contrôle de qualité – Une vérification de la qualité de l'évaluation effectuée par le chef d'équipe au
moment où l'évaluation est réalisée.
Vérification de l'exactitude factuelle du rapport - Il s'agit d'un contrôle de qualité de deuxième niveau
du projet de rapport effectué par une ou plusieurs personnes au sein de l'ISC, généralement un membre
du personnel de haut niveau qui ne faisait pas partie de l'équipe d'évaluation. L'objectif est de vérifier
que le contenu du rapport est correct sur le plan des faits.
Revue indépendante – Une revue du projet de rapport de performance effectuée par l'IDI afin de
s'assurer que le rapport respecte la méthodologie du CMP ISC.
Page 4 de 53
Document autonome – Fait référence à l'exigence selon laquelle le rapport du CMP ISC doit être
autonome, ce qui signifie que les constatations, les conclusions et l'analyse du rapport doivent être
entièrement étayées par des preuves suffisantes et appropriées dans la mesure où l'utilisateur du
rapport n'a pas besoin de se référer à d'autres documents ou sources d'information pour avoir une
compréhension complète du contenu du rapport.
Page 5 de 53
Sujets généraux
Objectif de l'évaluation
1. Question : Si nous disposons déjà d'un plan stratégique, est-il nécessaire de réaliser le CMP ISC?
Réponse : Oui, il peut être nécessaire d'effectuer une évaluation du CMP ISC même si l'ISC a déjà un plan
stratégique en place. Les résultats de l'évaluation peuvent être utilisés en vue de réviser certaines
sections du plan stratégique en cours, si cela est jugé nécessaire. En outre, les résultats de l'évaluation
peuvent être utilisés à d'autres fins, notamment:
Il est toutefois important de noter qu'il est fortement recommandé de mener un CMP ISC à la fin de
chaque cycle stratégique (principalement après 3 à 5 ans) afin d'identifier les forces et les faiblesses de
l'ISC. Les résultats de l'évaluation peuvent être utilisés pour éclairer l'élaboration d'un nouveau plan
stratégique.
Portée de l'évaluation
2. Question : Une ISC peut-elle limiter la portée de l'évaluation à effectuer à l'aide de l'outil CMP ISC
en n'évaluant, par exemple, qu'un ou deux domaines?
Réponse : Bien que les différents domaines du CMP ISC fournissent des informations utiles en soi, la
contribution de tous les domaines ainsi que les informations générales sont nécessaires pour effectuer
une analyse complète de la performance de l'ISC. Il n'est donc généralement pas recommandé de limiter
la portée afin de n'examiner que certains éléments. Le principal atout du CMP ISC est qu'il permet une
évaluation holistique de l'ensemble de l'organisation. Il est particulièrement important de noter que les
raisons de la faiblesse de la performance se trouvent souvent dans d'autres domaines que celui que vous
évaluez - par exemple, les ressources humaines et la gouvernance interne (mesurées dans les domaines B
et E) affectent la qualité du travail d'audit (mesurée dans le domaine C). S'il existe des domaines du CMP
ISC que l'ISC n'a pas le mandat de couvrir (comme les audits externalisés (ISC-5), le contrôle juridictionnel
(ISC 18-20), etc.), alors ces indicateurs doivent être notés « Non applicable », c'est-à-dire non évalués. Les
indicateurs/dimensions éventuels qui seront exclus de l'évaluation doivent être décrits dans les TdR, avec
une explication des raisons de leur exclusion. Si la portée de l'évaluation a été considérablement réduite
sans explication appropriée, une déclaration de Revue indépendante ne peut être émise, ou peut être
émise avec des limites ou des réserves importantes.
Page 6 de 53
Mais étant donné que le CMP ISC est un bien public mondial, les ISC peuvent utiliser le cadre de diverses
manières pour leurs besoins internes. Il a été observé que les ISC utilisent de plus en plus certaines parties
du cadre du CMP ISC à des fins telles que le suivi annuel de la performance ou une évaluation autonome
de la performance dans un domaine spécifique. Des orientations spécifiques, une sensibilisation et une
formation ciblée visant à garantir que de telles applications de la méthodologie sont effectuées de
manière cohérente et ne compromettent pas l'intégrité de l'outil seront fournies en temps utile.
Il est toutefois important de noter que si la portée est considérablement réduite, une telle évaluation ne
peut pas être considérée comme une évaluation complète du CMP ISC.
3. Question : Le principal produit de notre ISC est l'examen du rapport sur l'exécution du budget de
l'État. Nous n'examinons pas en détail les états financiers des organismes publics, ni l’état consolidé
du gouvernement, mais nous donnons une conclusion sur le rapport que nous ne considérons pas
vraiment comme une opinion d'audit. L'audit du rapport sur l'exécution du budget de l'État
comprend deux tâches principales : 1) l'évaluation de l'exactitude des chiffres et 2) l'évaluation du
respect du cadre juridique. Dans la pratique, nous nous concentrons davantage sur l'évaluation du
respect du cadre juridique que sur l'exactitude des chiffres. Cela est conforme à notre mandat, car la
Constitution et la loi en vigueur nous imposent de procéder à un contrôle du rapport d'exécution du
budget. Sur la base des détails fournis, pouvons-nous appliquer des indicateurs de contrôle financier
dans notre évaluation?
Réponse: L'objectif général d'un audit d'états financiers est d'obtenir une assurance raisonnable que les
états financiers dans leur ensemble ne comportent pas d'anomalies significatives, qu'elles résultent de
fraudes ou d'erreurs, et de permettre ainsi au vérificateur d'exprimer une opinion sur le fait que les états
financiers sont établis, dans tous leurs aspects significatifs, conformément à un référentiel comptable
applicable.
Dans ce cas, étant donné que les états financiers des organismes publics ne sont pas examinés en détail
et que l'audit consiste en un examen du rapport sur l'exécution du budget de l'État qui n'aboutit pas à
l'émission d'une opinion d'audit comme l'exige la norme ISSAI 200, les indicateurs d'audit financier ne
peuvent pas être appliqués. Par conséquent, il serait plus approprié de considérer l'audit du rapport sur
l'exécution du budget de l'État comme un audit de conformité plutôt que comme un audit financier.
4. Question: En ce qui concerne la portée l'évaluation, quelle période doit-on prendre en compte pour
évaluer les critères et les indicateurs qui ne sont pas notés sur la base des dossiers d'audit ? Devons-
nous toujours attribuer une note sur la base de la même période que pour les dossiers d'audit et
décrire en outre la situation actuelle?
Réponse: La règle est que vous devez toujours prendre en compte la situation actuelle et les normes,
procédures, etc. approuvées qui existent. Cela s'applique également aux critères qui contiennent des
spécifications telles que « les trois dernières années », pour lesquelles la période sera les trois dernières
Page 7 de 53
années à compter de la période de rédaction du rapport (dans certains cas, il peut s'agir d'années
complètes, par exemple en ce qui concerne l'exécution du budget). Voir aussi la question suivante.
5. Question: En ce qui concerne la Portée et la période de l'échantillon des dossiers d’audit– Que doit
faire une équipe d'évaluation dans une situation où une ISC adopte de nouvelles normes,
méthodologies ou orientations d’audit et où les contrôles faisant partie de l'échantillon ont pourtant
été réalisés en utilisant les anciennes normes, méthodologies ou orientations?
6. Question: Que faisons-nous si un audit classé comme, disons, un audit financier ne répond pas aux
critères permettant de le classer dans cette catégorie?
Réponse:
(a) Si, au cours de l'évaluation d'un dossier d'audit échantillonné, vous découvrez par exemple qu'il
ne répond pas aux critères minimaux pour être classé, par exemple, comme un audit financier
(car il s'agit plutôt d'un audit de conformité de l'exécution budgétaire), il est possible de
réaffecter l'audit à un autre type, et/ou de sélectionner un nouvel audit concernant l'échantillon.
(b) Chaque fois qu'un changement dans l'échantillon de dossiers d'audit est nécessaire, il est
essentiel d'en expliquer et d'en justifier clairement la raison dans le chapitre du rapport consacré
à la méthodologie. Il n'est pas nécessaire de modifier les Termes de référence, mais tout écart
entre les Termes de référence et le Rapport doit être expliqué dans ce dernier.
L'équipe d'évaluation
7. Question: Aux fins d'une auto-évaluation, quel est le service approprié de l'ISC devant réaliser
l'évaluation à l'aide de l'outil CMP ISC? S'agit-il du service d'assurance qualité ou d'une équipe mixte
à créer chaque fois qu'une évaluation est effectuée?
Réponse: Une équipe de CMP ISC doit être composée de personnel provenant de différents services de
l'organisation et ayant des antécédents différents. Cela permet de s'assurer que l'équipe possède les
Page 8 de 53
différentes compétences et connaissances nécessaires permettant de mener l'évaluation de manière
efficace et efficiente. En outre, cette approche contribue à garantir l'appropriation et l'acceptation des
résultats de l'évaluation dans toute l'organisation.
Il est fortement recommandé que tous les membres de l'équipe soient formés en CMP ISC ou, au
minimum, que le chef d'équipe soit formé à l'application de la méthodologie.
8. Question: Étant donné que le CMP ISC peut être réalisé en tant qu'évaluation externe par des
consultants, des donateurs, des auditeurs externes ou d'autres experts, quelles sont les entités
externes qui sont qualifiées pour le faire, ou quel est le mécanisme pour obtenir une telle
qualification?
Réponse: Le CMP ISC est un bien public mondial, il est donc possible à quiconque d'en faire usage.
Toutefois, nous recommandons vivement aux personnes qui participent aux évaluations de suivre les
cours de formation en CMP ISC que l'IDI propose. L'IDI maintient une base de données avec des
informations sur toutes les personnes qui ont été formées au CMP ISC. Il ne s’agit pas d’organisations,
mais d’individus, qui seraient qualifiés pour effectuer des évaluations.
9. Question: Combien de membres doivent faire partie d'une équipe d'évaluation ? Existe-t-il une
norme minimale en matière de participation ? J'ai participé à des évaluations externes avec des
équipes de 3 à 4 personnes.
Réponse : Il n'y a pas de norme concernant le nombre de personnes à inclure dans l'équipe d'évaluation
en tant que telle. Toutefois, le nombre idéal pour une équipe d'évaluation est de 3 à 4 membres. La taille
de l'ISC évaluée et la portée de l'évaluation sont des questions qui doivent être prises en compte pour
déterminer la taille de l'équipe d'évaluation. Il est encore plus important de tenir compte des
compétences requises au sein de l'équipe afin de mener l'évaluation de manière efficace. La plupart des
évaluations qui ont été menées jusqu'à présent, l'ont été par des équipes d'évaluation composées de 3 ou
4 membres. En fin de compte, le nombre approprié de membres de l'équipe dépend entièrement des
circonstances spécifiques de chaque évaluation.
10. Question: Pouvez-vous nous donner des indications sur la manière dont nous devrions stratifier les
audits par échantillonnage?
Réponse: Conformément à la décision relative aux types d'audits à examiner, un échantillon doit être
prélevé pour chaque type d'audit. Les échantillons doivent être sélectionnés de manière à couvrir les
principales activités d'audit que l'ISC a menées dans le cadre de l'évaluation. Les dossiers d'audit
échantillonnés doivent être sélectionnés de manière aléatoire et indépendante par l'équipe d'évaluation.
L'échantillon doit être stratifié de manière à couvrir différents facteurs susceptibles d'affecter la qualité
des audits, par exemple, les différentes pratiques des différents services de l'ISC, les types d'entités
Page 9 de 53
auditées et les lieux tels que le siège ou les bureaux régionaux. La taille de l'échantillon peut varier selon
les types d'audit. Il n'est normalement pas nécessaire de sélectionner un échantillon statistiquement
représentatif, car l'évaluation du CMP ISC n'est pas conçue pour fournir une assurance raisonnable. Étant
donné que la réalisation d'un audit de performance prend normalement plus de temps que celle des
audits financiers et des audits de conformité, la population sur laquelle il est possible de se baser pour la
période considérée sera probablement plus restreinte. Ainsi, l'échantillon d'audits de performance sera
souvent plus petit que l'échantillon d'audits financiers et de conformité. De même, les bureaux ou services
régionaux ou locaux ayant des responsabilités spécifiques peuvent également avoir des activités limitées,
ce qui peut avoir une incidence sur la taille de la population, et donc sur la taille de l'échantillon. En
général, un échantillon raisonnable d'audits sera de 5 à 6 audits pour les audits financiers et de
conformité et de 2 à 3 pour les audits de performance.
11. Question: Tous les audits de l'échantillon doivent-ils répondre à un critère pour qu'il soit considéré
comme rempli ? Cela semble strict. Par exemple, nous avons maintenant un échantillon de 5 audits
financiers. Si 4 sur 5 audits remplissent le critère, ce dernier doit-il être considéré comme rempli?
Réponse: « Sauf indication contraire, un critère doit être rempli dans tous les audits de l'échantillon pour
qu'il soit considéré comme rempli dans l’ensemble, bien que l'évaluateur puisse ignorer le cas où un
critère n'a pas été rempli dans un seul audit de l'échantillon si l'on considère qu'il s'agit d'un cas
exceptionnel et qu'il existe des preuves convaincantes que le critère a été généralement rempli dans la
majeure partie de la population ». (CMP ISC de 2016, introduction au Domaine C).
12. Question: En plus de vérifier les états financiers d'entités gouvernementales individuelles, notre ISC
vérifie les états financiers de l'ensemble du gouvernement. Le critère (e) de l'ISC 10 (ii) est alors
pertinent dans notre cas. Devrions-nous inclure ce dossier d'audit dans l'échantillon?
Réponse: Oui, si l'ISC effectue l’audit de l'ensemble des états financiers des administrations
publiques, le dossier d’audit de cette vérification devrait être inclus dans l'échantillon et ce dossier
d’audit échantillonné servirait de base pour l'évaluation du critère (e). Etant donné que le processus
complet d'évaluation des indicateurs d'audit financier dans tous les dossiers d'audit échantillonnés
est effectué, l'audit des états financiers des administrations publiques est inclus dans ce processus.
13. Question: Est-il approprié d'évaluer les audits pilotes, qui ne sont pas officiels et ne sont pas publiés
? Les équipes d'audit pilote représentent environ 50 % du personnel de notre ISC. Les thèmes des
audits pilotes ne sont pas inclus dans le plan de mise en œuvre de l'ISC.
Réponse: Pour commencer, l'équipe d'évaluation doit sélectionner l'échantillon d'audits à examiner à
partir de la liste des audits figurant dans le plan d'audit annuel global de l'ISC pour la période considérée.
Toutefois, il serait toujours acceptable d'inclure dans l'échantillon des audits pilotes en fonction des
circonstances du moment - que les équipes d'audit pilotes représentent environ 50 % du personnel de
l'ISC. Bien que cela ne soit pas explicitement indiqué, cela peut signifier que le volume de travail d'audit
réalisé dans le cadre des audits pilotes est très important. La justification de l'inclusion des audits pilotes
Page 10 de 53
dans l'échantillon doit être soulignée dans les Termes de référence. La justification de l'évaluation des
audits pilotes sera normalement plus prospective, afin de déterminer ce qui est encore nécessaire pour
que les fonctions d'audit soient conformes aux normes ISSAI. Même lorsque ces audits sont réalisés sous
forme de projets pilotes et ne sont pas encore publiés, il peut être très utile d'évaluer ce qui se fait déjà et
de voir ce qui est encore nécessaire.
Toutefois, l'échantillon doit être tiré au hasard parmi tous les audits que l'ISC a réalisés au cours de la
période considérée. Les audits pilotes peuvent être inclus s'ils ont été sélectionnés au hasard dans le
cadre de ce processus. Si l'on souhaite attirer une attention particulière sur les évolutions positives des
disciplines d'audit des audits pilotes, on peut procéder à une notation supplémentaire des indicateurs
pertinents uniquement sur la base des audits pilotes et en présenter les résultats dans la description
narrative des indicateurs. Cela permet aux évaluateurs de démontrer les perspectives d'amélioration de la
performance. La notation « officielle » de l'évaluation doit toutefois être effectuée sur la base de
l'échantillon sélectionné de manière aléatoire parmi tous les audits réalisés par l'ISC. Comme nous l'avons
déjà indiqué, les audits pilotes qui sont sélectionnés par le processus de sélection aléatoire sont ensuite
inclus dans l'évaluation.
Il est donc extrêmement important de noter que, dans le cas où l'ISC effectue à la fois des audits réguliers
et des audits pilotes, il n'est pas conseillé de prélever l'échantillon sur les seuls audits pilotes, sauf pour
l'objectif spécifique mis en évidence dans le paragraphe ci-dessus (les résultats ne font pas partie de la
note officielle mais sont inclus dans le texte narratif pour montrer les perspectives d'amélioration future).
Les audits pilotes ont normalement une note plus élevée, qui peut ne pas être représentative de la
performance au niveau de l'organisation.
Puisque le CMP ISC évalue la performance actuelle, les pratiques en vigueur dans l'ensemble de l'ISC
doivent servir de base à l'évaluation. L'objectif est de fournir une image objective de la performance de
l'ISC dans son ensemble. Comme les audits pilotes n'ont pas encore été introduits dans l'ensemble de
l'ISC, ils ne doivent pas être sélectionnés spécifiquement pour l'échantillon. L'échantillon doit être tiré au
hasard parmi tous les audits que l'ISC a réalisés au cours de la période considérée. Les audits pilotes
peuvent être inclus s'ils ont été sélectionnés de manière aléatoire dans le cadre de ce processus. Si l'on
souhaite attirer une attention particulière sur les évolutions positives de la méthodologie d'audit
financier, on peut procéder à une notation supplémentaire des indicateurs d'audit financier pertinents
uniquement sur la base des audits pilotes et en présenter les résultats dans la description narrative des
indicateurs. Cela permet aux évaluateurs de démontrer les perspectives d'amélioration des performances.
La notation « officielle » de l'évaluation doit toutefois être effectuée sur la base de l'échantillon
sélectionné de manière aléatoire parmi tous les audits réalisés par l'ISC.
14. Question: Mon ISC a un univers de contrôle total de 2 542 clients répartis dans l'ensemble des
administrations centrales et locales ainsi que dans d'autres entreprises/agences publiques. Nous
avons l'intention de sélectionner un échantillon de 50 dossiers d’audit pour l'évaluation. Cet
échantillon de 50 dossiers d’audit suffira-t-il pour l'évaluation du CMP ISC?
Page 11 de 53
Réponse: Un échantillon de 50 dossiers est certainement suffisant et très probablement très ambitieux. Il
est très important de noter que lors du choix d'un échantillon, l'objectif principal est d'avoir un échantillon
représentatif et pas nécessairement un échantillon statistiquement significatif. Il est également
important de tenir compte du fait que l'ISC dispose ou non des ressources nécessaires, par exemple un
nombre suffisant d'évaluateurs, pour pouvoir bien faire la revue du nombre d'audits sélectionnés et
établir le rapport d'évaluation dans un délai raisonnable.
Par exemple, en utilisant l'approche de stratification, vous pouvez envisager d'inclure dans l'échantillon
certains audits d'entités du gouvernement central, des collectivités locales (c'est-à-dire en considérant les
différents niveaux tels que les régions, les municipalités et les villes) et des institutions quasi
gouvernementales. L'échantillon d’audits sélectionné doit également couvrir tous les types d’audits que
l'ISC a mandat d’effectuer.
La sélection d'un échantillon de taille appropriée variera évidemment d'une ISC à l'autre, car les ISC
diffèrent en taille et en complexité. Par conséquent, la détermination d'une taille d'échantillon appropriée
dépendra souvent de la situation de chaque ISC. Nous soulignons à nouveau que le principal objectif de la
sélection d'un échantillon d'audits est de vérifier de façon ponctuelle la manière dont les procédures et les
processus d'audit sont appliqués dans la pratique et si cette application est cohérente dans l'ensemble de
l'organisation. Il est toujours conseillé à l'équipe d'évaluation de sélectionner un échantillon plus petit et
de se donner suffisamment de temps pour étudier l'échantillon en détail. Nous nous attendons toutefois,
même pour une petite ISC, à ce qu'un minimum de trois dossiers d'audit pour chacun des types d'audit
soient sélectionnés dans l'échantillon, car cela permet de mieux tester la cohérence de l'application de la
méthodologie d'audit. Les audits de performance constituent normalement une exception, car il faut
beaucoup de temps pour réaliser un audit de performance et il se peut donc qu'il n'y ait pas beaucoup
d'audits parmi lesquels choisir l'échantillon.
Veuillez également vous reporter à la question 10 pour une explication sur l'utilisation de la stratification
afin de sélectionner un échantillon de dossiers d'audit.
15. Question: Dans notre ISC, nous sommes en train d'introduire une nouvelle méthodologie
concernant l'audit financier. Cette nouvelle méthodologie est beaucoup plus conforme aux
exigences des ISSAI en matière d'audit financier que la méthodologie que nous avons utilisée jusqu'à
présent. Jusqu'à présent, un petit nombre d'équipes d'audit ont piloté la nouvelle méthodologie en
réalisant des audits à l'aide des nouveaux manuels d'audit. Pouvons-nous inclure ces audits pilotes
dans l'échantillon d'audits dont il faut faire la revue dans le cadre de l'évaluation des indicateurs
d'audit financier?
Réponse: Puisque le CMP ISC évalue les performances actuelles, les pratiques en vigueur dans l'ensemble
de l'ISC doivent servir de base à l'évaluation. L'objectif est de fournir une image objective des
performances de l'ISC dans son ensemble. Comme les audits pilotes n'ont pas encore été introduits dans
l'ensemble de l'ISC, ils ne doivent pas être sélectionnés spécifiquement pour l'échantillon. L'échantillon
doit être tiré au hasard parmi tous les audits que l'ISC a réalisés au cours de la période considérée. Les
audits pilotes peuvent être inclus s'ils ont été sélectionnés au hasard dans le cadre de ce processus. Si l'on
Page 12 de 53
souhaite attirer une attention particulière sur les évolutions positives de la méthodologie d'audit
financier, on peut procéder à une notation supplémentaire des indicateurs d'audit financier pertinents
uniquement sur la base des audits pilotes et en présenter les résultats dans la description narrative des
indicateurs. Cela permet aux évaluateurs de démontrer les perspectives d'amélioration des performances.
La notation « officielle » de l'évaluation doit toutefois être effectuée sur la base de l'échantillon
sélectionné de manière aléatoire parmi tous les audits réalisés par l'ISC. Voir également la question 13
pour des orientations similaires.
16. Question : En sélectionnant l'échantillon d'audits financiers, nous avons constaté que presque tous
les audits financiers sont externalisés et réalisés par des cabinets privés externes. Seuls trois
rapports d'audit financier ont été réalisés et approuvés par l'ISC en question en 2013 et 2014. Un
quatrième audit financier est celui effectué sur les Etats financiers consolidés du gouvernement. Je
crains que nous n'ayons pas suffisamment de rapports d'audit à échantillonner puisque la population
totale n'est que de 4 rapports d’audits. Devons-nous sélectionner des rapports d'audit financier qui
sont audités par des cabinets privés externes ? En outre, pouvons-nous, en tant qu'évaluateurs
externes, demander leurs documents de travail respectifs ? Y a-t-il un précédent à cet égard?
Réponse: Le cadre juridique indique généralement (ou doit indiquer) clairement si l'ISC conserve la
responsabilité des audits qui sont externalisés. Normalement, l'ISC conserve la responsabilité, par
exemple, de la qualité et de la présentation en temps utile des rapports d'audit. Mais il est possible que la
législation soit ambiguë dans ce domaine, ou qu'un autre organisme soit responsable dans ce domaine
(par exemple si les audits du secteur privé sont réglementés par une autre commission).
• Si l'ISC n'est pas responsable des audits externalisés (peu probable), ils peuvent alors être définis
comme n'entrant pas dans le champ d'application du CMP ISC (en fonction de l'objectif du CMP ISC).
• Si la législation n'est pas claire, cela doit alors être signalé comme une constatation. Il serait alors
logique, sur la base des bonnes pratiques, de considérer l'ISC comme responsable de la qualité et de
la présentation en temps utile des audits externalisés.
En supposant que l'ISC conserve la responsabilité des résultats des audits, la question suivante est de
savoir si l'ISC a mis en place l'externalisation de manière à s'acquitter de ces responsabilités. Cette
question est mesurée par l'indicateur ISC-5 Audits externalisés, qui a été introduit avec le CMP ISC de
2016. Un système approprié d'externalisation exige que l'ISC ait accès aux documents de travail relatifs
aux audits et qu'elle dispose d'un système lui permettant d'examiner périodiquement la qualité du travail
des personnes chargées de réaliser les audits. Cela implique une revue des organisations qui réalisent les
audits, y compris une revue de l'assurance qualité par échantillonnage des audits réalisés pour le compte
de l'ISC. Normalement, une certaine revue est effectuée chaque année au cours du processus
d'externalisation, complétée par une revue complémentaire, en fonction des risques.
Si l'ISC n'a pas accès aux documents de travail relatifs aux audits externalisés, il s'agit là d'une
constatation majeure qui risque d'entraîner des notes faibles pour l'ISC-5 (ii) et (iii). Cette constatation
aura également une incidence sur la notation des indicateurs d'audit dans le domaine C, que le type
d'audit soit totalement ou partiellement externalisé. La notation des processus d'audit dans les
Page 13 de 53
indicateurs ISC 10, 13 et 16 est généralement basée sur des échantillons. Une bonne approche
d'échantillonnage exige que l'évaluateur examine certains des audits externalisés si ceux-ci sont
significatifs. Si le pourcentage d'audits externalisés est élevé et que l'ISC n'a pas accès aux documents de
travail, cela doit être expliqué dans le texte narratif. En outre, l'ISC obtiendra également la note 0 pour les
indicateurs d'audit pertinents dans le domaine C, car l'absence de documents de travail signifie que les
critères ne sont pas remplis. Cela doit être indiqué dans le texte narratif qui accompagne ces indicateurs.
Si l'ISC a accès à des documents de travail concernant les audits externalisés, il est souhaitable de les
inclure dans la population à partir de laquelle l'échantillon d'audits est tiré et de stratifier la population
sur cette base, c'est-à-dire que si la moitié des audits sont externalisés, la moitié de l'échantillon doit être
constituée d'audits externalisés. L'échantillon d'audits externalisés peut en outre être utilisé pour évaluer
le contrôle de la qualité des audits externalisés dans ISC-5 (ii). Si l'ISC a accès à ces documents de travail
mais ne peut pas ou n’a pas l’intention de les produire, les critères seront considérés comme non remplis.
17. Question: Si une ISC n'effectue pas d'audits financiers parce qu'ils sont externalisés, à quel niveau
évaluons-nous les efforts de l'ISC pour suivre les recommandations émises dans le rapport d'audit
préparé par les auditeurs externes ? (par exemple, notre ISC a externalisé l'audit financier ; le
Domaine 5 n'évalue pas le « suivi » des recommandations d'audit émises par les auditeurs externes
(externalisés).
Réponse: Dans les situations où le cadre juridique donne mandat à une ISC d'externaliser les audits
financiers, l'ISC restera normalement responsable des résultats des audits, y compris du suivi des
recommandations d'audit présentées dans les rapports. Les efforts déployés par l'ISC pour assurer le suivi
des recommandations d'audit formulées dans les rapports d'audit établis par des auditeurs (externes)
sous contrat peuvent être évalués et faire l'objet d'un rapport au titre d’ISC 11 (iii), 14 (iii) et 17 (iii).
18. Question: Notre ISC souhaite évaluer l'audit informatique et l'audit environnemental dans le cadre
du processus d'évaluation du CMP ISC, mais il n'y a pas d'indicateurs distincts spécifiquement prévus
à cet effet dans le cadre. Existe-t-il encore des moyens d'y parvenir?
Réponse: L'audit informatique et l'audit environnemental ne sont pas reconnus comme des types d'audit
distincts dans les ISSAI, et il n'existe donc pas d'indicateurs spécifiques pour ces types d'audit dans le CMP
ISC. Les audits informatiques et environnementaux sont plutôt considérés comme des sujets d'audit
pouvant être couverts par les audits de conformité et/ou les audits de performance. Dans un cas comme
celui-ci, il est recommandé de noter les indicateurs sur l'AF, l'AC et l'AP comme d'habitude sur la base
d'échantillons aléatoires de dossiers d'audit (ceux-ci peuvent ou non inclure des audits informatiques et
des audits environnementaux, bien que l'inclusion de ces audits puisse également être réalisée par une
stratification au cours de l'échantillonnage).
Page 14 de 53
Si l'ISC est très intéressée à connaître spécifiquement sa performance dans ces domaines (par exemple si
elle a des projets de développement de capacités dans ces domaines), et si l'équipe d'évaluation dispose
du temps et des ressources nécessaires, il peut être recommandé de procéder à une petite évaluation
séparée d'un échantillon d'audits informatiques et d'un échantillon d'audits environnementaux - par
rapport aux indicateurs de la discipline d'audit dont ils sont les plus proches. Il faut pour cela déterminer
si les audits peuvent être considérés comme des audits de conformité ou de performance. Si les audits
sont, par exemple, proches de l'AC, on peut appliquer les indicateurs de l'AC et présenter les résultats
séparément dans un encadré du rapport, mais sans les intégrer dans la note globale de l'audit de
conformité. Cela peut aider à mettre en évidence et à démontrer la performance concernant ce type
d'audit spécifique.
On peut également envisager de créer des critères supplémentaires/localisés fondés sur les orientations
spécifiques de l'INTOSAI (GUID) sur l'audit informatique et l'audit environnemental.
19. Question: Dans notre ISC, l'audit préalable(ou contrôle ex-ante) des opérations gouvernementales
est une activité importante à laquelle nous consacrons des ressources considérables (la tâche est
prescrite par notre mandat légal). Il n'existe pas d'indicateurs distincts spécifiques à cette activité
dans le cadre de notre mandat. Que nous conseillez-vous de faire?
Réponse: L'audit préalable n'est pas reconnu comme un type d'audit distinct dans les ISSAI, c'est pourquoi
il n'y a pas d'indicateurs spécifiques pour ce type d'audit dans le CMP ISC. Dans votre cas, lorsque cette
activité fait partie de votre mandat et que vous y consacrez des ressources considérables, il peut sembler
pertinent de l'inclure dans l'évaluation. Dans ce cas, il peut être conseillé d'élaborer un petit nombre
d'indicateurs localisés afin d’effectuer une telle évaluation. Pour obtenir des orientations à ce sujet,
veuillez consulter la section 2.2 du CMP ISC 2016, dans la sous-section « Chapitre 4 ». L’élaboration
d'indicateurs localisés n'a pas été une caractéristique commune des évaluations réalisées jusqu'à présent.
Lorsque l'élaboration de nouveaux indicateurs localisés est inévitable, il est important de s'assurer que le
nouvel indicateur suit la même structure que ceux du document d’orientation du CMP ISC de 2016. Si une
ISC a décidé d’élaborer un nouvel indicateur localisé, Il est conseillé de consulter l'équipe CMP ISC de l'IDI
afin d’obtenir des orientations.
Je vous conseille d'examiner si les indicateurs sur le contrôle juridictionnel peuvent être appliqués ou
modifiés. En outre, l’audit préalable effectué par les ISC soulève des questions sur l'indépendance de l'ISC,
qui seront mesurées dans ISC-1 et doivent également être traitées dans le rapport narratif.
Notation
20. Question: Certains critères comprennent l'expression « le cas échéant » ou « si nécessaire » (par
exemple dans ISC-24 (ii) f) et g)). Comment la méthodologie « Pas de note » s'applique-t-elle à de tels
critères? Comme il est sous-entendu que ceux-ci peuvent souvent être notés Non applicables,
devrions-nous également dans ces cas considérer l'ensemble de la dimension notée Non applicable
si plus de deux critères sont notés Non applicable? Par exemple, dans ISC-10 (ii), il y a une longue
liste de critères, dont deux contiennent l'expression « le cas échéant ». Sera-t-il juste de noter
Page 15 de 53
l'ensemble de la dimension Non applicable si ces deux critères et un autre sont notés Non
applicable?
Réponse: Oui, en règle générale, ces critères doivent être notés Non applicable à l’instar d'autres critères
s'ils sont considérés comme non pertinents ou non appropriés dans le contexte de l'ISC en question. Mais
comme le CMP ISC est une évaluation fondée sur des preuves, il incombe aux évaluateurs de justifier
pourquoi un élément est noté Non applicable. Si la conclusion est qu'ils sont notés Non applicable, ils
doivent être pris en compte lors de l'application de la règle de base selon laquelle plus de 2 cas de Non
applicable doivent conduire à la notation de l'ensemble de la dimension comme Non applicable.
Cependant, nous sommes conscients qu’un tel comptage peut parfois avoir des effets inappropriés sur la
notation, c'est pourquoi le CMP ISC de 2016 a introduit une ouverture permettant à l'évaluateur
d'appliquer son jugement professionnel. Si la liste des critères est longue, comme dans ISC-10 (ii), et que
vous avez trois critères N/A, y compris des critères tels que « le cas échéant », il est de toute façon
conseillé de noter la dimension normalement parce que vous considérez que vous avez suffisamment
d'informations pour donner une note significative (c'est-à-dire compter simplement les critères comme
étant remplis). Dans ce cas, vous devez expliquer dans le rapport que vous vous êtes écarté de la règle de
base de la « méthodologie Sans note » et la raison de cet écart.
21. Question: Si une dimension ne comporte que 4 critères, telles que les dimensions ISC 5 (ii) et ISC 21
(iii), en évaluant la dimension, 2 des 4 critères sont notés comme Non applicables. L'utilisation de la
« méthodologie Pas de note » signifie que les deux critères notés Non applicable doivent être
considérés comme remplis lors de la détermination de la note pour l'ensemble de la dimension. Dans
ce cas, une note de 4 sera attribuée à la dimension (étant donné que les deux autres critères restants
sont considérés comme remplis). La note de 4 est-elle correcte compte tenu du fait que la moitié des
critères de la dimension sont notés Non applicable?
Réponse: Dans les cas où l'impact des notes NA semble augmenter de manière significative la note de la
dimension à un niveau qui semble inapproprié, les évaluateurs peuvent appliquer leur jugement
professionnel et noter la dimension NA au lieu de lui donner une note trompeuse. En outre, dans les cas
où les dimensions comportent de nombreux critères (par exemple, les dimensions d'audit dans lesquelles
il peut y avoir au moins huit et jusqu'à 19 critères), les évaluateurs doivent envisager d'attribuer une note
de dimension, même si le nombre de critères notés NA est supérieur à deux. Dans de tels cas, les
évaluateurs doivent faire appel à leur jugement professionnel.
En ce qui concerne votre question en particulier, il peut être raisonnable d'attribuer une note NA à
l'ensemble de la dimension, car le fait de noter la moitié des critères Non applicables tend à augmenter
de manière significative la note de la dimension à un niveau qui semble inapproprié.
22. Question: Dans certains indicateurs (ISC-10, ISC-13, ISC-16), il est exigé pour la note de 4
qu'une« évaluation indépendante ait confirmé que les Normes et orientations comptables de
l'INTOSAI (ISSAI de niveau 4 dans l'ancien cadre) sont pertinentes pour cette dimension ». Comment
puis-je déterminer les exigences des ISSAI qui sont pertinentes pour la dimension que j'évalue?
Page 16 de 53
Réponse A: Les indicateurs ISC-10, ISC-13 et ISC-16 sont chacun divisés en trois dimensions : (i)
planification, (ii) mise en œuvre et (iii) Evaluation des éléments probants, conclusion et rapports. Il est
suggéré que, lorsqu'une ISC fait l'objet d'une évaluation indépendante récente, fondée sur des preuves,
de sa conformité aux normes et orientations comptables pertinentes de l'INTOSAI (anciennement ISSAI de
niveau 4), l'évaluateur doit examiner cette évaluation indépendante, et notamment la conclusion
générale de l'évaluateur. Si l'évaluation conclut que l'ISC est conforme aux normes ISSAI à tous égards
importants, une note de 4 peut être attribuée à chacune des trois dimensions. Lorsque la revue fait
apparaître des domaines spécifiques dans lesquels l'ISC est à tous égards importants non conforme aux
ISSAI, les évaluateurs doivent appliquer leur jugement afin de décider si les questions non conformes ont
une incidence sur (i) la planification, (ii) la mise en œuvre ou (iii) l'évaluation des preuves, la conclusion et
les rapports, et donc attribuer une note aux dimensions en conséquence. Les questions non conformes
peuvent être comparées aux critères pertinents du CMP ISC et ces critères sont considérés comme non
remplis. Sur cette base, une note de dimension de CMP ISC peut être calculée.
23. Question: Pourquoi le système de notation n'est-il pas agrégé au niveau du Domaine et de l'ISC?
Réponse: Il est très difficile d'agréger les notes au niveau du Domaine et de l'ISC, par exemple, il faudrait
déterminer la pondération des domaines et des indicateurs, ce qui ne serait pratiquement pas facile à
faire. En outre, une note agrégée à ces niveaux ne fournirait pas vraiment des informations utiles. Par
exemple, si une ISC reçoit une note de 3 au niveau de l'ISC, qu'est-ce que cela signifierait en fait?
Il convient de noter que la notation aux niveaux des indicateurs, des dimensions et des critères n'est
qu'une partie de l'évaluation du CMP ISC. Plus importantes encore sont l'analyse intégrée et l'analyse des
causes profondes qui se fondent sur les notes obtenues aux niveaux des indicateurs, des dimensions et
des critères. Ces notes aident l'ISC à examiner la manière dont la performance dans un domaine affecte la
performance dans d'autres domaines et l'impact global au niveau de l'organisation.
L'objectif principal de l'évaluation est d'établir les écarts entre les meilleures pratiques et les pratiques
actuelles d'une ISC. Grâce à ce processus, l'ISC est en mesure d'identifier les questions stratégiques qui
doivent être abordées afin d'améliorer sa performance. Le CMP ISC ne met donc pas l'accent sur la
notation mais plutôt sur les facteurs qui expliquent les notes, et c'est ce que l'équipe d'évaluation
s'efforce de faire dans la section d'évaluation intégrée du rapport de performance.
24. Question: Dans une situation où il n'y a pas suffisamment d’éléments probants, comment peut-on
décider d’attribuer une note entre Non rempli et Non applicable?
Réponse: La note « Non applicable » est utilisée lorsque l'indicateur, la dimension ou les critères évalués
échappent au contrôle de l'ISC. En outre, la note« Non applicable » peut également être utilisée lorsque
les informations sur lesquelles fonder la notation sont insuffisantes et que l'ISC n'est pas censée disposer
des informations requises. Un exemple est l’indicateur ISC 22 sur les ressources humaines concernant
lequel certains des critères ne sont pas dans la sphère d'influence de l'ISC. Un autre exemple est que si
l'ISC n'a pas de fonction juridictionnelle, les indicateurs ISC-18, ISC-19 et ISC-20 ne seront pas applicables.
Page 17 de 53
Il peut également s'agir d'éléments qui ne sont pas pertinents pour l'ISC, par exemple si l'ISC n'externalise
pas les travaux d'audit, l'indicateur ISC-5 qui évalue l'externalisation des audits ne sera pas applicable.
Toutefois, concernant les éléments que l'ISC est censée avoir mis en place, le critère doit être noté comme
« rempli ou non rempli » sur la base des éléments disponibles. Par exemple, si l'ISC ne dispose pas d'un
plan stratégique, d'un budget pour un audit spécifique ou d'un manuel d'audit pertinent que l'on s'attend
généralement à voir mis en place. Voir le document d'orientation sur le CMP ISC de 2016, p. 35, pour plus
d'informations sur la méthodologie « Pas de notation ».
25. Question: Que se passe-t-il si un critère n'est que partiellement rempli? Est-il rempli ou non rempli?
Réponse: En général, il n'est pas rempli. La méthodologie du CMP ISC exige qu'un critère soit
entièrement rempli pour qu'une note « rempli » soit attribuée. La méthode de notation du CMP ISC ne
prévoit pas la possibilité d'attribuer une note « partiellement rempli ». Les améliorations
significatives enregistrées par l'ISC sur un critère qui a été noté « non rempli » peuvent être
pleinement reconnues et incluses dans la section narrative correspondante du rapport de
performance.
Toutefois, il existe deux situations dans lesquelles un critère partiellement rempli peut être considéré
comme rempli lors de l'application du jugement professionnel:
(a) Pour les critères du Domaine C qui sont évalués sur la base de l'échantillon d'audits, la conformité
de chaque critère doit d'abord être évaluée séparément pour chaque dossier d'audit
échantillonné, tandis que la note globale est établie sur la base des critères remplis pour tous les
dossiers d'audit de l'échantillon. Ainsi, si dans un échantillon de trois audits, un critère est rempli
pour deux audits et non rempli pour un autre, il n'est pas rempli. Néanmoins, si l'échantillon
d'audits est plus important (4 audits ou +) et qu'il n'y a qu'un écart mineur observé pour un
critère parmi ceux-ci, vous pouvez appliquer votre jugement professionnel. Prenons l'exemple
suivant : Dans un échantillon de 5 audits de conformité, pour noter ISC-16 (ii) – e (« Toutes les
procédures d'audit prévues ont été exécutées ou, lorsque certaines procédures d'audit prévues
n'ont pas été exécutées, une explication appropriée est conservée dans le dossier d'audit et a été
approuvée par les responsables de l'audit »), dans la cas où, pour un audit de dossier sur un
échantillon de 5 dossiers, une procédure d'audit mineure (du point de vue de l'évaluateur du CMP
ISC) n'a pas été exécutée, alors il est possible d'exercer son jugement professionnel et de
considérer que le critère est rempli à un niveau global si aucun problème n'a été constaté pour ce
critère dans les 4 dossiers d'audit restants. Le texte narratif doit refléter clairement l'écart et le
fait que le jugement professionnel a été exercé. Toutefois, avec des échantillons de taille plus
réduite, par exemple 3 audits, la même approche peut ne pas être acceptable.
(b) Dans le cas de critères mixtes comprenant différents éléments, tels que ISC-4 (i) – h (Avoir une
structure organisationnelle approuvée et appliquée et « assurer que la responsabilité est
clairement attribuée pour tous les travaux effectués par l'ISC »), l'accent doit être mis sur
l'élément qui est souligné, dans ce cas, la structure organisationnelle. Cela ne signifie pas que
l'attribution claire des responsabilités ne doit pas être évaluée, mais si l'évaluateur est satisfait de
Page 18 de 53
la structure organisationnelle, il peut considérer que le critère est rempli même si l'attribution des
responsabilités présente certaines faiblesses.
26. Question: Il y a certains critères qui énumèrent un certain nombre d'exigences, par exemple, le
critère (g) de la dimension (iii) d'ISC 10 énumère un total de 9 sous-critères qui doivent figurer dans
le rapport d'audit. Si seulement un ou deux de ces sous-critères sont manquants, est-il correct de
considérer le critère (g) comme rempli?
Réponse: Non, la méthodologie de notation du CMP ISC exige que l'ensemble des sous-critères soit rempli
pour que le critère soit noté comme rempli. L'équipe d'évaluation peut faire appel à son jugement
professionnel si la situation l'exige.
Eléments Probants
27. Question: Quelle quantité d’éléments probants doit être incluse dans le rapport du CMP ISC (la
méthodologie n'est pas très claire sur ce point)?
Réponse: Des éléments probants suffisants et appropriés sont nécessaires pour la notation des
indicateurs, des dimensions et des critères dans le Chapitre 4 du rapport du CMP ISC - Évaluation de
l'environnement, des capacités et de la performance de l'ISC. Dans le texte narratif de chaque dimension,
il peut être fait référence aux preuves clés qui soutiennent le respect des critères. La méthodologie du
CMP ISC ne prescrit pas de structure en matière de présentation des preuves à l'appui dans le rapport
(l'équipe du CMP ISC a cependant produit un Modèle de Rapport de Performance à titre de guide). Il
incombe à l'équipe d'évaluation de veiller à ce que le texte narratif de chaque dimension soit présenté de
manière à permettre au lecteur du rapport de voir et de se convaincre que les constatations sont étayées
par des preuves suffisantes et appropriées.
Puisqu'il peut y avoir plusieurs critères sous chaque dimension concernant certains indicateurs du
Domaine C, l'utilisation de tableaux indiquant tous les critères sous chaque dimension constitue une
façon de présenter les preuves. Pour chaque critère, l'équipe d'évaluation peut indiquer si le critère est
« rempli » ou « non rempli », avec un bref résumé (par exemple, sous forme de puces) des raisons ou des
preuves pour lesquelles le critère est noté comme tel.
Concernant les indicateurs des autres domaines, il est également recommandé d'utiliser un tableau
récapitulant les critères remplis ou non remplis. Ce tableau peut indiquer les critères remplis, non remplis
(ou notés non applicables) sans indiquer les détails des preuves à l'appui des critères. Une brève
déclaration résumant les constatations sur la dimension dans son ensemble peut également être incluse
dans le tableau. Les détails des éléments de preuve à l'appui de chaque critère doivent être inclus dans le
texte narratif de chaque dimension.
Toutefois, dans les cas où l'équipe d'évaluation a très peu ou pas d'expérience dans la rédaction du
rapport de performance et où l'on s'attend à ce qu'il manque beaucoup de détails en termes de preuves à
l'appui du rapport concernant chaque dimension, il est plus facile et nécessaire que l'équipe inclue les
Page 19 de 53
détails des preuves à l'appui des critères remplis ou non remplis dans les tableaux (par exemple sous
forme de puces). Si l'équipe d'évaluation choisit de procéder de cette manière, les tableaux récapitulatifs
contiendront les détails des critères considérés comme remplis, non remplis (ou notés non applicables)
ainsi que les détails des preuves à l'appui des critères (ou les raisons pour lesquelles les critères sont
considérés comme « non remplis » ou notés « non applicables »). Le texte narratif de la dimension doit
cependant, dans la mesure du possible, inclure les preuves à l'appui des constatations.
Une autre façon pratique de faire référence aux preuves dans le rapport consiste à utiliser des notes de
bas de page. La source des preuves à l'appui des constatations peut être présentée sous forme de notes
de bas de page, par exemple en citant un document ou en faisant référence à un entretien mené avec un
fonctionnaire de l'ISC. Les notes de bas de page sont particulièrement importantes concernant le Chapitre
3 (Informations générales sur le pays et l'ISC) car l'équipe d'évaluation est tenue d'indiquer les documents
sources des informations contenues dans cette section du rapport, par exemple les rapports de la Banque
mondiale, les évaluations du PEFA, les bases de données et publications du FMI et de l'OCDE, les plans
stratégiques nationaux, etc.
Une équipe d'évaluation doit se demander si, sur la base des faits et des preuves cités dans les exposés
des motifs, un examinateur indépendant ou tout autre utilisateur du rapport peuvent s'assurer que les
constatations du rapport sont bien étayées par des preuves suffisantes. Dans une large mesure, ce qui
sera considéré comme une preuve suffisante à inclure dans le rapport de CMP ISC est donc une question
de jugement professionnel de la part de l'équipe d'évaluation.
28. Question: Notre ISC a des politiques et des procédures de contrôle de la qualité, mais elles ne sont
écrites nulle part. Toutefois, notre législation prévoit que les membres du conseil de direction ont
des responsabilités en matière de contrôle de la qualité. Dans la dimension (iii) d'ISC 4, pouvons-
nous indiquer que tous les critères sont remplis, bien que nous ne puissions pas en fournir la preuve?
Réponse: La méthodologie du CMP ISC est basée sur des éléments probants par nature, ce qui implique
que les constatations du rapport d'évaluation doivent être étayées par des éléments probants suffisante
et appropriés. Par conséquent, en règle générale, si l'ISC ne dispose pas de preuves indiquant qu'elle a mis
en place des politiques et des procédures de contrôle de la qualité, le critère correspondant d'ISC 4 (iii)
doit être considéré comme « non rempli ».
Puisque les politiques et procédures ne sont pas écrites, vous ne pouvez pas évaluer les critères
spécifiques a) et d) de la dimension (iii) d'ISC 4 comme étant remplis. Le but de ces critères est que les
politiques et procédures soient claires et connues de tous les membres de l'organisation. Si elles ne sont
écrites nulle part, il est difficile, par exemple, pour un nouvel auditeur de connaître les systèmes et les
règles à appliquer. Notez que si ISC-4 examine le système global de contrôle de la qualité, vous évaluerez
l'application du contrôle de la qualité et de l'assurance de la qualité également dans le Domaine C sur la
base de l'échantillon d'audit. Dans ce domaine, vous avez plus de possibilités d'évaluation sur la base de
la pratique existante (vos dossiers d'audit échantillonnés étant les éléments probants ).
Mais comme la loi fait référence aux responsabilités des membres du conseil de direction en matière de
contrôle de la qualité, vous pouvez considérer que le critère est rempli :
Page 20 de 53
b) les politiques et procédures de contrôle de la qualité sont clairement établies et « (...) le Chef de l’ISC
(...) conserve la responsabilité globale du système de contrôle de la qualité ». Même si ce critère
mentionne également les politiques et procédures, l'accent est mis sur la responsabilité du Chef de l’ISC.
29. Question: ISC 6 dimension (ii). En tant qu'ISC, nous avons une bonne communication entre les
membres du conseil de direction et les équipes d'audit, ainsi qu'entre le Président du Conseil de
direction et les auditeurs, mais nous ne pouvons pas en apporter la preuve. Nous n'avons pas de
protocole ni de documents. Nous avons des communications par courrier électronique, mais ces
courriers sont nos propres courriers électroniques, personnels et non formels. Comment procédons-
nous?
Réponse: La principale caractéristique de la méthodologie du CMP ISC est qu'elle est fondée sur
deséléments probants , ce qui implique que les constatations du rapport d'évaluation doivent être
étayées par des preuves suffisantes et appropriées. Par conséquent, en règle générale, si l'ISC ne peut pas
produire de preuves à l'appui du respect des critères d’'ISC 6(ii), les critères doivent être considérés
comme « non remplis ». Toutefois, bien que les courriers électroniques ne soient pas formels comme
indiqué dans la question, ils peuvent être considérés comme des éléments probants (ils ne sont pas
personnels en soi, s'ils sont échangés entre collègues et sur des sujets liés au travail) et certains critères
peuvent être considérés comme « remplis » sur cette base.
On s'attend généralement à ce qu'une ISC conserve des documents tels que des procès-verbaux de
réunions, des circulaires, des courriels, des bulletins d'information, etc. qui doivent fournir les éléments
probants pour la plupart des critères de cette dimension. En l'absence de telles preuves, l'équipe
d'évaluation tend à attribuer la note « non rempli » aux critères correspondants, en particulier s'il est
établi que l'ISC n'a pas de bonnes raisons de ne pas disposer des éléments probants requis.
30. Question: Dans quelques mois, le cadre juridique qui régit les activités de l'ISC sera modifié. On
s'attend à des changements importants dans certains domaines clés du fonctionnement de l'ISC, tels
que l'indépendance organisationnelle et financière. Étant donné que les projets de dispositions en
attente d'approbation par les autorités compétentes sont déjà en place, l'équipe d'évaluation a
décidé d'évaluer ISC 1 – Indépendance de l'ISC et ISC 2 – Mandat de l'ISC sur la base du nouveau
cadre juridique. Cette approche est-elle correcte?
Réponse: Selon la méthodologie, une évaluation du CMP ISC est effectuée sur la base de la situation
actuelle. Les développements tels que de nouvelles modifications du cadre juridique qui sont attendues à
l'avenir ne peuvent pas être inclus dans l'évaluation lors de la notation des indicateurs, des dimensions et
des critères. Par conséquent, le Domaine A et toute autre section pouvant nécessiter l'application du
cadre juridique doivent être évalués et notés sur la base de la situation et du cadre juridique actuels. En
même temps, dans le texte narratif, l'équipe d'évaluation peut expliquer quelles sont les implications de
la nouvelle Constitution (cadre juridique) et quels critères sont mesurés différemment en conséquence.
L'équipe peut également expliquer dans le texte narratif comment les notes changent en conséquence.
Page 21 de 53
31. Question: Le CMP ISC peut-il utiliser les résultats d'une évaluation réalisée par d'autres parties à
l'aide d'outils de performance dont la méthodologie et l'approche sont différentes de celles du CMP
ISC?
Réponse: Oui, les résultats d'autres évaluations de performance réalisées à l'aide d'outils de performance
autres que le CMP ISC peuvent être utilisés pour éclairer l'évaluation du CMP ISC. Par exemple, les
résultats des revues d'assurance qualité et des revues basées sur les iCAT peuvent être utilisés comme
source de preuves pour noter les critères pertinents dans le cadre du CMP ISC. Toutefois, les preuves à
l'appui doivent être collaborées afin de parvenir à des conclusions concrètes.
32. Question: Il existe plusieurs cas où les critères demandent si une personne ou une équipe possède
les connaissances, l'expérience, etc. appropriées. Comment pouvons-nous le prouver ? Par exemple
dans ISC- 21, dimensions (i) et (ii), ISC -22 (i) a. Egalement dans le Domaine C concernant (ISC-9 (ii) a,
b, c, d ; ISC-12 (ii) a, b, c, d, e ; ISC-14 (ii) a, b, c, d ; ISC-17 (ii) a, c, b, d.
Réponse:
(a) En général, il n'est pas attendu de l'équipe d'évaluation du CMP ISC qu'elle prouve l’expérience
professionnelle en demandant des CV, des diplômes et des grades universitaires, et des
justificatifs de suivi des cours de perfectionnement professionnel. Ce que l'on attend cependant,
c'est qu'elle rencontre les équipes d'audit, les chefs, par exemple, des services informatiques,
des ressources humaines et des finances et qu'elle leur demande leurs antécédents et leur
expérience. Le jugement professionnel de l'équipe, basé sur ce qu'elle obtient de l'entretien,
détermine le respect de ces critères.
(b) Dans le cas des critères qui font partie du Domaine C, il est important de noter qu'ils font partie
de l'examen d'un système qui affecte les auditeurs à des audits spécifiques sur la base de leurs
connaissances et de leur expérience. Par conséquent, vous devez d'abord examiner s'il existe des
procédures écrites sur la manière de déterminer la composition des équipes d'audit en fonction,
par exemple, le type d'audit, la complexité de l'entité auditée et l'expérience des auditeurs en
la matière. Ensuite, vous devez tirer des éléments probants de l'échantillon d'audit afin de savoir
si ce système est appliqué de manière cohérente dans la pratique et si les équipes qui ont
effectué les audits de l'échantillon avaient les compétences, l'expérience et le personnel (par
exemple, des auditeurs seniors ou juniors) pour effectuer le travail comme prévu. L'équipe
d'évaluation peut également examiner les informations soumises par les auditeurs concernant
leurs qualifications et leur expérience au moyen de documents de travail tels que la matrice des
compétences.
33. Question: Est-il correct d'inclure en annexe au rapport les fiches de notation, les procès-verbaux
des réunions, etc.?
Réponse: Non, vous ne devez pas annexer de telles informations au rapport. Cependant, vous devez
clairement identifier la source des preuves lorsque vous justifiez l'évaluation d'un quelconque critère
unique. Dans la mesure du possible, de telles sources de preuves doivent également être mentionnées
Page 22 de 53
dans les textes narratifs des indicateurs ou des dimensions. Les sources de preuves peuvent également
être indiquées sous forme de notes de bas de page.
34. Question: Quelle est la distinction entre les processus suivants permettant d’assurer la qualité du
rapport d'évaluation : (i) contrôle de la qualité, (ii) vérification de l'exactitude factuelle du rapport
et (iii) revue indépendante?
Réponse: Le contrôle de la qualité implique un contrôle qui est effectué par le chef d'équipe au sein de
l'équipe pendant l'évaluation. À ce stade, le chef d'équipe est tenu d'examiner les documents de travail, le
travail de l'équipe, de superviser et de suivre l'avancement de l'évaluation.
La vérification de l'exactitude factuelle du rapport est une revue du projet de rapport effectuée par un
ou deux membres du personnel de l'ISC qui ne faisaient pas partie de l'équipe d'évaluation.
Habituellement, les TdR de l'évaluation doivent identifier la (les) personne(s) responsable(s) de la
vérification de la qualité des faits. L'objectif de la vérification de la qualité n'est pas de reproduire le
travail de l'équipe d'évaluation, mais d'effectuer un contrôle de la qualité de deuxième niveau basé sur la
vérification de l'exactitude des faits et de la cohérence des questions. Il est important de noter que la ou
les personnes chargées de la vérification de la qualité doivent avoir une connaissance approfondie de l'ISC
afin de pouvoir identifier les erreurs potentielles que l'équipe d'évaluation aurait pu commettre en
arrivant à ses conclusions. Il est donc préférable que cette tâche soit effectuée par un membre du
personnel de haut niveau de l'ISC.
Une revue indépendante du projet de rapport de performance est effectuée par l'IDI. L'IDI propose de
mener, ou de faire en sorte que d'autres experts du CMP ISC mènent des revues indépendantes de toutes
les évaluations du CMP ISC afin de garantir le respect de la méthodologie du CMP ISC. Une déclaration de
revue indépendante de l'IDI est émise pour tous les rapports qui ont été soumis à une revue indépendante
organisée par l'IDI.
35. Question: Certains critères contiennent des références aux Normes de contrôle de l'INTOSAI (ISSAI
de niveau 4 dans l'ancien cadre), sous la forme « Voir aussi : ISSAI 3000:x ». Dans quelle mesure
devons-nous évaluer les performances par rapport aux critères de ces ISSAI?
Réponse: La performance doit être mesurée par rapport aux critères du CMP ISC. Les références sont
incluses à des fins de traçabilité et pour permettre d'examiner les ISSAI sous-jacentes à titre d'orientation.
Dans les cas où les principes de la norme ISSAI 300 sont identiques ou très similaires aux exigences de la
norme ISSAI 3000, des références doubles ont été incluses à titre d'information.
Page 23 de 53
36. Question: Voici les conditions requises pour l'attribution d'une note de 4 à ISC 10 (i), ISC 13 (i) et ISC
16 (i).
« Note = 4 : Une évaluation indépendante (par exemple, revue d'assurance qualité, revue par des pairs
ou indépendante, iCAT soumis à une assurance qualité indépendante, menée au cours des trois
dernières années) des pratiques d'audit financier de l'ISC a confirmé que l'ISC respecte toutes les Normes
d'audit de l'INTOSAI (ISSAI de niveau 4 dans l'ancien cadre) pertinentes pour cette dimension (y compris
tous les critères ci-dessus) ».
Les critères de notation susmentionnés font référence à la conformité aux Normes d’audit de l'INTOSAI.
L'évaluation du CMP ISC inclut-elle les exigences des Normes d’audit et des Lignes directrices de
l'INTOSAI (ISSAI de niveau 4 dans l'ancien cadre) 1?
Réponse: En général, les critères détaillés du CMP ISC (concernant les indicateurs de qualité de l'audit)
sont basés sur les Principes comptables 200, 300 et 400 de l'INTOSAI (niveau 3 dans l'ancien cadre des
ISSAI). Il existe toutefois quelques exceptions qui concernent le respect des normes comptables de
l'INTOSAI (niveau 4 des ISSAI dans l'ancien cadre). Les critères de notation concernant l'attribution d'une
note de 4 à ISC 10 (i), ISC 13 (i) et ISC 16 (i) ont été formulés pour établir un lien entre le CMP ISC et les
iCAT, et aussi pour lier le CMP ISC à la définition de la mise en œuvre des ISSAI. L'idée sous-tendant cette
définition d’une note de 4 était d’indiquer que si vous avez déjà fait une solide évaluation de votre
conformité aux ISSAI (à l’aide d’iCAT ou d’un outil similaire), et que vous avez trouvé que vous êtes
(généralement) en conformité, alors il ne doit pas être nécessaire de réévaluer la performance en
utilisant le CMP ISC.
La définition vise également à encourager les ISC à mettre en place des dispositifs d'assurance qualité
(AQ) solides pour chaque discipline d'audit, et elle reconnaît qu'un CMP ISC seul - examinant un
échantillon d'audits par rapport aux principes comptables de l'INTOSAI - n'est pas assez approfondi pour
fournir l'assurance d'une mise en œuvre complète des ISSAI (puisqu'il n'examine pas tout ce qui est
contenu dans les Normes d'audit de l'INTOSAI).
La solution alternative, baser le CMP ISC sur les Normes d’audit de l'INTOSAI et les Lignes directrices
(ISSAI de niveau 4 dans l'ancien cadre), produirait un outil trop compliqué et trop gourmand en
ressources pour être appliqué, et signifierait largement la reproduction de l'outil iCAT.
(Voir les notes explicatives dans le Document d'orientation sur le CMP ISC 2016 sous ISC 10, 13 et 16).
37. Question: Dans certains critères tels que ISC-6 (i), il est fait référence à l’« Equipe spéciale CMP
ISC ». Que signifie cette référence puisqu'elle ne provient pas des ISSAI ou d'un document
quelconque?
1
L'ancien cadre se réfère au cadre de l'ISC avant l'adoption du nouveau cadre de déclarations professionnelles de l'INTOISC (IFPP)
Page 24 de 53
Réponse: L’Equipe spéciale CMP ISC a été constituée au cours de la Phase d'élaboration du CMP ISC afin
d'élaborer et de tester des critères concernant les aspects de la performance des ISC pour lesquels aucune
référence dans les ISSAI ou d'autres documents d'orientation de l'INTOSAI n'a pu être trouvée. En termes
d'interprétation des critères, nous recommandons qu'avant qu'une équipe n'essaie d'étudier les sources
sous-jacentes, elle prenne contact avec l'équipe du CMP ISC afin de lui demander de l'aide sur
l'interprétation d'un critère donné compte tenu de son contexte.
38. Question: Nous comprenons que les résultats d'une évaluation réalisée à l'aide des versions
antérieures du CMP ISC, comme la Version pilote, ne sont pas comparables aux résultats d'une
évaluation basée sur la Version de 2016 du CMP ISC. Devons-nous prendre uniquement les résultats
des évaluations réalisées à l'aide de la Version 2016 comme base de référence pour les
comparaisons futures?
Réponse: Bien que la plus grande partie du contenu de la version pilote du CMP ISC soit similaire à celle
de la version de 2016, certains changements apportés à la structure de l'outil dans la version de 2016
sont significatifs et posent un problème de comparabilité des résultats à des fins de suivi. Dans la mesure
du possible, les ISC peuvent utiliser les résultats des évaluations réalisées à l'aide de la version pilote
comme base de référence pour le suivi des progrès enregistrés sur une période donnée. Toutefois, la
prudence s'impose car il existe des domaines où une comparaison directe entre la version pilote et la
version de 2016 ne sera pas appropriée en raison de différences dans la structure des indicateurs, des
dimensions et des critères.
L'équipe de CMP ISC a produit un Document d'orientation sur la réalisation d'évaluations répétées. Dans
ce document, vous trouverez des orientations spécifiques sur la manière de comparer les évaluations
réalisées à l'aide de différentes versions du CMP ISC. Le document comprend également un suivi entre les
indicateurs, dimensions et critères de la version de 2016 et les indicateurs, dimensions et critères
correspondants des versions pilotes.
Travail de terrain
39. Question: L’évaluation doit-elle être menée dans un ordre allant du Domaine A au Domaine F ? Puis-
je commencer par B, C, D, F, E, A, par exemple ?
Réponse: L’évaluation ne doit pas nécessairement être effectuée dans un ordre logique. En pratique,
l'évaluation des différents indicateurs et domaines sera divisée au sein de l'équipe d'évaluation, dans
laquelle les membres de l'équipe les évalueront simultanément. Cependant, il est nécessaire de discuter
en équipe pour s'assurer que les constatations dans les différents Domaines font l'objet d'une bonne
collaboration. Cela est important pour assurer un flux cohérent de faits dans la section d'analyse
qualitative du Rapport de performance de l'ISC.
Page 25 de 53
Rapport d'évaluation - Justification de l'exclusion des recommandations
40. Question: Si le CMP ISC ne donne pas de recommandations, comment une ISC peut-elle améliorer
sa performance?
Réponse: L’évaluation du CMP ISC permet à cette dernière d'identifier ses principaux points forts et points
faibles. Il incombe à la Direction de définir les mesures qu'elle prendra pour remédier aux faiblesses
observées et aussi de déterminer comment elle tirera parti des points forts identifiés. Dans de nombreux
cas, l'ISC ne sera pas en mesure de remédier à toutes les faiblesses identifiées en même temps. Il incombe
donc à la Direction, et non à l'équipe d'évaluation, de prendre des décisions sur la manière de traiter les
résultats de l'évaluation du CMP ISC. La hiérarchisation des mesures à prendre est une chasse gardée de
la Direction, puisque les décisions à prendre impliquent normalement de tenir compte des ressources
disponibles et des attentes des autres parties prenantes. En outre, la Direction devra toujours faire
référence aux exigences des ISSAI et aux autres meilleures pratiques qui constituent la base sur laquelle le
CMP ISC est fondé. Une évaluation répétée du CMP ISC, recommandée au début de chaque nouveau cycle
stratégique, fournit des informations sur les améliorations apportées par l'ISC afin d’aligner ses activités
sur les exigences des ISSAI et d'autres bonnes pratiques internationales.
41. Question: Dans le Domaine F, est-il acceptable que les résultats de l'évaluation du CMP ISC ne soient
pas rendus publics aux autres parties prenantes?
Réponse: L’INTOSAI-P 12 : « Valeur et avantages des ISC - faire une différence dans la vie des citoyens »
exige que les ISC soient des organisations modèles qui doivent montrer l'exemple. Donner l'exemple
signifie que l'ISC doit promouvoir la transparence et la responsabilité dans ses propres opérations ; cela
doit inclure la possibilité de publier des rapports sur ses opérations internes tels que ses états financiers
ainsi que les résultats d'une évaluation du CMP ISC, entre autres. L'IDI encourage les ISC à publier leurs
Rapports d'évaluation de la performance comme moyen de démontrer les exigences de l'INTOSAI-P 12
La publication du rapport de performance est cependant une décision qui doit être prise par le Chef de
l’ISC. Il est acceptable que les résultats de l'évaluation du CMP ISC ne soient pas rendus publics à
certaines parties prenantes si le Chef de l’ISC a des raisons impérieuses de le faire. L'Equipe du CMP ISC
est en train d'élaborer un document d'orientation sur la publication du Rapport du CMP ISC.
42. Question: Comment pouvons-nous relier les résultats du CMP ISC aux systèmes de gestion de la
performance existants dans notre ISC?
Réponse: Le CMP ISC est très bien placé pour suivre la mise en œuvre du plan stratégique d'une ISC, de la
manière suivante : Premièrement, pour établir des données de référence fondées sur les performances
Page 26 de 53
observées et les notes obtenues lors d'une évaluation de CMP ISC servant à l'élaboration d'un nouveau
plan stratégique. Et deuxièmement, pour mesurer la mise en œuvre de ce plan stratégique au terme de la
période stratégique (tous les 3 à 5 ans), par le biais d'une évaluation répétée de CMP ISC. Une évaluation
du CMP ISC est trop complexe pour être réalisée chaque année. Toutefois, concernant le suivi annuel, il
est possible de sélectionner un petit nombre d'indicateurs ou de dimensions du CMP ISC et de les inclure
dans le système de gestion de la performance de l'ISC pour une mesure annuelle. De tels
indicateurs/dimensions doivent être pertinents par rapport aux priorités stratégiques de l'ISC et mesurer
les éléments susceptibles de s'améliorer chaque année (par exemple, mesurer le cadre juridique chaque
année ne fournira probablement pas beaucoup d'informations intéressantes).
43. Question: Quelle est la différence entre le processus de revue de l'AQ et l'évaluation par le biais du
CMP ISC ? Sont-ils similaires ? L'un doit-il être éliminé au profit de l'autre afin d’éviter les doubles
emplois?
Réponse: Le processus de revue de l'assurance qualité et le CMP ISC ont souvent des objectifs légèrement
différents, de sorte que, même s'il peut y avoir des similitudes en partie, l'un ne remplace normalement
pas l'autre. Alors qu'un processus de revue de l'AQ couvre normalement le travail d'audit, le CMP ISC est
une évaluation beaucoup plus large et holistique qui examine également la performance dans le contexte
où l'ISC opère, et identifie les raisons des limites de performance. Il comprend une évaluation du
processus d'AQ au sein de l'ISC. Le CMP ISC est également une évaluation standardisée avec des critères
et des échelles de mesure prédéfinis. Le travail de revue des dossiers d'audit dans le cadre du CMP ISC
peut présenter des similitudes avec les revues d'AQ (selon la manière dont elles sont effectuées dans
l'ISC), mais dans le cadre du CMP ISC, il est basé sur les exigences des Principes comptables de l'INTOSAI
(et non sur les Normes comptables de l'INTOSAI, ce que constituent parfois les revues d'AQ). Le CMP ISC
est une évaluation complète qui ne doit être effectuée que tous les 3 à 5 ans environ, alors que les revues
d'assurance qualité doivent être effectuées plus souvent. Ainsi, alors que les revues d'AQ fourniront un
retour d'information annuel à l'ISC sur la qualité du travail d'audit et sur le degré de respect des
procédures de contrôle de la qualité, le CMP ISC évalue l'ensemble de l'organisation et identifie les
principales forces et faiblesses ainsi que sa valeur et ses avantages pour la société.
44. Question: Quelle est la différence entre le CMP ISC et le GUID 1900 ?
Réponse: Le GUID 1900 fournit des lignes directrices générales sur la manière dont une revue par les pairs
doit être effectuée. Cela signifie que l'évaluation proprement dite peut être réalisée à l'aide de divers
outils d'évaluation et que la portée d'une revue par les pairs peut varier considérablement. Ce ne sont pas
toutes les revues par les pairs qui auront l'approche holistique du CMP ISC.
45. Question: Quelle est la différence entre le CMP ISC et les iCAT (Outil d'évaluation de la conformité
aux ISSAI)?
Réponse: L'iCAT est un outil détaillé destiné à aider les ISC à cartographier leurs pratiques d'audit
actuelles par rapport aux exigences des ISSAI, afin qu'elles puissent identifier leurs besoins en matière de
Page 27 de 53
mise en œuvre des ISSAI. L'outil a été élaboré par l'IDI dans le cadre de son programme 3i pour la mise en
œuvre des ISSAI, et les cartographies effectuées à l’aide des iCAT constituent une composante
importante de ce programme, dans lequel les iCAT sont appliqués par le biais d'une approche facilitée qui
comprend des mécanismes de formation et de revue par les pairs. Les iCAT n'appliquent pas de notes,
mais marquent chaque exigence comme satisfaite, partiellement satisfaite ou non satisfaite, et les
résultats sont résumés dans un rapport d’iCAT.
En revanche, le CMP ISC a un objectif différent et un champ d'application plus large. Outre le travail
d'audit, le CMP ISC fournit à l'ISC un aperçu de l'organisation dans son ensemble, y compris les services de
soutien, la gestion des parties prenantes, etc. et il aide à identifier les causes profondes de toute faiblesse
observée dans la performance des audits. En outre, il examine les résultats de l'ISC et sa contribution à
l'impact sur la société, sa valeur et ses avantages. Le CMP ISC adopte une vision globale de l'ISC et de sa
situation actuelle, et les évaluations sont particulièrement utiles pour préparer un plan stratégique, c'est-
à-dire pour identifier les domaines à améliorer. Dans le domaine de l'audit, le CMP ISC mesure la
performance de l'ISC par rapport aux normes de l'INTOSAI (principalement les ISSAI 200, 300 et 400). Les
iCAT, quant à eux, évaluent la conformité de l'ISC aux exigences plus détaillées du processus d'audit telles
que définies dans les normes de l'INTOSAI (ISSAI série 2000, série 3000, série 4000). Ils fournissent donc
des informations plus détaillées sur les processus d'audit de l'ISC que le CMP ISC, notamment en matière
d'audit financier, concernant lesquels la différence de détail entre les Principes comptables de l'INTOSAI
et les Normes comptables de l'INTOSAI est importante.
Si l'ISC souhaite obtenir des informations plus détaillées sur sa performance et ses besoins actuels dans
les disciplines d'audit autres que celles que le CMP ISC peut fournir, l'utilisation des iCAT concernant les
trois disciplines d'audit sera utile. Si des évaluations fondées sur les iCAT et CMP ISC sont effectuées dans
une ISC, il est important de voir les évaluations en relation l'une avec l'autre et d'utiliser les synergies qui
en découlent. Comme le montre la figure ci-dessous, il existe un certain chevauchement dans la
couverture des deux outils, en ce qui concerne l'évaluation des processus d'audit et des normes et
documents d'orientation en matière d'audit. Dans ces domaines, l'ISC peut économiser du temps et des
efforts en utilisant les résultats de l'une des évaluations afin de compléter les parties pertinentes de
l'autre. Toutefois, avant de décider de se fier aux résultats d'une autre évaluation, l'ISC doit examiner la
qualité et les délais/la pertinence de la première évaluation. Il peut également être possible d'utiliser les
mêmes preuves pour certaines parties des évaluations, y compris l'échantillon de dossiers d'audit qui est
revu.
Page 28 de 53
CMP ISC
AF, AC, AP • Couverture des
iCATs audits, respect des
délais, publication
Recoupement des résultats
Exigences détaillées en • Planification
matière de processus Normes et stratégique des ISC
d'audit concernant les processus • Gestion des
audits financiers, de d'audit (ISSAI ressources humaines
conformité et de de niveau 3) • Développement
performance (ISSAI de professionnel du
niveau 4 ) personnel
• Gestion des parties
prenantes
• Gestion financière,
soutien administratif
et infrastructure des
ISC
• Autres processus
Indicateurs
46. Question: Quelle est la base de preuves permettant d'évaluer les indicateurs dans ce domaine?
Réponse: Tenez compte du fait que les indicateurs ISC-1 et ISC-2 font appel à diverses sources de
preuves:
Page 29 de 53
ISC-1 : Indépendance de l'ISC
47. Question: Existe-t-il un moyen de prendre en compte l'indépendance politique lors de l'évaluation
de l'indépendance des ISC? Bien que l'indépendance politique ne soit pas incluse dans les
déclarations de Lima et de Mexico, concernant les pays où les décisions affectant le secteur public en
général prennent en compte des considérations politiques, je considère qu'il s'agit d'un facteur
limitant l'indépendance des ISC. Parfois, le cadre juridique semble protéger les dirigeants des ISC de
considérations politiques ; cependant, de manière informelle, la politique est l'élément le plus
important dans la prise de décision concernant les postes de direction des ISC. En fait, la dépendance
politique est un facteur qui contribue à l'absence d'ISC solides dans de nombreux pays,
indépendamment du fait qu'elles disposent d'un budget officiel et d'une indépendance
opérationnelle.
Réponse: C'est un aspect qui peut être très important dans certains contextes. Il peut également être
difficile à mesurer, surtout si l'indépendance de l'ISC est prévue « de jure » dans le cadre juridique, mais
ne se produit pas dans la pratique. Mais il existe plusieurs critères dans le cadre du CMP ISC qui visent à
mesurer l'indépendance dans la pratique. En outre, il convient également d'examiner la question dans le
rapport narratif, le cas échéant. En ce qui concerne la nomination du Chef de l’ISC, il existe plusieurs
critères qui permettent de mesurer si celle-ci est effectuée selon un processus qui garantit l'indépendance
par rapport au pouvoir exécutif, également dans la pratique. Notamment, le critère e) de la dimension
(iv) d'ISC-1 mesure si la dernière nomination ou reconduction du Chef de l’ISC a été effectuée dans le
cadre d'un processus transparent qui a garanti son indépendance. Si, par exemple, les critères de
sélection des candidats au poste de Chef de l’ISC n'étaient pas clairs ou n'étaient pas divulgués, on
considérerait que le processus n'est pas transparent et le critère ne serait donc pas rempli. De même, le
critère f), dans la même dimension, mesure le processus de révocation du Chef de l’ISC. En outre, la
dimension (i) d'ISC-2 mesure, dans les critères d), e) et f), s'il y a eu des interférences dans le choix des
sujets d'audit, et la dimension (iii) d'ISC-2 examine s'il y a eu des interférences concernant les rapports
d'audit de l'ISC. Ensemble, ces critères fourniront des informations importantes sur l'indépendance réelle
de l'ISC. Toutefois, la question peut également être traitée dans le cadre de l'évaluation qualitative, si des
preuves sont disponibles. Dans le chapitre consacré aux informations générales sur le pays et l'ISC dans le
rapport de performance de l'ISC, il convient également d'inclure des informations sur le système et la
culture politiques et le niveau de transparence, la corruption, etc. Et à la lumière de ces informations de
base, il convient ensuite d'analyser la performance de l'ISC dans son contexte dans la section c)
Observations sur la performance et l'impact de l'ISC.
48. Question: Le critère « c » d'ISC 1 dimension (i) stipule que « L'indépendance des Institutions
supérieures de contrôle prévue par la Constitution et la loi, également garantit un très haut degré
d'initiative et d'autonomie (...) ». INTOSAI-P 1:8. Peut-on noter le critère « c » rempli lorsque l'ISC
obtient une note faible dans l'une ou l'autre des dimensions (ii) – indépendance/autonomie
financière ou (iii) – indépendance/autonomie organisationnelle ? Qu'entend-on par « la Constitution
garantissant un très haut degré d'initiative et d'autonomie »?
Page 30 de 53
Réponse: L'exigence d'un degré élevé d'initiative et d'autonomie dans la constitution et la loi, telle qu'elle
est reflétée dans le critère (c) de l'ISC 1 (i), fait référence dans de nombreux cas à un scénario dans lequel
le Chef de l’ISC n'est pas soumis à la direction ou au contrôle d'une autre personne ou d'une autorité dans
l'exercice de ses fonctions. Par exemple, dans le contexte de l’exercice du mandat de l'ISC, cela signifie
que le Chef de l’ISC est libre de décider de la sélection des clients, des thèmes d'audit et du contenu des
rapports d'audit sans aucune interférence d'une autre personne ou d'une autorité extérieure à l'ISC. Le
Chef de l’ISC est également libre de soumettre les résultats de l'audit aux autorités compétentes chargées
d'examiner les rapports et peut librement publier les résultats de l'audit conformément aux dispositions
légales en vigueur.
En outre, un degré élevé d'initiative et d'autonomie est inévitablement lié à la liberté du Chef de l’ISC de
prendre des décisions en matière financière et organisationnelle . La mesure dans laquelle l'évaluation de
la dimension (ii) - Indépendance/Autonomie financière et de la dimension (iii) - Indépendance/Autonomie
organisationnelle affectera la note de la dimension (i) du critère (c) sera toujours une question de
jugement professionnel de la part de l'équipe d'évaluation. Pour certaines ISC par exemple, le cadre
juridique permet au Chef de l’ISC de prendre des décisions sur plusieurs questions clés relatives à la
gestion financière et organisationnelle de l'ISC, telles que : décider de la manière d'allouer les ressources
financières reçues du gouvernement central, faire directement appel au corps législatif si les ressources
fournies sont insuffisantes afin de lui permettre de remplir son mandat, décider de la structure
organisationnelle, recruter son propre personnel et déterminer les conditions de service du personnel. Le
Chef de l’ISC est cependant, dans de nombreux cas, tenu d'exercer ces pouvoirs dans le cadre des
dispositions légales existantes qui sont applicables aux autres entités du secteur public. Ces exemples
fournissent certainement une base supplémentaire sur laquelle l'équipe d'évaluation peut décider si, dans
l'ensemble, on peut dire que la Constitution et la loi garantissent un très haut degré d'initiative et
d'autonomie.
Par conséquent, si une ISC obtient une note faible dans l'une ou l'autre des dimensions (ii) ou (iii) ou dans
les deux, disons une note de 0 ou 1, il est fort probable que le critère (c) de l'ISC 1 (i) ne soit pas rempli. Là
encore, l'équipe d'évaluation doit tenir compte de l'ensemble des circonstances environnantes et faire
appel à son jugement professionnel afin de parvenir à une conclusion raisonnable.
49. Question: ISC-1 (i) b : L'Indépendance signifie-t-elle la même chose que l'autonomie? Notre
Constitution ne mentionne que l'autonomie.
Réponse: Cela dépend réellement du contexte. Vous devez déterminer si la Constitution prévoit le même
degré d'autonomie pour l'ISC que, par exemple, pour le pouvoir judiciaire ou législatif. Prenez en compte
le principe de la primauté du fond sur la forme, la forme n'est pas aussi importante que le contenu.
50. Question: Quels sont les éléments probants relatifs à l’ISC-1 (i) f, g?
Réponse: Ces critères s'appliquent lorsque l'ISC ne dispose pas d'un degré adéquat d'autonomie et
d'initiative (critère c de même dimension). Vous devez examiner et décrire les éléments prouvant que l'ISC
a informé ses parties prenantes sur toute question susceptible d'entraver sa capacité à remplir son
Page 31 de 53
mandat et qu'elle s'est efforcée de promouvoir la nécessité d'une plus grande indépendance, par exemple
en incluant des objectifs pertinents dans son plan stratégique, en menant des consultations et en
organisant des événements médiatiques sur le sujet, etc.
51. Question: ISC-2 (iii), critère a : « L'Institution supérieure de contrôle des finances publiques est
habilitée et obligée par la Constitution de rendre compte annuellement et de manière indépendante
au Parlement sur ses conclusions ». Est-il important d'être obligé ou d'avoir le droit en vertu de la
Constitution (qui peut être muette)?
Réponse: Il peut s’agir des deux cas, mais dans les deux cas, il est crucial de mentionner également ce qui
se passe dans la pratique. Veillez à ce que la base de l'évaluation soit dans ce cas-ci la Constitution et non
des lois supplémentaires. Il y a également un lien avec ISC-3 (iv).
52. Question: Notre ISC a obtenu une note de 3 pour l'indicateur ISC-1 parce qu'elle a reçu une note de
1 pour la dimension (i), alors que notre note pour les autres dimensions de cet indicateur était de 4,
car la dimension (i) de cet indicateur exige que l'indépendance de l'ISC soit inscrite dans la
constitution du pays. Notre pays n'a pas de constitution écrite, mais l'indépendance est établie à
travers d'autres lois considérées comme aussi fortes que possible dans notre contexte
constitutionnel. N'est-il pas acceptable de noter ISC 1 (i) sur la base d'autres lois et non de la
constitution?
Réponse: En règle générale, si une ISC n'est pas régie par une constitution, vous devez examiner le cadre
juridique et voir si les dispositions fondamentales sont inscrites dans le cadre juridique dans des lois qui
offrent une protection suffisante contre leur abrogation. Ainsi, si le pays n'a pas de constitution, l'équipe
d'évaluation doit appliquer son jugement professionnel afin de déterminer si les lois disponibles ont une
protection suffisante qui peut être assimilée à celle d'une constitution. La dimension seraalors notée en
conséquence.
53. Question: Critère (g) d’ISC-1 (i) qui stipule que « les ISC doivent s'efforcer de promouvoir, d'assurer
et de maintenir un cadre constitutionnel, statutaire ou juridique efficace » Quels sont les exemples
de mesures que les ISC peuvent prendre afin de satisfaire à ce critère?
Réponse: Les preuves concernant ce critère peuvent être largement prises en comptes dans le contexte
des mesures proactives prises par l'ISC pour promouvoir et garantir un cadre constitutionnel, législatif ou
juridique efficace qui, une fois mis en place, renforce son indépendance jusqu'à un statut requis par les
principes de l'INTOSAI, les ISSAI et d'autres bonnes pratiques internationales. Ces mesures peuvent
comprendre la sensibilisation du pouvoir législatif, du pouvoir exécutif et d'autres parties prenantes clés
aux normes internationales qui garantissent l'indépendance d'une ISC, la présentation aux autorités
compétentes de propositions de modifications du cadre juridique existant afin de renforcer
Page 32 de 53
l'indépendance de l'ISC, des stratégies visant à améliorer la communication avec les parties prenantes
clés concernées et toute autre initiative proactive lancée par l'ISC.
54. Question: Le critère « a » de la dimension (iii) d'ISC 2 stipule « L'Institution supérieure de contrôle
des finances publiques est habilitée et tenue par la Constitution de rendre compte annuellement et
de manière indépendante au Parlement sur ses constatations ». INTOSAI-P 1:16 (c'est-à-dire organe
de représentants du public). Dans le cas de notre ISC, cette exigence n'est énoncée que dans la loi
subsidiaire (loi sur l'audit), mais pas dans la Constitution. Est-il correct de noter le critère comme
étant rempli?
55. Question: Dans la dimension (i) d'ISC 3, nous devons évaluer la stratégie de l'ISC, mais le plan
stratégique de notre ISC couvre la période 2011 - 2016. Pour 2017, qui est l'année faisant l'objet de
l'évaluation, nous avons un projet de plan stratégique qui n'a pas encore été approuvé et qui n'est
pas utilisé actuellement. La raison pour laquelle nous n'avons pas soumis ce projet est liée aux
changements législatifs attendus concernant l'ISC et nous avons également décidé de maintenir
l'approbation du plan stratégique afin de pouvoir prendre en compte les résultats de l'évaluation du
CMP ISC. Comment pouvons-nous donc évaluer la dimension (i) d'ISC 3? Pouvons-nous accepter que
nous avons un plan stratégique ? Ou devons-nous l'évaluer comme « Non applicable »?
Réponse: L’évaluation du CMP ISC est basée sur la situation actuelle de l'ISC. Bien que l'ISC ait un projet
de stratégie en 2017, la stratégie est en attente d'approbation et n'est pas utilisée. Si l'ISC attend les
nouvelles modifications de la loi, il est encore plus incertain de savoir quand le plan stratégique sera
finalisé. Dans ce cas, une note de « 0 » doit être attribuée à tous les critères de la dimension (i) d'ISC 3,
car il est raisonnable de conclure qu'il n'y a pas de plan stratégique en place. Il est important de noter
qu'une note de « 0 » n'est pas nécessairement considérée en termes très négatifs, car elle ne fait que
Page 33 de 53
décrire l'absence des caractéristiques requises par les critères. Par conséquent, la note « 0 » indique
l'absence de plan stratégique et peut être différente de la note « Non Applicable » qui peut suggérer qu'il
n'y a pas besoin de plan stratégique dans l'ISC. Une note« Non Applicable » n'est pas correcte dans ce
cas.
En outre, bien que l'idée de procéder à une évaluation du CMP ISC soit bonne, car les constatations seront
prises en compte dans la formulation du nouveau plan stratégique, il semble que l'ISC devra continuer à
fonctionner sans plan stratégique pendant une période beaucoup plus longue, car le processus
d'évaluation du CMP ISC peut prendre du temps. Il y a donc de bonnes raisons d'attribuer une note de 0 à
cette dimension sur la base des éléments et des circonstances disponibles.
L'ISC peut également procéder à l'évaluation de cette dimension sur la base du projet de plan stratégique,
mais le résultat ne sera inclus que dans la partie narrative du rapport sur le CMP ISC. La note
« officielle »est toujours de 0. L'évaluation n’est incluse que pour donner aux utilisateurs du rapport une
image plus claire de la situation sur le terrain. Il s'agit toutefois d'une décision que l'ISC/équipe
d'évaluation devra prendre.
Réponse: Cela dépend à la fois de la complexité du plan et de la fréquence de mesure des indicateurs.
Pour savoir si le nombre est gérable, il est essentiel de déterminer si, dans la pratique, l'ISC a la capacité
de mesurer tout ce qu'elle a inclus dans son plan stratégique.
57. Question: ISC-3 (ii) Le plan annuel est-il le même que le plan d'audit annuel?
Réponse: Non, le plan annuel peut comprendre le plan d'audit annuel, mais il doit être plus large et
inclure également les tâches administratives, opérationnelles, logistiques, financières et de routine.
58. Question: Selon ISC-3, dimension (ii), critère g), un plan annuel efficace doit contenir « des données
de référence sur la performance actuelle et des jalons concernant les principaux indicateurs ».
Nous disposons de ces données de référence et de ces indicateurs, et ils sont mesurés dans le cadre
de notre suivi régulier du plan annuel, mais les données de référence et les indicateurs ne sont pas
inclus dans le document du plan lui-même. Donc, à proprement parler, nous ne respectons pas ce
critère, car ces informations ne figurent pas dans le plan, même si elles existent et sont utilisées.
Sommes-nous trop rigoureux dans notre évaluation?
Réponse: En appliquant le CMP ISC, l'évaluateur doit toujours appliquer le principe de la « primauté du
fond sur la forme », c'est-à-dire examiner ce qui est réalisé dans la pratique, plutôt que la manière exacte
dont cela est fait. Il existe de nombreuses manières valables de réaliser quelque chose. Il y est fait allusion
dans l'introduction à ISC-3 (ii), où il est dit que le plan annuel peut revêtir différentes formes. L'objectif
d'ISC-3 (ii) g) est de déterminer si l'ISC dispose d'un système permettant de mesurer et de contrôler
l'exécution du plan annuel, c'est-à-dire de voir si le plan est mis en œuvre avec succès et, dans le cas
contraire, d'être en mesure de le constater et de prendre des mesures correctives. Ce qu'il est important
Page 34 de 53
de prendre en compte, c'est s'il existe un système de suivi et s'il fonctionne, et non pas qu'il soit
nécessairement documenté dans le document du plan annuel. Comme le système semble fonctionner
dans votre ISC, il est raisonnable de considérer que le critère est rempli.
Le principe de la primauté du fond sur la forme est également pertinent pour d'autres indicateurs. Par
exemple, ISC-22 (ii) demande une stratégie en matière de Ressources humaines au sein de l'ISC. Si, par
exemple, les aspects relatifs aux ressources humaines sont couverts dans le plan stratégique, mais pas
dans un document distinct appelé « stratégie en matière de ressources humaines », le critère peut quand
même être considéré comme rempli. La tâche de l'évaluateur consiste à appliquer son jugement
professionnel afin de voir si les mesures et la documentation répondent à l'intention de l'indicateur.
59. Question: ISC-3, dimension (iii), porte sur l'élaboration du plan stratégique et du plan annuel. Cela
signifie-t-il que chacun des critères doit être rempli aussi bien dans le processus de planification
stratégique que dans le processus de planification annuelle pour être considéré comme rempli ?
Dans notre ISC, nous avons consulté des parties prenantes externes dans le cadre de notre processus
de planification stratégique, mais pas directement dans le cadre du processus de planification
annuelle. Devons-nous alors considérer le critère c) comme non rempli?
Réponse: En règle générale, les deux processus doivent être conformes aux critères pour que les critères
soient considérés comme remplis. Certains des critères d'ISC-3 (iii) précisent également quels sont les
processus qu'il mesure. En ce qui concerne ISC-3 (iii) c) relatif à la consultation des parties prenantes
externes, les évaluateurs doivent exercer un certain jugement professionnel, en tenant compte du
contexte de l'ISC. Normalement, on s'attend certainement à ce que les parties prenantes externes soient
consultées dans le cadre d'un processus de planification stratégique. Concernant le processus de
planification annuelle, il n'est pas pertinent de le faire. Veuillez toutefois noter que cette consultation ne
doit pas impliquer que les parties prenantes peuvent décider des activités de l'ISC qui doivent relever de
l’ISC seule.
60. Question: ISC-3 (iii) Quelles sont les éléments probants concernant le processus de planification?
Réponse: Il est important de disposer de procédures écrites concernant l'élaboration des plans
stratégiques et opérationnels. Il ne suffit pas que le personnel responsable se contente de décrire le
processus à l'équipe pendant la réunion sans présenter de preuves écrites.
61. Question: Dans le critère c) d'ISC-3 (iv), il est indiqué que « les ISC peuvent utiliser des indicateurs de
performance... ». Pour nous, l'utilisation du mot « peuvent » ne rend pas très claire la nature de
cette exigence. Comme il n’indique pas « vous devez », y a-t-il une obligation d'utiliser des
indicateurs de performance afin de remplir ce critère?
Réponse: Dans ce cas, le mot « peut » est utilisé parce qu'il s'agit d'une citation directe de l'INTOSAI-P 20,
et que l'on prend soin de ne pas reformuler les Principes et Normes de l'INTOSAI (et, éventuellement, de
les réinterpréter). Bien que le mot « peut » figure dans la citation, notre conseil est que le critère est
rempli seulement si l'ISC satisfait l'exigence en question. Ainsi, le Principe de l'INTOSAI stipule que l'ISC
Page 35 de 53
peut le faire, mais le CMP ISC ne le note comme rempli que si l'ISC y satisfait. En mesurant la
performance, le CMP ISC cherche à établir la conformité de l'ISC aux ISSAI et à d'autres bonnes pratiques
acceptées au niveau international.
62. Question: ISC-3 (iv) f) demande que les résultats des revues par les pairs soient publiés. Comment
le critère doit-il être noté lorsqu'il n'y a pas eu de revue par les pairs?
Réponse: S'il n'y a pas eu de revue par les pairs, le critère doit être noté « Non applicable » et la
méthodologie« Pas de note » doit être suivie. Le fait que l'ISC ait ou non envisagé de faire procéder à une
revue par les pairs est mesuré dans ISC-4 (iv) h).
63. Question: ISC-4 (i) : Nous respectons tous les critères, sauf le critère (g), qui concerne la mise en
œuvre d'un système de contrôle de l'éthique. Est-il exact que la note est de 0?
Réponse: Oui, c'est une exigence minimale pour une note de 1 dans cette dimension. Le CMP ISC accorde
beaucoup de poids aux critères a, d et g de la dimension (i) d'ISC 4. Cela s'explique par l'importance de ces
exigences pour assurer un environnement de contrôle interne garantissant un comportement éthique et
l'intégrité du personnel. Dans une situation dans laquelle l'un des trois critères a, d et g n'est pas rempli,
la note concernant la dimension est automatiquement de 0. Cependant, l'état actuel, compte tenu des
autres critères qui ont été notés comme remplis, peut être mis en évidence dans le texte narratif de la
dimension.
64. Question: ISC-4, dimension (i), critère c) demande que le Code d’éthique de l'ISC soit révisé au moins
tous les dix ans afin de s'assurer qu'il est conforme à la norme ISSAI 130. Notre ISC a introduit un
code d’éthique il y a seulement cinq ans. Comment devons-nous noter ce critère?
Réponse: Dans ce cas, le critère doit être noté Non applicable (N/A).
65. Question: Dans ISC-4, dimension (i), critère e), la question est de savoir si le personnel qui effectue
des travaux pour le compte de l'ISC est tenu de s'engager à respecter les exigences éthiques de l'ISC.
Qu'entend-on par là, les audits qui sont entièrement externalisés à un cabinet ou cela s'applique-t-il,
par exemple, également aux consultants techniques qui effectuent certaines revues dans le cadre
des audits de performance?
Réponse: Elle s'applique également aux consultants qui effectuent des enquêtes limitées, etc. dans le
cadre d'un audit plus vaste réalisé par l'ISC. ISC-5 couvre les exigences éthiques des audits qui sont
entièrement externalisés.
Page 36 de 53
66. Question: Pour satisfaire à ISC-4 (i), critère k), une ISC doit avoir évalué sa vulnérabilité et sa résilience
aux violations de l'intégrité, en utilisant des outils tels qu'INTOSAINT ou des outils semblables, au
cours des cinq dernières années. De plus, que signifie le critère « Avoir évalué sa vulnérabilité et sa
résilience aux violations de l'intégrité » ? Comment évaluez-vous la vulnérabilité et la résilience aux
violations potentielles de l'intégrité ? Qu'est-ce qu'INTOSAINT?
Réponse: Un peu d’informations sur IntoSAINT est probablement utile ici. Voir
http://www.courtofaudit.nl/english/Publications/Topics/INTOSAINT. L'extrait suivant résume :
« IntoSAINT est un outil d'auto-évaluation que les ISC peuvent utiliser pour analyser les risques à leur
intégrité et évaluer la maturité de leurs systèmes de gestion de l'intégrité. L'auto-évaluation est menée
au cours d'un atelier structuré de deux jours animés par un facilitateur formé à cet effet. L'outil vise à
prévenir la corruption et génère une liste de recommandations de gestion pour soutenir l'intégrité de
l'organisation en question. Il s'agit d'un outil de gestion permettant à l'utilisateur de concevoir une
politique d'intégrité sur mesure et, en même temps, de sensibiliser son personnel à l'intégrité ».
67. Question: L'éthique, y compris des sujets tels que le code d'éthique et d'intégrité, sont traités à
plusieurs endroits du CMP ISC (ISC-4 (i), ISC-10 (i), ISC-13 (i), ISC-16 (i) et ISC-19 (i)). Cela ne conduira-
t-il pas à mesurer plusieurs fois les mêmes aspects ?
Réponse: Non. ISC-10, ISC-13, ISC-16 et ISC-19 mesurent la mise en œuvre des exigences éthiques au
niveau de la mission d'audit. Il se peut que les différents indicateurs obtiennent des notes différentes (ou,
si les types d'audit sont combinés, il est probable que les mêmes notes soient obtenues). ISC-4 mesure
cela au niveau de l'organisation.
68. Question: En raison de sa taille, notre ISC n'a pas d'unité ou de responsable de l'audit interne. Cela
signifie-t-il que les critères f), g) et h) d’ISC-4 (ii) doivent être notés Non Applicable (N/A)
Réponse: Non, ils sont considérés comme non remplis. Les fonctions et le système d'audit interne doivent
être en place même s'il s'agit d'une petite ISC, mais bien entendu à une échelle plus réduite. La
responsabilité de l'audit interne peut être confiée à une personne qui a également d'autres
responsabilités. Ou bien la fonction d'audit interne peut être externalisée.
Page 37 de 53
69. Question: Le contrôle de la qualité et l'assurance de la qualité sont couverts à plusieurs endroits du
CMP ISC (ISC-4, ISC-9, ISC-12, ISC-15 ; ISC-18). Cela ne conduira-t-il pas à mesurer plusieurs fois les
mêmes aspects ?
Réponse: Non, ils mesurent différents aspects de ce sujet plus large. Tout d'abord, il est important de se
rappeler la différence entre le contrôle de la qualité et l'assurance de la qualité. Le système de contrôle de
la qualité des processus d'audit d'une ISC est la somme de toutes les mesures prises pour garantir la
haute qualité de chaque produit d'audit, avant qu'il ne soit finalisé. Il fait partie intégrante du processus
d'audit et, pour être efficace, il doit s'inscrire dans la stratégie, la culture, les politiques et les procédures
de chaque ISC.
D'autre part, l'assurance qualité est un processus d'évaluation et de suivi du système de contrôle de la
qualité, afin de s'assurer que le système de contrôle de la qualité fonctionne efficacement. Il s'agit
notamment de savoir si les audits réalisés ont été effectués conformément aux normes, règles, pratiques
et procédures établies. Le processus d'assurance qualité doit comprendre la revue d’un échantillon de
travaux achevés pour tous les types d'audits réalisés par l'ISC et doit être effectué par des personnes qui
n'ont pas participé au processus d'audit qu'elles examinent. L'objectif peut également être de savoir dans
quelle mesure les procédures convenues sont appliquées de manière cohérente dans l'ensemble de
l'organisation.
En ce qui concerne les indicateurs spécifiques du CMP ISC, ISC-4 mesure le système de contrôle de la
qualité de l'ISC au niveau de l'organisation, concernant les travaux d'audit et d’autres travaux de l'ISC, y
compris par exemple les processus de passation de marchés. D'autre part, ISC-9, ISC-12, ISC-15 et ISC-18
mesurent la manière dont le contrôle de la qualité est effectué dans les différentes disciplines d'audit/de
contrôle juridictionnel, en examinant les preuves dans un échantillon de dossiers d'audit. ISC-4 mesure
également le système d'assurance qualité de l'ISC (au niveau de l'organisation).
70. Question: Pouvez-vous donner quelques conseils sur l'échantillonnage des dossiers d'audit lorsque
certaines parties du travail d'audit sont externalisées?
Réponse: Veuillez consulter la réponse sous la rubrique « Échantillonnage des types d'audit à passer en
revue » dans la section « Sujets généraux », page 7.
71. Question: Dans le critère c) de l'ISC-5 (ii), il est exigé que toute la documentation (y compris les
dossiers de travail d'audit) d'un audit qui a été externalisé à une entreprise soit la propriété de l'ISC.
Serait-il suffisant que l'ISC ait accès à cette documentation (mais qu'elle n'en soit pas propriétaire)?
Réponse: Ce critère est basé sur la norme ISSAI 140, qui met spécifiquement l'accent sur la propriété des
documents de travail de l'audit. Cela inclut bien sûr l'accès sans restriction à l'examen des dossiers, mais
c'est plus que cela. L'idée sous-jacente est que le Chef de l’ISC est le contrôleur légal des comptes et qu'il a
Page 38 de 53
choisi de sous-traiter lorsqu'il engage un cabinet pour effectuer des travaux d'audit pour son compte.
Cela présente un réel avantage pratique lorsque, par exemple, un audit est transféré d'un cabinet à un
autre. Si l'ISC est clairement propriétaire des dossiers des années précédentes, elle peut demander au
cabinet qui est remplacé de mettre ses dossiers à la disposition du cabinet qui reprend le travail. Cela
signifie que le travail d'audit dans le secteur public est effectué pour le compte du Chef de l’ISC et que,
bien que le cabinet puisse être remplacé, le contrôleur légal (le Chef de l’ISC) continue à exercer ses
fonctions. Il est normal que le cabinet soit propriétaire des dossiers d'audit, c'est le cas pour tous ses
audits dans le secteur privé. La norme ISSAI 140 propose que la propriété soit transférée à l'ISC par le
biais du contrat de l'ISC avec le cabinet. En l'absence d'une clause contractuelle claire, il est probable que
la propriété reste à l'entreprise. La norme ISSAI 140 exige donc que l'ISC prenne des mesures positives
pour s'assurer qu'elle est effectivement propriétaire des dossiers d'audit, par le biais de son contrat avec
chaque entreprise qu'elle utilise pour effectuer des travaux d'audit dans le secteur public.
72. Question: ISC-6 (i) critère d : Comment pouvons-nous fournir des preuves de la délégation de
pouvoir?
Réponse: Par exemple par l'existence d'une structure organisationnelle, la description des compétences
et des profils de poste, y compris la description des responsabilités au niveau de la direction de l'ISC.
73. Question: ISC-6 (i) critère a : Comment pouvons-nous prouver l'existence de réunions régulières de
la direction?
Réponse: Celles-ci doivent être programmées à l'avance et être périodiques, par exemple toutes les deux
semaines ou tous les mois. Il peut y avoir des réunions ad hoc supplémentaires, mais ce critère demande
si l'on sait clairement quand les questions importantes seront discutées et les tâches de gestion telles que
le suivi des performances seront effectuées. L'équipe peut également demander à examiner les procès-
verbaux des réunions tenues.
Réponse: La planification globale de l'audit est différente de la planification annuelle (mesurée dans
l'ISC-3) : L'ISC-7 mesure exclusivement la planification des travaux d'audit pour un exercice, c'est-à-dire
le plan total des audits de l'ISC pour l'année à venir. En revanche, le plan annuel mesuré dans ISC-3
couvre d'autres activités de l'ISC, comme par exemple la gestion interne et les projets de développement
(développement des capacités, projets informatiques, etc.). Pour faire la distinction entre les deux, il
convient, dans l'évaluation de l'ISC-3, de ne pas évaluer la manière dont le travail d'audit proprement dit
Page 39 de 53
est planifié. À cet égard, il est important d'appliquer le principe de la primauté du fond sur la forme (voir
la réponse sous ISC-3).
75. Question: ISC 7 dimension (i) Le critère (c) stipule que « le processus de planification de l'audit/du
contrôle suit une méthodologie fondée sur le risque. (par exemple, une évaluation systématique des
risques dans le cadre de la sélection des entités et de l'approche d'audit) » peut être difficile à
appliquer pour certaines ISC comme la nôtre, car la législation exige que toutes les entités
gouvernementales responsables soient soumises à un audit. Comment notre ISC peut-elle être
notée sur la base de ce critère?
Réponse: Si votre ISC est tenue par la législation de contrôler toutes les entités gouvernementales
responsables et qu'elle a la capacité de contrôler toutes les entités au cours d'un exercice financier donné,
il n'est alors pas nécessaire de suivre une méthodologie basée sur le risque pour sélectionner les entités à
contrôler. Cela est simplement dû au fait que l'audit est réalisé sur une base de 100% - toutes les entités
sont contrôlées indépendamment de leur statut de risque. Par conséquent, le critère (c) serait considéré
comme rempli. Toutefois, pour les ISC qui sont mandatées pour contrôler les entités gouvernementales et
qui ne peuvent pas contrôler toutes les entités au cours d'un exercice financier donné en raison d'un
manque de capacité, une méthodologie basée sur le risque doit être mise en place pour sélectionner les
entités à contrôler ; en cas de défaillance, le critère serait considéré comme non rempli.
Toutefois, l'approche fondée sur le risque est très pertinente pour l'ISC dans d'autres contextes tels que
l'approche de l'affectation des ressources, par exemple, l'affectation des ressources entre les différents
types de contrôle.
Clarifications générales
76. Importance relative : ISC-13 (i) critère c ; ISC-13 (ii) critère i ; ISC-13 (iii) critère f ; ISC-16, (i), critère
c).
Tous ces critères font référence à des éléments probants permettant de prendre en compte l’importance
relative à un certain stade du processus d'audit ou tout au long de celui-ci. Dans le cas des audits
financiers, le critère ne porte que sur l'importance relative au stade de la planification de l'audit, tandis
que concernant les audits de la performance, il existe trois critères différents concernant les preuves
permettant de prendre en compte l'importance relative à chacun des trois stades du processus d'audit.
Dans le cas des audits de conformité, un seul critère sur l'importance relative est placé parmi ceux
concernant la planification de l'audit. Toutefois, ce critère stipule que « les auditeurs doivent tenir
compte de l'importance relative tout au long du processus d'audit ». ISSAI 400:47. Voir également la
norme ISSAI 4000:94. (c'est-à-dire incluant la prise en compte de l'importance relative par valeur, nature
et contexte). Il est donc important d'examiner si l'échantillon d'audits de conformité a pris en
Page 40 de 53
considération l'importance relative (et les types spécifiques de celle-ci) à chaque étape de la mise en
œuvre.
L'échantillon de dossiers d'audit constitue la base de preuve de ces dimensions. Il doit démontrer que le
contrôle de la qualité a été effectué de manière cohérente et appropriée dans le cadre du processus
d'audit (avant l'approbation de l'audit). Le contrôle de qualité doit être effectué sous forme écrite, par
exemple par des commentaires sur le projet de rapport ou sur les documents de travail. Une réunion de
revue sans aucune preuve documentée ne suffit pas. Il ne suffit pas non plus de se contenter de décrire
la procédure de contrôle de la qualité telle qu'elle est prévue dans la méthodologie d'audit.
Soumission en temps opportun : Le calcul est effectué sur la base de tous les audits finalisés
pendant l'année de la revue dans les délais prévus. Il ne suffit pas d'utiliser uniquement les
audits de l'échantillon. Vous devez disposer d'informations sur les dates de réception des
états financiers et les dates de finalisation de chaque audit (non pas la date d'approbation
mais la date à laquelle il est effectivement envoyé à l'autorité compétente) pour chaque
audit.
Dans certains cas, lorsqu'une ISC regroupe les différents rapports d'audit en un seul Rapport
du Vérificateur Général, il est possible de déterminer si l'ISC a soumis le Rapport d'audit
annuel consolidé à une autorité compétente telle que le Parlement, dans le délai légal établi
(lorsqu'une telle disposition légale est en vigueur) ou dans le délai convenu.
(i) Publication en temps opportun Ici aussi, le calcul est effectué sur la base de tous les audits
finalisés au cours de l'année sous revue et de la part de ceux qui ont été publiés dans les
délais impartis. En cas de circonstances externes susceptibles d'empêcher ou de retarder la
publication, vous devez considérer leur autorisation comme le point de départ de la période
pendant laquelle l'ISC doit publier (Ainsi, si l'ISC soumet le rapport en juin mais que le
Parlement ne le dépose qu'en novembre, alors dans les 15 jours suivant le dépôt, l'ISC doit
publier). Dans le cas des ISC juridictionnelles, lorsque certains audits ne peuvent être publiés
parce qu'ils ont donné lieu à une procédure judiciaire et sont donc couverts par la
confidentialité, ils doivent être exclus de la base de calcul. Ainsi, si sur 100 audits de
conformité finalisés au cours de l'année, 20 ont donné lieu à des poursuites judiciaires et 50
ont été publiés dans les 15 jours suivant l'autorisation de publication de l'ISC, le calcul est de
50/(100-20) ou de 62 %, soit une note de 1.
(ii) Suivi par l'ISC des observations et des recommandations d'audit : Cette dimension examine
l'existence d'un système adéquat au sein de l'ISC et pas seulement le suivi effectué dans le
rapport d'audit postérieur.
Page 41 de 53
79. Question: Certains critères ne sont pas clairs. Dans ce cas, nous ne pouvons pas être sûrs de
rechercher tous les paragraphes et exigences pertinents d'une ISSAI ou seulement la phrase incluse
dans le critère. Par exemple, dans le critère c d'ISC-9 (i), le critère est libellé comme suit :
« L'auditeur doit appliquer le concept d'importance relative de manière appropriée lors de la
planification et de la réalisation de l'audit ». Ce critère ne dit rien explicitement sur l' « importance
relative de la performance ». Dans le critère b d'ISC-10 (i), un critère similaire est formulé comme
suit : « L'auditeur doit déterminer l'importance relative des états financiers dans leur ensemble (...),
les seuils d'importance relative à appliquer (...) à des catégories particulières d’opérations, de soldes
de comptes ou d'informations » et « doit également déterminer l'importance relative des résultats ».
Ce critère mentionne explicitement l'importance relative des performances. Ainsi, pour l'exemple
donné, lorsque l'importance relative des performances n'est pas explicitement mentionnée dans le
critère c d’ISC-9 (i), mais qu'elle est expliquée dans l'ISSAI sous la rubrique correspondante, devons-
nous considérer le critère dans une perspective plus étroite ou plus large
Réponse: ISC-9 (12 et 15) évalue les normes/politiques d'audit sur la méthodologie d'audit adoptée par
l'ISC. Le critère c d'ISC 9 (i) exige que l'auditeur applique de manière appropriée le concept d'importance
relative lors de la planification et de la réalisation d'un audit. Le critère est formulé à un niveau élevé et il
est sous-entendu que l'importance relative à laquelle il est fait référence comprend toutes les formes
d'importance relative détaillées dans la norme ISSAI 200, à condition que l'approche soit pertinente pour
le type d'audit en cours d'exécution.
Si le CMP ISC évaluait tous les aspects des ISSAI, il serait trop complet et donc difficile à appliquer. La
règle générale est que ce qui est évalué est cela qui est explicitement mentionné dans les critères.
Toutefois, l'équipe d'évaluation peut faire appel à son jugement professionnel pour déterminer l'étendue
d'un critère par rapport aux autres détails pertinents mis en évidence dans l'ISSAI. Le critère b d’ISC 10 (i)
est plus explicite en ce qui concerne les types d'importance relative puisqu'à ce stade, l'évaluation porte
sur la planification et la mise en œuvre effective de l'audit financier. En principe, il n'y a pas de différence
entre l'importance relative mentionnée dans le critère c) d'ISC 9 (i) et celle mentionnée dans le critère b)
d'ISC 10 (i), sauf qu'ISC 9 (i) c) considère le sujet à un niveau élevé dans le contexte des exigences des
documents d'orientation et qu'ISC 10 (i) b) fournit plus de détails sur le type d'importance relative à
déterminer au stade de l'exécution de l'audit. Nous constatons également que le critère s d'ISC 9 (i) met
en évidence les mêmes informations sur l'importance relative que celles du critère b d'ISC 10 (i). Le
premier considère l'exigence du point de vue des normes/politiques et le second du point de vue de la
planification et de la mise en œuvre.
80. Question: Notre ISC n'a pas de fonctions juridictionnelles. Elle n'a pas non plus de mandat pour
réaliser des audits de performance (bien que cela soit en cours de discussion). Dans ce cas, si nous
suivons la méthodologie « Pas de note », nous considérerons que les dimensions (ii) et (iv) de cet
Page 42 de 53
indicateur sont notées Non Applicable, et comme plus d'une dimension est notée N/A nous
donnerons par conséquent N.A. à l'ensemble de l'indicateur. Mais cela signifie que nous n'obtenons
pas de note pour la couverture de nos audits financiers et de conformité.
Réponse: Dans cet indicateur, qui est le seul qui combine les différents types d'audit/contrôle en un seul
indicateur, nous permettons une interprétation spéciale de la méthodologie « Pas de note» : Dans les
cas où l'ISC n'a pas de fonctions juridictionnelles, il convient de ne pas tenir compte de la dimension (iv)
lors de l'application de la méthodologie « Pas de note » et d'agréger la note comme si la dimension n'a
que trois dimensions ((i), (ii), (iii)). Dans votre cas, cela signifie alors qu'une seule dimension (pour l'audit
de performance) est notée Non Applicable, et la note de l'indicateur sera conservée. L'approche doit être
expliquée dans le texte narratif.
81. Question: Dimension (i) Couverture de l'audit financier : Les entités que notre ISC contrôle
n'envoient pas automatiquement leurs états financiers à l'ISC. Au contraire, nous les obtenons
lorsque nous nous rendons sur place pour effectuer l'audit. Comment devons-nous alors mesurer
cette dimension (pourcentage des états financiers qui sont audités)?
Réponse: Dans ce cas, l'évaluateur peut baser la notation sur le nombre (ou la valeur) des audits
financiers effectués par rapport au nombre total (ou à la valeur) des entités auditées qui doivent être
soumises à un audit financier. Veuillez expliquer dans le texte pourquoi vous avez choisi une approche
différente.
82. Question: ISC-8 dimension (i) – Couverture de l'audit financier, prenons-nous l'échantillon d'audit
comme base de calcul?
Réponse: Non. Pour calculer la couverture de l'audit financier, vous devez obtenir des informations des
systèmes de l'ISC pour l'exercice définie comme étant la portée de l'évaluation (le dernier exercice au
cours de laquelle l'ISC a reçu un jeu complet ou presque complet d'états financiers) concernant (a) le
nombre d'états financiers complets que l'ISC a reçus au cours de la période déterminée (dans le cas où
l'ISC a un accès instantané aux systèmes, ce nombre est égal à celui qui était prévu dans le plan, moins les
états financiers qui n'étaient pas prêts au moment prévu par l'ISC) b) le nombre d'audits financiers
finalisés dans les délais prévus par la loi ou, en l'absence de tels délais, les délais prévus dans les critères.
Le % est calculé en divisant : b/a
83. Question: ISC 8 dimension (iv), Couverture du Contrôle juridictionnel, le « stock de comptes »
désigne-t-il le volume des opérations contrôlées ? Notre ISC exerce une fonction juridictionnelle qui
consiste à contrôler les opérations (recettes, encaissements, décaissements, etc.) et à déterminer si
elles sont conformes ou non aux lois, règles et règlements. Si ce n'est pas le cas, nous émettons un
Avis d'accusation ou un Avis de rejet et nous déterminons les personnes responsables de ces
opérations. Je présume que ces dernières représentent les « comptes jugés » comme mentionné
dans le critère (c).
Page 43 de 53
Réponse: Le critère (a) d'ISC 8 (iv) fait référence au nombre de comptes à juger sous l'autorité de l'ISC. Il
est exact dans le cas présenté que cela signifie des opérations. Le mot « stock » est utilisé car il peut y
avoir des comptes/opérations reporté(e)s de l'année précédente. Le critère (b) est basé sur la valeur
financière tandis que le critère (c) est basé sur le travail effectué par rapport au travail prévu.
84. Question: Couverture d'audit, ISC 8 dimension (ii) critère « h » (audits de performance) : « Au cours
des cinq dernières années, l'ISC a publié des rapports couvrant au moins six des secteurs/thèmes
suivants » et dimension (iii) critère « d » (audits de conformité) : « Au cours des trois dernières
années, les thèmes abordés dans le cadre des audits ont porté sur au moins un des éléments
suivants : « Nous avons décidé de noter ces critères « non applicable », car ce n'est que l'année
dernière que nous avons commencé à mettre en œuvre les nouvelles méthodes d'audit et nous
n'avons donc pas couvert le nombre de sujets requis par les critères en raison du temps limité. Est-il
correct d'attribuer la note « non applicable » à ces critères, étant donné que nous venons juste de
commencer la mise en œuvre de la nouvelle méthodologie d'audit?
Réponse: Pour commencer, l'ISC doit noter le critère sur la base des audits achevés pour lesquels le
Vérificateur Général ou le Président de l'ISC a signé les rapports, sinon certains critères peuvent ne pas
être notés, par exemple en ce qui concerne les rapports, et même l'évaluation des preuves en fonction du
degré d'achèvement des audits. Le fait que l'ISC en soit à sa première année de mise en œuvre d'une
nouvelle méthodologie d'audit ne justifie pas en soi que la dimension (ii) du critère « h » et la dimension
(iii) du critère « d » soient notées « non applicable ». Il est souhaitable que, outre les audits réalisés sur
la base de la nouvelle méthodologie d'audit, l'ISC prenne en considération d'autres audits de performance
et de conformité réalisés selon l'ancienne méthodologie, pour autant que ces audits aient été effectués
dans la période visée par les critères. L'ISC peut également redéfinir les critères en réduisant le nombre de
sujets requis dans chaque cas concernant les deux types d'audit. Dans les deux cas, l'ISC doit expliquer
clairement les calculs effectués pour obtenir la note des critères.
85. Question: ISC 8 (ii), critère a) « L'ISC a fixé des priorités concernant l’audit de performance en se
fondant sur la notion que l'économie, l'efficience et l'efficacité sont des objectifs d’audit d'égale
importance concernant la légalité et la régularité de la gestion financière et de la comptabilité »
Quelles sont les preuves que nous pouvons fournir ici?
Réponse: Vous devez démontrer que, par rapport aux audits financiers et de conformité, les audits de
performance ne sont pas moins importants. Étant donné que le nombre d'audits de performance est
généralement inférieur à celui des audits financiers et de conformité, car ils sont plus longs à réaliser,
vous devez rechercher d'autres preuves. Par exemple, le nombre d'auditeurs de performance par rapport
aux auditeurs financiers et de conformité, la tendance du nombre de rapports ou les objectifs
stratégiques de l'ISC liés à l'amélioration des audits de performance. Vous pouvez également vous
demander si l'audit de performance est planifié et budgétisé au niveau de l'organisation de la même
manière que les disciplines de l'audit de conformité et de l'audit financier le sont. La tendance d'une ISC à
réaffecter le personnel d'audit de performance à l'audit financier ou à l'audit de conformité peut indiquer
Page 44 de 53
que l'ISC ne considère pas l'audit de performance comme ayant la même importance que l’audit financier
ou de conformité.
86. Question: ISC-8 (iii) c) « Le processus de sélection des entités garantit que toutes les entités relevant
du mandat de l'ISC sont contrôlées dans un délai raisonnable ». Nombre de nos audits de conformité
sont transversaux et couvrent plus d'une entité sous des thèmes tels que les marchés publics de
matériels informatiques, etc. Comment pouvons-nous démontrer que ce critère est rempli?
Réponse: Il est important que chaque entité relevant du mandat de l'ISC soit soumise à un audit de
conformité tous les deux ans. Les entités présentant un risque plus élevé peuvent être contrôlées chaque
année. Un audit transversal qui couvre plusieurs entités peut être un moyen d'assurer la couverture.
L'équipe d'évaluation peut demander à examiner un plan d'audit à long terme ou un autre document qui
présente l'approche de l'ISC.
87. Question: ISC-8(iii), critère a) : « La sélection des entités à contrôler a été fondée sur une évaluation
systématique et documentée des risques et de l'importance relative, et a tenu compte des
ressources disponibles de l'ISC » ; Pouvons-nous fonder l'évaluation sur le critère élaboré et utilisé
par les directeurs des audits, ou avons-nous besoin d'un processus de sélection général?
Réponse: L'ISC doit disposer d'une approche formelle et cohérente pour déterminer et évaluer les risques
concernant les différentes entités, qui soit consignée par écrit.
88. Question: Le terme « audité » utilisé dans le document ISC-8 doit être clarifié. Le terme « audité »
signifie-t-il que le « travail sur le terrain a été achevé » ou que le « rapport a été publié » ? Dans
notre cas, la phase de rapport peut prendre beaucoup de temps et, dans certains cas, elle peut
s'étendre au cycle d'audit suivant pour des raisons indépendantes de notre volonté.
Réponse: Le terme « audité » tel qu'il est utilisé dans ISC 8 (par exemple, dans la dimension i) signifie
qu'un audit a été réalisé et qu'un rapport a été produit et soumis à l'autorité chargée d'examiner ses
conclusions. Cette autorité peut être la direction de l'entité auditée ou un organe tel que le Parlement.
89. Question: ISC-10 (i) k) [et ISC-13 (i) m), ISC-16 (i) k), ISC-19 (i) f)] demandent la mise en place d'un
système permettant de s'assurer que les auditeurs respectent les exigences éthiques de l'ISC lors de
chaque audit. Si l'ISC dispose d'un système lui permettant de signer une liste de contrôle des
exigences éthiques pour chaque audit, peut-on alors considérer que le critère est rempli?
Réponse: Oui, si elle le fait de manière cohérente et si elle dispose d'un système de contrôle et de suivi de
ces exigences. Cela vaut également pour les indicateurs relatifs à l'audit de performance, à l'audit de
conformité et au contrôle juridictionnel.
Page 45 de 53
ISC-11: Résultats de l'audit financier
90. Question: Est-il correct de noter ISC-11 (i) (présentation en temps opportun des résultats d'audit
financier) sur la base d'un échantillon de dossiers d'audit ? Il n'existe pas de système permettant
d'enregistrer les dates de présentation des rapports d'audit pour l'ensemble de la population de
l'ISC. La taille de l'échantillon d'audits financiers n'est cependant que de 3, et il n'est donc pas certain
que cela soit suffisamment représentatif pour donner une indication sur le pourcentage d'audits
effectués dans les délais comme l'exige l'indicateur?
Réponse: Le calcul est effectué sur la base de tous les audits finalisés pendant l'année de la revue dans les
délais prévus. Il ne suffit pas d'utiliser uniquement les audits de l'échantillon. Vous avez besoin
d'informations sur les dates de réception des états financiers et les dates de finalisation de chaque audit
(pas la date d'approbation mais la date à laquelle il est effectivement envoyé à l'autorité compétente)
concernant chaque audit. L'échantillon de 3 audits financiers n'est pas représentatif. La dimension est
notée 0 en raison du fait que l'équipe d'évaluation ne peut pas obtenir suffisamment de preuves pour
fonder sa conclusion.
Il convient toutefois de noter que, concernant certaines ISC, la présentation en temps utile des résultats
d'audit peut également se faire dans le cadre du Rapport d'audit annuel consolidé final. Dans ce cas, le
cadre juridique prévoit normalement un moment précis de l'année où le rapport d'audit final doit être
soumis à un organe tel que le Parlement (Comité des comptes publics) aux fins d’examen. Le respect des
délais sera donc déterminé en vérifiant si le rapport d'audit annuel consolidé a été soumis à l'autorité
compétente dans les délais prévus par le cadre juridique ou dans les délais convenus. (Voir également les
orientations relatives à la Question 73).
91. Question: ISC 12 dimension (i). Devons-nous fournir des citations pour chaque critère ? Elles sont
parfois très longues.
Réponse: Vous n'avez pas besoin de fournir des citations si elles sont trop longues, mais vous devez
indiquer les sections et les pages pertinentes des normes et autres documents d'orientation, et vous
devez évaluer par vous-même si le contenu de ces documents répond au critère. Veuillez utiliser un
tableau afin de fournir des preuves claires pour chaque critère. Il ne suffit pas de dire que les normes sont
conformes aux ISSAI.
92. Question: La dimension (iii) Rapports sur les Audits de performance « indique, dans le critère a), que
« les auditeurs font état de leurs constatations sur l'économie et l'efficience [de l'utilisation des
ressources] et sur l'efficacité avec laquelle les objectifs sont atteints ». Pour remplir ce critère, est-il
Page 46 de 53
nécessaire que l'ISC, dans ses rapports, mentionne explicitement au moins un des E (économie,
efficience ou efficacité) ? Ou faut-il s'en tenir à la nature et à l'objectif principal de l'audit pour
vérifier s'il vise à induire une amélioration vers ces E?
Réponse: Dans l'échantillon de rapports de performance, ils doivent avoir évalué les aspects d'économie,
d'efficience et d'efficacité. Il est plus important d'examiner le contenu du rapport d'audit, à savoir s'ils
examinent réellement les aspects d'économie, d'efficience et d'efficacité, plutôt que les mots qui sont
utilisés. Il y a des cas où les mots E peuvent être mentionnés dans les rapports et ont été inclus comme
questions d'audit, mais où les auditeurs n'ont pas encore vraiment répondu et examiné les trois E dans le
rapport lui-même.
93. Question: ISC-13 (ii), critère e) « Les preuves » (...) doivent être replacées dans leur contexte et tous
les arguments pertinents, les avantages et les inconvénients ainsi que les différentes perspectives
doivent être pris en considération avant de pouvoir tirer des conclusions, en reformulant le ou les
objectifs et les questions de l'audit selon les besoins ». Si, dans l'un des audits de l'échantillon, nous
constatons que les preuves ont été replacées dans leur contexte, et qu'en outre l'équipe d'audit a
décidé de modifier un des critères d'audit au cours du processus afin de mieux refléter ce contexte,
cela fournit-il des preuves suffisantes pour l'ensemble du critère?
Réponse: Comme il s'agit d'un critère mixte, vous devez également examiner si tous les arguments, les
avantages et les inconvénients ont été pris en compte.
94. Question: ISC-13 (ii), critère g) « Une norme élevée de comportement professionnel doit être
maintenue tout au long du processus d'audit (...) ». Quel document devons-nous utiliser pour
prouver cela?
Réponse: Comme dans le texte justificatif du critère, vous devez exercer votre jugement professionnel
pour déterminer si les auditeurs ont travaillé de manière systématique, avec le soin et l'objectivité voulus.
La base sera le dossier d'audit et les documents de travail.
95. Question: Nous avons un critère dans ISC 15, Dimension (iii) Contrôle de la qualité des audits de
conformité, critère c) « En cas de questions difficiles ou litigieuses, les ISC doivent veiller à ce que les
ressources appropriées (telles que des experts techniques) soient utilisées pour traiter ces
questions » ISSAI 140 : page 11, et ce critère nous l'avons également dans les sections sur l'Audit
financier et l'Audit de performance. Veuillez expliquer la signification du terme « expert
technique ». S'agit-il d'un expert qui aidera les auditeurs à comprendre certaines questions ou d'un
expert qui effectuera certaines parties de l'audit?
Réponse: Oui, il peut s'agir des deux. Dans ce contexte, l'expert technique désigne une ou plusieurs
personnes qui peuvent fournir un avis d'expert sur une question qui leur est soumise par l'équipe d'audit
Page 47 de 53
ou qui peuvent participer à la réalisation d'une partie de l'audit, selon l'accord conclu entre l'ISC et
l'expert. Un expert ne devra pas toujours être engagé en dehors de l'ISC. Il existe des situations dans
lesquelles un auditeur très expérimenté dans un domaine d'audit donné et provenant d'une autre équipe
d'audit peut être appelé à assister l'équipe d'audit sur des questions d'audit spécifiques qu'il connaît bien
sur le plan technique. L'important est qu'il existe des canaux et des mécanismes garantissant que l'équipe
d'audit peut compter sur le soutien d'experts chaque fois qu'elle en a besoin.
96. Question: ISC 15 (i) critère e) « Les auditeurs doivent maintenir une communication efficace tout au
long du processus d'audit » ISSAI 400:49. Nous avons une bonne communication entre les membres
du conseil d'administration et les équipes d'audit, ainsi qu'entre le Président du Conseil
d'administration et les auditeurs, mais nous ne pouvons pas en apporter la preuve. Nous n'avons
pas de protocole ni de documents. Que faisons-nous?
Réponse: Le critère e) d'ISC 15 (i) concerne la communication entre l'équipe d'audit responsable d'un
audit spécifique et l'organisme audité (ministère, agence ou autre). Ce critère ne fait pas référence à la
communication entre la direction de l'ISC et les auditeurs, comme le suggère la question. Lors de la
collecte des preuves pour la notation du critère, l'équipe d'évaluation doit notamment examiner si l'ISC a
mis en place des politiques régissant la communication entre l'entité auditée et les auditeurs et comment
cette communication se fait dans la pratique. Par exemple, une lettre officielle est-elle envoyée à l'entité
auditée au début de l'audit ou une réunion d'entrée entre les auditeurs et l'entité auditée pour l’informer
du processus d'audit? En fin de compte, c'est peut-être le jugement professionnel de l'équipe d'évaluation
qui décide de la manière dont ce critère est noté sur la base des preuves disponibles. Par exemple,
l'équipe d'évaluation peut obtenir un retour d'information très important de toutes les équipes d'audit
interrogées sur le processus de communication, chaque équipe décrivant séparément mais de manière
cohérente le même processus, puis l'équipe d'évaluation peut prendre en compte les preuves orales bien
que cela ne fasse que compléter les preuves documentaires en place concernant le critère à noter comme
rempli.
97. Question: Le critère j) de l'ISC-10 (i) stipule que « Les auditeurs doivent planifier l'audit en élaborant
une stratégie et un plan d'audit (...) la stratégie et le plan d'audit doivent tous deux être
documentés par écrit. ISSAI 400:56 ». La norme ISSAI mentionne ici explicitement deux documents,
la stratégie d'audit et le plan d'audit. Quel doit être le contenu de chacun de ces deux documents ?
Nous n'avons ici qu'un seul document formel pour conclure notre phase de planification, appelé
« Matrice de planification ». Il se peut que son contenu couvre les mêmes points que ceux qui
devraient être abordés dans les documents susmentionnés. Nous avons essayé d'en trouver une
description dans les normes ISSAI 400 et ISSAI 100, mais nous n'avons pas réussi.
Réponse: La norme ISSAI 200, paragraphes 80 à 84, semble donner la meilleure description des stratégies
et des plans d'audit. Il est souhaitable de s'en inspirer et de l'adapter, le cas échéant, aux autres types
Page 48 de 53
d'audit. Les normes ISSAI 100 et 400 ne fournissent pas beaucoup d'indications sur le contenu de ces deux
normes, tandis que la norme ISSAI 300 est muette sur ce point. Le principe de la primauté du fond sur la
forme est ici essentiel. Il ne peut y avoir deux documents distincts appelés stratégie d'audit et plan
d'audit. Il est également possible qu'une partie du contenu relatif à la stratégie d'audit (au niveau de la
mission) soit couverte dans le plan d'audit annuel global de l'ISC (ou un document similaire) au niveau de
l'organisation.
98. ISC-16, i) et iii), critères d) et d) « Les auditeurs doivent maintenir une communication efficace tout
au long du processus d'audit » et « l'auditeur doit également informer la partie responsable des
critères d'audit » et d) « Les auditeurs doivent maintenir une communication efficace tout au long du
processus d'audit », et pendant l'audit « les cas de non-conformité importante doivent être
communiqués au niveau de gestion approprié ou aux personnes chargées de la gouvernance ». Quel
est l'objectif de chacun de ces critères et de quels documents avons-nous besoin comme preuves?
Réponse: Dans le premier cas ISC-16(i) d), vous devez disposer de preuves écrites, par exemple sous la
forme d'une lettre ou d'un compte rendu d'une réunion d'information de démarrage avec l'entité auditée,
au cours de laquelle les critères d'audit spécifiques ont été clairement expliqués à l'entité auditée. Dans le
second cas ISC-16 (iii)-d, vous devez disposer d'une communication officielle, par exemple une lettre dans
laquelle l'équipe d'audit a informé la direction de l'entité auditée des cas de non-conformité. Cela peut
également être fait en relation avec des demandes d'informations et de preuves supplémentaires.
99. Question: ISC-16 (i), critère h) « Les auditeurs doivent comprendre l'environnement de contrôle et
les contrôles internes pertinents (...) » Bien que la compréhension de l'environnement de contrôle
et des contrôles s'effectue en grande partie dans le cadre de la planification de l'audit (qui est la
dimension de ce critère), il y a une compréhension et une étude supplémentaires des contrôles
internes pendant la mise en œuvre. Si le dossier d'audit montre une étude postérieure significative
de ce type au stade de la mise en œuvre, considérons-nous que le critère est rempli ou non?
Réponse: Même si le critère fait référence à la phase de planification de l'audit et donc aussi à l'attente
de certains travaux préparatoires avant la phase de dépôt du dossier d'audit, la situation décrite est bien
sûr possible. Tant qu'il existe des preuves d'une connaissance préliminaire suffisante de l'environnement
de contrôle qui a permis de planifier correctement les procédures d'audit, le critère est rempli.
100. Question: ISC-16 (ii), critère b) « Si l'auditeur rencontre des cas de non-conformité qui peuvent
être révélateurs d'une fraude, il doit faire preuve de la prudence et du soin professionnels
nécessaires afin de ne pas interférer avec d'éventuelles procédures judiciaires ou enquêtes futures »
Quel document devons-nous utiliser pour démontrer l'inexistence d'une fraude?
Réponse: Si l'audit n'a révélé aucune indication sur l'existence ou la possibilité d'une fraude, ce critère ne
s'applique pas et doit être noté non applicable. Toutefois, l'évaluateur doit examiner si la dimension (i) du
critère i) qui exige de l'auditeur qu'il évalue le risque de fraude est remplie. Si la dimension (i) du critère i)
Page 49 de 53
n'est pas remplie, il est raisonnable de noter le critère b) d'ISC 16 (ii) comme non rempli puisque la
condition préalable à l'identification du risque de fraude n'a pas été remplie au départ.
101. Question: ISC-16 (iii), critère c) « Les auditeurs doivent évaluer si des preuves suffisantes et
appropriées sont obtenues et formuler des conclusions pertinentes ... de manière à réduire le risque
d'audit à un niveau faible acceptable ... l'évaluation comprend en outre des considérations
d'importance relative ... [et] le niveau d'assurance de l'audit ». Comment pouvons-nous prouver que
les preuves sont suffisantes et que les conclusions sont pertinentes?
Réponse: C'est le jugement professionnel des évaluateurs fondé sur l'étude du rapport d'audit. Cela
indique l'importance de l'équilibre entre l'expertise et les compétences requises au sein de l'équipe
d'évaluation. Il est recommandé que les personnes chargées d'effectuer l'évaluation de chaque type
d'audit soient des experts dans cette discipline d'audit. De cette façon, l'évaluateur peut arriver à une
conclusion raisonnable sur la base de son expertise et de son expérience dans le domaine en question.
102. Question: Qu'entend-on par « un système d'information de gestion fonctionnel qui comprend
des informations financières et des informations sur la performance » ? Comment la satisfaction de
ce critère est-elle considérée du point de vue pratique, l'accent est-il mis sur l'outil informatique qui
est utilisé pour l'accumulation et l'analyse des indicateurs financiers et de mesure de la
performance?
Réponse: Conformément au principe de la primauté du fond sur la forme, l'accent n'est pas mis sur le fait
de disposer d'un outil informatique. Un système de base dans lequel des indicateurs financiers et de
performance sont établis, des données de référence sont fixées et la performance réelle est contrôlée
régulièrement, est suffisant. Le fait est que ces éléments de performance sont considérés et analysés
ensemble, et non pas séparément seulement.
103. Question: La dimension (ii) demande une stratégie en matière de ressources humaines. Notre
ISC ne dispose d'aucun document spécifique décrivant notre stratégie en matière de ressources
humaines. Donc, en prenant cette formulation au pied de la lettre, nous obtenons automatiquement
une note de zéro. Cependant, notre plan stratégique comprend une section sur les RH. Pouvons-
nous l'utiliser également pour notre notation?
Page 50 de 53
Réponse: Oui, suivez le principe de la primauté du fond sur la forme, tant que le plan stratégique couvre
clairement les aspects RH requis par les critères.
104. Question: Pour noter « rempli» le critère c) de la dimension (iii), le processus de recrutement de
l'ISC doit promouvoir la diversité. Quelle est la signification précise de « promouvoir la diversité » ?
S'agit-il de s'assurer que les sexes/races/minorités sont pris en compte de manière proportionnelle ?
Dans notre système, nous recrutons par le biais d'un concours public officiel, et toutes les personnes
qui remplissent les conditions légales peuvent participer au processus, et celles qui obtiennent les
meilleures notes aux tests sont engagées, en suivant l'ordre de classement. Il n'existe pas de
dispositions légales pour garantir la proportionnalité du sexe ou de la race.
Réponse: Comme vous le suggérez, « promouvoir la diversité » consiste à s'assurer, par exemple, que les
minorités sont prises en compte pour les postes et que les processus de recrutement le permettent. Si, par
exemple, un sexe ou un groupe minoritaire est sous-représenté et que l'ISC ne fait rien dans ses procédures
pour promouvoir la diversité dans le processus de recrutement, le critère n'est pas rempli, même si elle ne
fait pas de discrimination à leur égard dans le processus de recrutement (par exemple, ils peuvent toujours
poser leur candidature dans le cadre d'un concours public officiel). Dans les pays où la promotion de la
diversité de cette manière est illégale, ces actions échappent au contrôle de l'ISC, et le critère est noté
N/A.
105. Question: Notre ISC fait partie de la fonction publique et les ressources humaines sont gérées
de manière centralisée par les autorités de la fonction publique chargées des ressources humaines
pour l'ensemble du gouvernement. Toutefois, l'ISC a une influence limitée sur certaines questions.
Par exemple, l'ISC compte trois membres qui font partie de l'équipe de la fonction publique chargée
d'interviewer les candidats pendant le processus de recrutement. De plus, l'ISC peut proposer aux
autorités de la fonction publique de recruter ou de créer un nouveau poste et les autorités de la
fonction publique peuvent ou non accorder cette autorisation à l'ISC. Sur la base de ces
informations, devons-nous évaluer l'ISC 22 ou la considérer comme non applicable?
Réponse: Lors de l'évaluation de la gestion des ressources humaines d'une ISC, les évaluateurs doivent
déterminer quelles fonctions sont sous le contrôle de l'ISC. Les indicateurs, dimensions et critères qui se
rapportent à des fonctions et processus déterminés en dehors de l'ISC doivent être considérés comme non
applicables, et la méthode de notation ne doit pas être appliquée. Toutefois, les fonctions et les processus
de gestion des ressources humaines doivent quand même être expliqués dans la description narrative de
l'indicateur.
Sur la base des informations fournies, il apparaît que l'ISC a une certaine influence significative sur les
questions de ressources humaines couvertes par l'indicateur. Par conséquent, nous recommandons qu’ISC
22 soit notée et non considérée comme « Non applicable ». Toutefois, comme indiqué dans les documents
d'orientation, les dimensions et les critères d'ISC 22 qui concernent des fonctions et des processus
échappant au contrôle de l'ISC doivent être notés comme « Non applicable ».
Page 51 de 53
106. Question: ISC-22 (i) critère a : L'ISC doit-elle attribuer la responsabilité des ressources humaines à
une personne ou à un service?
Réponse: Les deux cas sont possibles, ce qui est important c'est que les responsabilités et les tâches
soient claires. Dans le cas d'un département ou d'une unité des ressources humaines, celle-ci ou celui-ci
doit être dirigé(e) par une personne qualifiée.
107. Question: ISC-22 (i) critères b à g (Attribution de responsabilités aux RH concernant divers sujets).
Quelles sont les preuves requises?
Réponse: Vous devez déterminer s'il existe des documents écrits clairs, tels qu'un profil de poste ou une
charte des responsabilités de l'unité qui attribue clairement à la personne ou à l'unité des RH ces tâches
spécifiques. Toutefois, vous n'évaluez pas si la tâche est effectivement accomplie et avec quelle qualité.
Par exemple, le critère (b) demande si la responsabilité de l'élaboration d'une stratégie et d'une politique
des RH incombe à l'unité des RH (ou similaire), mais la mesure de la qualité de ces aspects se fait dans les
dimensions (ii) et (iii)
108. Question: ISC-22 (iii) critère d : « Lors de récents recrutements, le processus décisionnel a impliqué
plus d'une personne ». Comment devrions-nous interpréter ce critère?
109. Question: Pour accorder la note « rempli » à g) de la dimension (i), l'ISC doit disposer de
mécanismes permettant de suivre et d'évaluer le résultat du développement professionnel et de la
formation du personnel. L'expression « le résultat du développement professionnel et de la
formation du personnel » fait-elle référence à l'impact de la formation/du développement sur le
travail effectué par le personnel formé ou fait-elle référence à l'impact sur les résultats de
l'organisation?
Réponse: Oui, il est exact que l'évaluation des résultats du développement professionnel et de la
formation fait référence à l'impact de la formation/du développement professionnel continu sur le
travail effectué par le personnel formé. La qualité du travail effectué par le personnel a en fin de compte
un impact sur les résultats de l'organisation. Le critère vise à établir si l'ISC a des habitudes/pratiques
permettant de suivre les progrès qu'elle réalise dans ce domaine de ses activités. Si de tels mécanismes,
routines/pratiques sont en place, le critère est « rempli ».
Page 52 de 53
110. Question : Lors du calcul de la note d'un critère comportant plusieurs sous-critères, comme dans le
cas d’ISC-23 : Considérons-nous que le critère global n'est pas rempli si un seul sous-critère n'est pas
rempli ? Et si un seul sous-critère est noté Non Applicable, comment doit-on procéder concernant la
notation?
Réponse: En règle générale, tous les sous-critères doivent être remplis pour que le critère général soit
considéré comme rempli. Dans les cas où un sous-critère n'est pas applicable, il doit être considéré
comme rempli pour l'évaluation du critère global. Voir des orientations supplémentaires sur la
méthodologie de notation dans la section 3.2.4 du CMP ISC de 2016.
Page 53 de 53