EXPERTISE ET SYNTHÈSE

Méthodes d’expertise
Comment les utiliser ?

1
 Avant-propos

La mobilisation des savoirs experts et profane est souvent un défi et des questions
importantes se posent : Comment définir un expert ? Qui valide ce statut ? Qu’est-ce
qu’une expertise ? Comment en évaluer le processus ? Quel crédit accordé aux
résultats ? Comment identifier et s’affranchir des conflits d’intérêt ?
Depuis le début des années 2000, avec l’augmentation du recours à l’expertise
dans la prise de décision publique et privée, nous avons aussi assisté à la multiplication
des lieux et processus de synthèse de connaissances. Cette inflation n’est pas
mauvaise en soi, elle permet d’offrir un large ensemble de solutions à qui souhaite
recourir à l’expertise, cependant, elle peut aussi, par son foisonnement, apporter
de la confusion, notamment dans le choix et la pertinence d’un processus d’expertise.
Le recours à l’expertise est particulièrement important dans le domaine de
l’environnement, où la décision, puisqu’elle protège l’intérêt général, peut être facteur
de contrainte pour des acteurs ou des citoyens. Les politiques publiques doivent donc
se fonder sur des preuves scientifiques solides et non contestables. Une des façons
d’y parvenir est de choisir une méthode adaptée pour la synthèse des connaissances
expertes et d’en diffuser les résultats de manière synthétique, transparente,
didactique et opérationnelle vers les décideurs.
De nombreux travaux de recherche se sont penchés sur cette question de
l’expertise, des normes ont été publiées, et, notamment la Charte nationale de
l’expertise, issue des travaux du Grenelle de l’environnement, qui a comme objectif
l’harmonisation des pratiques des différents organismes de recherche publics
en matière d’expertise. Mais au-delà de la réflexion sur l’expertise elle-même, l’enjeu
est ici, au travers des travaux synthétisés dans ce guide, d’augmenter la connaissance
sur les principales méthodes d’expertise, outils indispensables de transfert des
savoirs techniques et scientifiques et de favoriser leur sélection éclairée et adaptée
à la problématique à traiter, au contexte et aux moyens alloués. Dans un monde
où les résultats des recherches scientifiques sont de plus en plus nombreux
et complexes, où les spécialistes sont invités à s’exprimer de plus en plus souvent
et portent des messages parfois contradictoires, le choix de la méthode d’expertise,
et donc de la façon dont les connaissances vont être mobilisées est crucial.
Donner confiance dans les résultats des expertises, en connaître les limites,
respecter le principe de transparence font aussi partie des objectifs du guide pour
répondre à l’impératif de crédibilité du processus d’expertise et des résultats obtenus.
L’Office français de la biodiversité (OFB) et la Fondation pour la recherche sur
la biodiversité (FRB) ont travaillé ensemble sur toutes les phases de cet ambitieux
projet et nous espérons que le guide qui en est issu pourra servir largement comme
outil opérationnel d’aide au choix de la méthode d’expertise, tant dans la sphère
publique que privée. En effet, même si la connaissance est présente et disponible,
tout l’enjeu est d’aller la chercher, de la comprendre et de pouvoir s’en servir
en connaissance de cause.

2
SOMMAIRE 5 1. Introduction
6 1.1. Problématique de l’étude et objectifs
7 1.2. Méthodologie
7 1.2.1. Composition du Comité de suivi
8 1.2.2. Travail bibliographique
8 1.2.3. Entretiens semi-directifs
8 1.2.4. Consultation des spécialistes des méthodes

11 2. L’expertise et le choix de la bonne méthode

12 2.1. Qu’est-ce que l’expertise ?
12 2.1.1. La mise en place et les fonctions de l’expertise
15 2.1.2. La schématisation théorique du circuit de l’expertise
17 2.2. Quels sont les objectifs d’une expertise ?
17 2.2.1. La typologie des demandes
18 2.2.2. La nature des réponses attendues
20 2.3. Quels sont les principes de l’expertise et les paramètres à prendre en compte ?
20 2.3.1. Les principes de l’expertise
20 2.3.2. Les résultats des entretiens
22 2.3.3. Les paramètres à prendre en compte lors d’une expertise
26 2.4. Comment choisir une méthode d’expertise ?
26 2.4.1. Les méthodes d’expertise sélectionnées
26 2.4.2. Le choix de la bonne méthode
35 2.5. Les méthodes d’expertise ne résolvent pas tout
35 2.5.1. De l’importance du choix des experts
35 2.5.2. De l’importance de la complémentarité des méthodes d’expertise
38 2.5.3. Les formes de diffusion/communication des conclusions d’une expertise

41 3. Les méthodes d’expertise

42 3.1. Cartographie systématique (Systematic map)
44 3.2 Évaluation rapide des faits avérés (Rapid Evidence Assessment)
46 3.3. Expertise scientifique collective (ESCO)
50 3.4. Méta-analyse (Meta-Analysis)
52 3.5. Modélisation
54 3.6. Revue exploratoire (Scoping Review)
56 3.7. Revue systématique (Systematic Review)
60 3.8. Synopsis et résumés de faits avérés sur un vaste sujet /
Subject-wide Evidence Synthesis (Summaries et synopses)
62 3.9. Élaboration de scénarios/Prospective
64 3.10. Prise de décision structurée (Structured Decision Making)
66 3.11. Analyse de chaînes de causalité (Causal Criteria Analysis)
68 3.12. Aide multicritères à la décision (Multi Criteria Decision Analysis)
70 3.13. Analyse de discours
72 3.14. Cartographie participative (Participatory mapping)
74 3.15. Consultation de multiples experts avec une méthode
de consensus formalisée telle que Delphi
76 3.16. Consultation d’experts
78 3.17. Établissement des faits (Joint Fact-Finding)
80 3.18. Gestion adaptative collaborative (Collaborative adaptative management)
82 3.19. Groupe de discussion (Focus group)

85 4. Conclusion

87 5. Annexes

102 Glossaire
103 Table des figures / Table des tableaux

2 3
 1. Introduction

Quel que soit le domaine et notamment celui de la biodiversité,

on assiste au développement du recours à l’expertise pour légitimer
l’action publique. La décision publique doit « non seulement être
éclairée par la science, mais donner à voir ses fondements scientifiques »1.
Il existe ainsi une exigence de plus en plus forte de fonder les politiques
publiques sur des preuves scientifiques, c’est particulièrement vrai
dans la sphère de la biodiversité.
Néanmoins, l’expertise en France a été marquée par des événements
qui ont entravé la confiance du public envers la compétence ou
l’intégrité des experts et l’impartialité des décideurs avec un « certain
scepticisme à l’égard des modalités de production, de circulation et
d’utilisation des connaissances disponibles pour la décision publique »2.
Cette période, qualifiée d’ère de la défiance3, a toutefois initié une
importante réflexion qui a permis la réorganisation de l’expertise4
dans un contexte d’accès à une masse d’informations croissante
induite par le développement de la recherche au niveau mondial,
la révolution numérique et l’ouverture des espaces de délibérations
des institutions publiques.
Dans ce contexte, le présent travail a pour objectif de participer
à la diffusion de la culture et des méthodes liées à l’expertise,
outil indispensable de transfert des connaissances techniques et
scientifiques – de manière synthétique, transparente et opérationnelle –
vers les décideurs.

1. Yvon Le Maho et Julien Boucher. (2011). Mission de réflexion sur l’organisation française en matière d’expertise sur la biodiversité
(p. 23). Consulté à l’adresse Ministère de l’écologie, du développement durable, des transports et du logement website : https://
www.ladocumentationfrancaise.fr/var/storage/rapports-publics/114000285.pdf
2. Daniel Agacinski. (2018). Expertise et démocratie : Faire avec la défiance (p. 194). Consulté à l’adresse https://www.strategie.
gouv.fr/sites/strategie.gouv.fr/files/atoms/files/fs-rapport-expertise-et-democratie-final-web-14-12-2018.pdf
3. Idem
4. Parmi les affaires les plus marquantes au cours du XXe siècle, l’affaire du « sang contaminé » en 1985, du « nuage de Tchernobyl »,
de l’amiante, la crise de la « vache folle », ou celle du Médiator.

4 5
 Introduction Introduction

1.1. Problématique de l’étude et objectifs L’étude menée vise à identifier les méthodes d’ex- 1.2. Méthodologie
pertise et les contextes dans lesquels elles sont mobi-
Actuellement, plusieurs méthodes peuvent être utili- lisées. Les documents produits ont pour objectifs de La présente étude s’appuie sur une enquête qualita-
Le projet européen Eklipse
sées pour produire des expertises. Or, leurs différents faciliter le choix des méthodes et de favoriser les tive et sur les grands travaux existants sur le sujet,
avantages et inconvénients ne semblent actuellement bonnes pratiques en termes d’expertise, aussi bien du notamment sur le projet européen Eklipse (voir enca- Le projet européen Eklipse 6 a pour ob-
pas encore suffisamment bien connus, aussi bien chez côté des commanditaires (qui formulent des questions dré). Le présent projet d’étude se base sur les « fiches jectif majeur de permettre aux décideurs
les commanditaires que chez les opérateurs potentiels, ou des besoins) que des opérateurs (qui produisent méthodes » rédigées dans le cadre d’Eklipse et cherche et aux acteurs de la société de tirer parti
pour permettre une sélection éclairée.   l’expertise en réponse aux commanditaires).   à faire émerger les spécificités françaises en prenant des études existantes en synthétisant les
en compte les attentes des commanditaires et des opé- connaissances disponibles dans le cadre
Plusieurs questionnements ont émergé au cours de Les livrables attendus devraient permettre de : rateurs d’expertise. d’une procédure de demande. Un des rap-
l’étude : ports réalisés offre un inventaire des mé-
• Comment les opérateurs et les commanditaires • Développer la connaissance sur les principales L’enquête, constituée d’un travail de bibliographie, thodes de synthèse de connaissances sous
sélectionnent-ils la méthode la plus adaptée à la méthodes utilisées pour l’expertise et leurs spécifici- d’entretiens semi-directifs et de la consultation de spé- forme de « fiches méthodes » et établit des
problématique à traiter, au contexte et aux moyens tés, afin de mieux les utiliser et/ou en justifier l’usage. cialistes des méthodes ne prétend pas être exhaustive. critères de comparaison.
alloués ? Il s’agit avant tout de combler un déficit d’information Elle a été conduite de la façon la plus large et la plus
• Quels sont les éléments de contexte à prendre en et de permettre une acculturation de l’ensemble des complète que possible, dans la limite des moyens fi- Le projet Eklipse porte sur les méthodes de
compte ? acteurs du monde de la biodiversité grâce à un docu- nanciers et humains affectés au projet. Dans ce cadre, synthèse de connaissances définies comme
• Selon quels critères est fait le choix des méthodes ? ment court et pédagogique ; les recommandations des membres du comité de suivi des méthodes d’examen, de compilation
• Peut-on modéliser le processus qui mène au choix ont été essentielles étant donné que les organismes et de communication des meilleures
des méthodes ? • Améliorer la pratique de l’expertise au sein des qu’ils représentent concentrent les capacités d’exper- connaissances disponibles sur un sujet
• Quels sont les biais qui existent dans le choix des opérateurs en aidant au choix de la méthode d’exper- tise en France, dans le domaine de la biodiversité. ou une question spécifique. Les connais-
méthodes ? tise, en fonction de la question posée et du contexte. sances mobilisées peuvent être de diffé-
• Quels sont les avantages et inconvénients des mé- Ce deuxième objectif concerne des agents spécialisés, rentes natures (scientifiques, techniques,
thodes utilisées ? et par nature, beaucoup moins nombreux, dans la 1.2.1. Composition du Comité de suivi savoirs autochtones, savoirs locaux, etc.)7.
• Quels sont les critères qui favorisent l’utilisation de mise en œuvre d’expertise pour les aider à interagir
telle ou telle méthode ?   avec le commanditaire dans la phase de construction François Alberguel IRD
• Quels sont les besoins des opérateurs et des usa- d’un projet d’expertise : document plus précis sur les
gers pour favoriser les bonnes pratiques en termes modalités de choix de méthodes d’expertise, la mise en Daniel Barthelemy​ Cirad
de choix de méthodes à adopter dans un contexte œuvre des méthodes, les références bibliographiques, Sylvie Benard​ LVMH
défini ?   des retours d’expériences. Il s’agit ici d’un véritable
document d’aide à la décision. Romuald Berrebi OFB
Considérant qu’il est indispensable de sélectionner la Céline Boudet Ineris
méthode la plus adaptée à la problématique à traiter, Ces deux objectifs initiaux pourraient concourir au
Régis Ferron IRD
à l’objectif recherché, au contexte et aux moyens al- développement de formations permettant aux com-
loués, l’Office français pour la biodiversité5 et la Fon- manditaires et aux agents spécialisés de se former à Jean-Luc Foucher BRGM
dation pour la recherche sur la biodiversité se sont des méthodes qu’ils n’ont jamais pratiquées voire ne Martine Hossaert CNRS
associées dans le cadre d’une coopération afin de ré- connaissent pas.
pondre à ces divers questionnements. Vincent Hulin​ MNHN
Guy Landmann GIP Ecofor
Barbara Livoreil FRB et consultante
freelance
Léa Marty Ifremer
Patrice Mengin-Lecreulx ONF
Hervé Pernin​ ADEME notes6 Eklipse7
Didier Richard​ Inrae
6. Dicks L.V., Haddaway N., Hernández-Morcillo M., Mattsson B., Randall
Guy Richard​ Inrae
N., Failler P., Ferretti J., Livoreil B., Saarikoski H., Santamaria L., Rodela
François Rousset​ Université R., Velizarova E., & and Wittmer H. (2018). Knowledge synthesis for envi-
5. L’Agence française pour la biodiversité (AFB) a été créée par la loi sur de Montpellier ronmental decisions : An evaluation of existing methods, and guidance
la reconquête de la biodiversité le 8 août 2016. Le projet de loi portant for their selection, use and development : A report of the EKLIPSE project
Hélène Soubelet FRB
création de l’Office français de la biodiversité, qui reprend les missions de (Contract No : 690474) (p. 82). Consulté à l’adresse http://www.eklipse-
l’Agence française pour la biodiversité (AFB) et de l’Office national de la Philippe Vauchaussade Cerema mechanism.eu/apps/Eklipse_data/website/EKLIPSE_D3-1_On-lineRe-
chasse et de la faune sauvage (ONCFS), a été examiné et adopté au Sénat port_NewInset4Print_012019_HL3.pdf
par la Commission mixte paritaire le 16 juillet 2019. 7. Définition du rapport Eklipse.

6 7
 Introduction Introduction

1.2.2. Travail bibliographique 1.2.3. Entretiens semi-directifs Nom / Prénom Rattachement Méthodes

Le travail bibliographique a consisté à consulter : Des entretiens semi-directifs ont été menés auprès des Augusto Laurent Inrae Méta-analyse
• plusieurs rapports et travaux (notamment, les livrables opérateurs et des commanditaires. Le choix des per-
d’Eklipse sur les synthèses de connaissances, le rapport sonnes interviewées8 s’est fait en tenant compte de la Becu Nicolas CNRS Cartographie participative,
de la Fondation Baudouin et le rapport de la Fondation diversité des acteurs concernés et des contraintes de Gestion adaptative collaborative
Nicolas Hulot sur les méthodes participatives) ; temps. Boya Mireia Université Pompeu Fabra de Barcelona Gestion adaptative collaborative
• des articles et des documents issus de différentes
Burini Federica Université de Bergame Cartographie participative
bases de données et moteurs de recherche (notam- L’objectif de ces entretiens est de structurer les
ment, Google scholar, Cairn, Persée) ou identifiés par connaissances sur l’expertise, via le recueil d’avis : Colbach Nathalie Inrae Modélisation
des membres du comité de suivi de l’étude ; • auprès des commanditaires d’expertise potentiels Curt Corinne Inrae Aide multicritères à la décision
• des recommandations de lecture issues de la consul- pour préciser leurs besoins de connaissances et mieux
tation des spécialistes de certaines méthodes, des connaître les contextes de leur demande9 ; Dhaskali Marilda FRB Élaboration de scénarios/Prospective
commanditaires ou des opérateurs de l’expertise. • auprès des opérateurs d’expertises dans le monde de Dicks Lynn Université de Cambridge Établissement des faits, Synopsis et résumés
la biodiversité, de l’écologie, de l’environnement afin
de mieux identifier leurs pratiques et leurs besoins10. Fleury Laurent Inserm Expertise collective
L’activité d’expertise n’est pas uniquement une syn- Gaucherel Cédric Inrae Modélisation
thèse de connaissances. En effet, l’expertise a pour but : Une limite à cette enquête a été la disponibilité des
Kalampalikis Nikos Université Lumière Lyon 2 Groupe de discussion
• d’assurer un porter à la connaissance, commanditaires pour répondre aux demandes d’entre-
• d’émettre des recommandations, c’est-à-dire tiens. Ainsi sur près de cinquante person­nes interviewées, Livoreil Barbara FRB et consultante freelance Analyse de chaîne de causalité, Cartographie
de suggérer des actions à entreprendre, seulement une dizaine sont des com­manditaires. systématique, Consultation Delphi, Évaluation rapide des
• d’émettre des avis, c’est-à-dire d’assoir une position faits avérés, Revue exploratoire, Revue systématique
d’autorité ou bien encore Makowski David Inrae Consultation d’experts, Méta-analyse,
• de construire des scénarii. 1.2.4. Consultation des spécialistes Synopsis et résumés
des méthodes
McCreary Scott Concur Inc. Établissement des faits
• Remarques sur la sémantique utilisée
La sémantique utilisée dans ce guide est définie dans Lors de la rédaction de ce guide, les spécialistes des Meyer Vincent Université Côte d’Azur Élaboration de scénarios
le glossaire (voir p. 102). Il existe plusieurs interpré- méthodes ont été consultés pour relecture. Ces spécia- Noucher Matthieu CNRS Cartographie participative
tations des termes utilisés que nous n’excluons pas. listes ont été identifiés lors des entretiens et au travers
L’étude de l’activité d’expertise doit être dynamique de la bibliographie. Réchauchère Olivier Inrae Modélisation
car l’expertise évolue en fonction des contextes et des Richard Guy Inrae Expertise scientifique collective
structures qui la mettent en œuvre et ne sont pas figés.
Sordello Romain OFB (UMS PatriNat) Cartographie systématique, Revue systématique
Tacnet Jean-Marc Inrae Aide multicritères à la décision
Gentzbittel Laurent Toulouse INP, Agro Toulouse Consultation d’experts

TABLEAU 1 LISTE DES SPÉCIALISTES DES MÉTHODES MOBILISÉS POUR LA RELECTURE DES FICHES MÉTHODES
8. La population d’étude regroupe les usagers (commanditaires compris),
les opérateurs des méthodes d’expertise et toute personne amenée à uti-
liser des expertises pour l’aide à la décision et ou l’action. La population
enquêtée (sur laquelle sont réalisés les entretiens) regroupe les usagers
(commanditaires compris) et les opérateurs des méthodes d’expertise. La
liste des personnes interviewées dans le cadre de l’enquête apparaît en
Annexe 2. Les grilles d’entretiens sont disponibles en Annexe 3.
9. Cette enquête a comme objectif de définir le contenu et l’organisation
de la plaquette afin qu’elle réponde aux mieux au besoin des commandi-
taires. Notamment, en tentant de comprendre l’objet de la saisine (évalua-
tion, compréhension des pratiques ou d’un phénomène, aide à décision
publique, étude de faisabilité).
10. Les résultats permettront de préciser le contenu du guide méthodolo-
gie : quels critères de comparaison et de choix des méthodes, arbres de
décisions, quelle précision de la description des méthodes, identification
des méthodes à prendre en compte. Il s’agit de mieux connaître l’expertise,
pourquoi elle est mobilisée et à quelle fin.

8 9
 2. L’expertise et le choix
de la bonne méthode

Après avoir décrit le processus de l’expertise et structuré un schéma

du circuit de l’expertise, nous nous intéresserons à la demande
ou la question posée par les commanditaires afin d’élaborer
une typologie, ainsi qu’à la nature des réponses attendues.
Dans une troisième et une quatrième partie nous verrons au regard
de quels principes s’apprécient l’expertise, à la fois pour les opérateurs
et les commanditaires, ainsi qu’aux contraintes liées à l’expertise.
Dans la dernière partie, nous nous intéresserons aux méthodes,
leurs principales caractéristiques, leurs avantages et leurs inconvénients,
au regard notamment des critères de choix des commanditaires
et des opérateurs et au final nous élaborerons une aide à la décision
permettant de sélectionner les méthodes.

10 11
 L’expertise et le choix de la bonne méthode L’expertise et le choix de la bonne méthode

2.1. Qu’est-ce que l’expertise ? 2.1.1 La mise en place et les fonctions • La norme française (NF X50-110) « Qualité en De manière générale, l’expertise ne crée pas de nou-
de l’expertise expertise – Prescriptions générales de compétence velles données mais exploite des connaissances (à leur
pour une expertise » limite de validation). Elle peut ou non se baser sur
La mise en place et la structuration du processus d’ex- l’expérience des experts. Il faut distinguer la mobilisa-
pertise en France ont été réalisées progressivement11. Cette norme, publiée en mai 2003 a pour but de cla- tion de ces connaissances (notamment dans le cadre
Les grandes étapes clés sont présentées dans la frise rifier le processus d’expertise, afin d’améliorer sa d’opération d’expertise) et la production de données15
ci-après et constituent le cadre de l’étude : transparence et la traçabilité de la démarche (Pierre (dans le cadre des activités de recherche).
Perouty, 2010). Selon le document, le processus d’ex-
pertise comprend plusieurs étapes, de l’évaluation de • La charte nationale de l’expertise :
la question posée à la fourniture au client du produit Dans le domaine de la recherche, les principes d’une
de l’expertise en passant par le choix ou la conception expertise scientifique ont été repris dans la charte
d’une méthode d’expertise appropriée12. nationale de l’expertise (cf. Annexe 1) préconisée par
2010 Dans cette norme, l’expertise est définie comme le Comité opérationnel « Recherche » du Grenelle de
La charte nationale de l’expertise « l’ensemble des activités ayant pour objet de fournir l’environnement et signée par un grand nombre d’or-
Mai 2003 préconisé par le Comité 2015
Norme NF X-110 opérationnel « Recherche » du Adoption de la norme européenne à un client, en réponse à la question posée, une in- ganismes de recherche en 2010. Cette charte s’appuie
Qualité en expertise-prescriptions Grenelle de l’environnement et EN 166775 « Service d’expertise – terprétation, un avis ou une recommandation, aussi sur la norme Afnor NF X50-110.
générales de compétence pour signée par un grand nombre Exigences générales relatives aux objectivement fondés que possible, élaborés à partir La charte nationale de l’expertise se fonde sur le
une expertise d’organisme de recherche en 2010 services d’expertise » des connaissances disponibles et de démonstrations caractère national de la mission d’expertise au sens
accompagnées d’un jugement professionnel ». de l’article L.411 du code de la recherche, modifié par
Selon la norme Afnor NFX 50-110, l’expertise uti- la loi n°2006-450 du 18 avril 2006 et qui spécifie que
lise les synthèses de connaissances dans le but de l’expertise scientifique fait partie de la mission d’inté-
produire si besoin un avis, une recommandation, rêt national des personnels de la recherche.
des scénarios, etc. Cette charte est également citée dans le décret
2006 2013 2019
n°2013-413 du 21 mai 2013 portant approbation de
Intégration de l’expertise Citation de la norme dans le décret Opportunité de réviser
scientifique dans les missions des no 2013-413 portant approbation la norme NF X50-110 la charte de l’expertise sanitaire prévue à l’article
personnels de la recherche (article de la charte de l’expertise sanitaire L. 1452-2 du code de la santé publique16 relative au
L.411 du code de la recherche) prévue à l’article L.1452-2 (2011) du renforcement de la sécurité sanitaire du médicament
code de la santé publique relative et des produits de santé.  
au renforcement de la sécurité La norme AFNOR sur l’expertise en-
sanitaire du médicament et des tame une procédure de révision pour Les organismes et instituts signataires ont décliné
produits de santé
plusieurs raisons : la charte à travers des documents internes. Elle leur
• Nécessité d’intégrer les nouvelles tech- permet d’aider à la mise en œuvre de l’expertise en
nologies (ex. cloud computing, IA) ain- rappelant les grands principes à respecter, et les règles
FIGURE 1 LES GRANDES ÉTAPES LIÉES À L’INSTITUTIONNALISATION DE L’EXPERTISE EN FRANCE si que les parties prenantes dans la ré- d’acceptation ou de refus d’une commande.
flexion pour la conduite d’une expertise Par exemple, lors de la réception d’une demande
• Expliquer le lien entre la norme euro- d’expertise, celle-ci est instruite pour évaluer sa fai-
péenne13 et la norme française et inté- sabilité et sa conformité avec la charte nationale de
grer les fascicules de documentation14 l’expertise ou les propres chartes des organismes. Les
• Contribuer à l’amélioration de l’explici- organismes de recherche ont le droit de refuser une
tation des bonnes pratiques nécessaires expertise. Dans sa charte de l’expertise et par souci
à la maîtrise des activités d’expertise. déontologique, l’Ifremer rappelle que « si les missions
ou les intérêts ou les activités de l’Ifremer sont sus-
ceptibles de compromettre sa neutralité vis-à-vis de
13. La norme européenne EN 16775 « Services d’expertise
l’expertise à réaliser », il peut refuser une demande
Exigences générales relatives aux services d’expertise » est
d’expertise en motivant son choix. Dans ce cas-là,
adoptée en décembre 2015.
il est demandé au commanditaire de reformuler sa
14. Le fascicule de documentation présente les modes pos-
demande.
sibles de démonstration et de reconnaissance de la confor-
mité des expertises aux exigences de la norme NF X 50-110.

15. Des exceptions existent, notamment dans le cas où une revue systéma-
tique inclut une méta-analyse. La méta-analyse créera des données secon-
daires sur la base de données primaires (issues de mesures directes de ce
11. Les premières expertises réalisées datent des années 1990 (INSERM). 12. Qualité en expertise, prescriptions générales de compétence pour une qui est étudié).
L’Inra réalise sa première expertise en 2002. expertise, Association française de normalisation (AFNOR) (2003). 16. Loi n°2011-2012 du 29 décembre 2011.

12 13
 L’expertise et le choix de la bonne méthode L’expertise et le choix de la bonne méthode

2.1.2 La schématisation théorique une cohérence entre la question posée et les outils dis-
Bailleurs
du circuit de l’expertise ponibles et mobilisés pour y répondre, mais également
Financent les travaux de l’expertise.
Ce sont les maîtres d’ouvrage
entre le délais requis par le commanditaire, souvent
(Que faut-il faire ?) (Ex. AFD, Le schéma théorique suivant (figure 2) présente le cir- dans l’urgence, et le temps nécessaire à une expertise
Ministères, FAO, BID, UNESCO) cuit de l’expertise permettant de mieux rendre compte de qualité.
Parties-prenantes et usagers
des différentes phases de l’expertise et des acteurs et La deuxième phase consiste à établir les modalités
Bénéficiaires indirects des résultats; ils définit le vocabulaire utilisé dans ce rapport : de contractualisation entre les commanditaires et les
peuvent être enquêtés et l’expertise opérateurs (ex. contrats gré à gré, sous-traitance).
répond à leurs problématiques
Commanditaires (bénéficiaires) (Ex. citoyens, agriculteurs/pêcheurs/
6. Transfert des résultats
Les acteurs Afin de pouvoir répondre à la demande et mettre à
Passent un ordre de réalisation maraîchers, communautés, ...)
d’un transfert de connaissances. de l’expertise / application des résultats Ils utilisent les connaissances disponibles
disposition les résultats de l’expertise, les opérateurs
Les commanditaires font appel à un et les résultats de l’expertise pour • Les bailleurs financent les travaux de l’expertise. Ce peuvent constituer un groupe d’experts et mobiliser
opérateur (Comment faut-il faire ?) prendre des décisions et mettre en sont les maîtres d’ouvrage. Bien souvent le comman- des méthodes d’expertise (phase 3 et 3 bis).
(Ex. bureaux d’étude, OFB, œuvre des actions pour répondre à une ditaire et le bailleur de fond est la même structure. Ils peuvent consulter les usagers ou parties-pre-
Agreenium, France Stratégie, 7. Définition de la problématique problématique. (Ex. ONG, associations,
de départ
• Les commanditaires passent l’ordre de réalisation nantes pour enrichir leurs informations en prenant en
Collectivités territoriales) groupement professionnel...)
de l’expertise. compte les enjeux des parties-prenantes, les pratiques
• Les opérateurs réalisent l’expertise, ce sont les liées à divers métiers, leurs savoirs, etc. (phase 4).
maîtres d’œuvre. Une fois l’expertise terminée, les opérateurs procèdent
à la mise à disposition les résultats de l’expertise
1. Dialogue Opérateurs (phase 5).
Utilisent les méthodes d’expertise Les phases du circuit de l’expertise Les usagers et parties prenantes bénéficient aussi
en les mettant directement en œuvre.
des résultats des expertises transférées et ils sont di-
2. Contractualisation Ils ont déjà utilisé une ou plusieurs
méthodes d’expertise, dans leurs
La première phase est celle de la négociation. Les rectement concernés lorsque des décisions sont prises
travaux de recherche ou en répondant commanditaires peuvent lancer un appel d’offre ou par les commanditaires sur la base des résultats de
à une commande par exemple, ce sont contacter directement les structures souhaitées. La l’expertise17. Selon les pratiques, la diffusion large
les maîtres d’œuvre. 4. Intégration des phase de négociation est cruciale car elle définit les des résultats d’une expertise est assurée par l’opéra-
(Ex. Instituts de recherche, agences parties-prenantes et contours de la demande et les méthodes utilisées, teur ou le commanditaire (phase 6).
5. Mise à disposition d’experts, etc.) des usagers dans
elle peut être plus ou moins longue en fonction du
des résultats de l’expertise le cadre de l’expertise.
niveau de compréhension entre les deux parties. Gé- Afin de guider au mieux le commanditaire dans
néralement, un cahier des charges qui peut indiquer son rôle de maître d’ouvrage, il est important d’identi-
les méthodes qui seront utilisées est rédigé à cette fier avec lui ses besoins et attentes.
étape. Les difficultés éprouvées à cette étape tiennent
3. Choix des experts 3 bis. Choix des méthodes d’expertises
(académiques, professionnels, reposant sur des connaissances au fait que les opérateurs, souvent des chercheurs, et
citoyens, etc.) scientifiques, techniques, tacites, explicites, les commanditaires, liés à la définition de politiques 17. Le commanditaire est donc un usager spécifique de l’expertise car il
des savoirs locaux et autochtones et/ou publiques, n’ont pas les mêmes logiques de spatiali- a un rôle direct dans la prise de décision publique, tandis que les parties-
basés sur l’opinion publique. sation et de problématisation. L’enjeu est de veiller à prenantes, usagers des expertises également, ne sont pas les décideurs.

FIGURE 2 SCHÉMA THÉORIQUE PRÉSENTANT LES ACTEURS ET LES DIFFÉRENTES PHASES DU CIRCUIT DE L’EXPERTISE

14 15
 L’expertise et le choix de la bonne méthode L’expertise et le choix de la bonne méthode

Types de demandes Types de sous-demandes Exemples de questions types associées 2.2. Quels sont les objectifs d’une expertise ?
Opinions,
Lors de la phase 1 de négociation, la demande et la Perceptions Impacts
Mieux comprendre Comprendre des effets/actions Quel X agit sur Y ?  
un phénomène nature des réponses attendues doivent être explicitées.
Construire des scenarios pour Comment évolue X dans différents Compréhension
Dans un premier temps, le commanditaire doit pou-
l’analyse de futurs événements scénarios ? voir répondre aux questions : qu’est-ce que je veux ? Efficacité
Exercice de projection élargie Quelle sera la situation dans le futur ?   Qu’est-ce que je cherche ? Quels sont mes besoins ?
Évolution
dans le futur
Comprendre les évolutions d’un phénomène Quelle est la dynamique d’évolution Élaboration
dans le temps et dans l’espace   de X dans le temps et dans l’espace ?    2.2.1. La typologie des demandes Comparaison
de scénarios
Identifier les leviers d’action Mesurer les impacts anthropiques Quel est l’impact de X sur Y ? Différents exemples de commandes ont été recueillis
appropriés pour prendre au cours des entretiens semi-directifs (cf. Annexe 4). Projection
Mesurer l’efficacité Quelle est l’efficacité de X sur Y ?
des décisions Ces exemples montrent la diversité des questions qui Gestion
d’une intervention/actions
Actions optimale
peuvent être posées dans le cadre de l’expertise. Une
Comparer des solutions entre elles Quelle est la solution la plus adaptée ?
typologie de référence nous aidera à considérer les de-
Rechercher une gestion optimale Quelle est la solution optimale ? mandes de manière plus efficaces pour guider l’opéra-
Limites et possibilités Évaluation de l’opinion publique Que pense la population teur et le commanditaire dans le choix de la méthode.  
Recherche de leviers d’action
pour la prise de décision/ et des perceptions de tel élément/phénomène ?   Compréhension d’un phénomène
faisabilité socio-économique/ La délégation Expertise & appui aux politiques
Évaluation du niveau de connaissances Comment est compris tel phénomène ?   publiques de l’Institut national de la recherche pour Limites et possibilités pour la prise de décision /
évaluation de personnes ou groupes de personnes faisabilité socio-économique / Évaluation
l’agriculture, l’alimentation et l’environnement (Inrae)
sur un sujet propose une typologie des types de demandes18 :
• Une mise à disposition des clés de lecture et de
FIGURE 3 TYPES DE DEMANDES D’EXPERTISE IDENTIFIÉES
compréhension d’un phénomène complexe et de ses
LORS DES ENTRETIENS SEMI-DIRECTIFS
TABLEAU 2 TYPOLOGIE DES DEMANDES DES COMMANDITAIRES D’UNE EXPERTISE (Pullin et al., 2016) conséquences multiples. Les phénomènes et les pro-
blèmes en jeu, ainsi que leurs principaux détermi-
nants, sont caractérisés et hiérarchisés.
• Une aide à la conception et/ou à l’évaluation de le-
viers d’action pour limiter une nuisance ou favoriser
Types de critères Critères Description
des comportements bénéfiques. Pour gérer ces pro-
blèmes, un inventaire et une évaluation des connais-
Objectif de la commande Mieux comprendre un phénomène Le commanditaire cherche à approfondir sances et des moyens techniques mobilisables sont moitié concerne l’identification de leviers d’actions
ses connaissances sur un sujet. réalisés. appropriés pour prendre des décisions, en particu-
La question posée par le commanditaire lier pour la gestion optimale et la mesure d’impacts
peut être sur les effets, l’élaboration La publication Pullin et al. (2016)19 propose une anthropiques, et dans une moindre proportion, la
de scénario/prospectives, les projections, typologie des exemples de demandes/requêtes issues mesure d’efficacité d’une intervention et la comparai-
l’évolution dans le temps et dans l’espace. du contexte anglo-saxon (cf. tableau 2 et 3). son de solutions entre elles. Un tiers des demandes
extraites des entretiens concerne la compréhension
Identifier les moyens appropriés pour La commande vise à identifier les Les deux premiers types de demande rejoignent les d’un phénomène, en particulier l’élaboration de scé-
prendre certaines décisions/Recherche solutions qui existent ou qui sont en cours types de demande de la classification de la DEPE. Dans narios et la compréhension d’effets. Enfin, un sixième
de leviers d’action d’étude pour répondre à un problème. cette étude, nous considérerons la typologie de Pullin des demandes identifiées concernent la recherche
La question posée peut être sur et al. (2016) qui permettra d’introduire davantage les des limites et possibilité s pour la prise de décision/
les impacts, l’efficacité, la comparaison méthodes de consultation des parties-prenantes. faisabilité socio-économique/évaluation. La figure 3
de solutions, la gestion optimale.   illustre ces résultats.
La liste des demandes qui a émergé lors des entre-
Évaluation des possibilités et des limites La commande vise à évaluer tiens a été comparée à la typologie de Pullin et al. Pour
pour la prise de décision/Faisabilité les opinions et perceptions ou le niveau évaluer si elle convient pour le contexte français ou Quelques exemples
socioéconomique/Évaluation de compréhension du public sur si elle nécessite d’être modifiée (cf. Annexe 4). Une
un phénomène, une politique publique. expertise peut inclure plusieurs types de demandes. • Mieux comprendre un phénomène :
Parmi les demandes identifiées lors des entretiens, la – Une compréhension des effets (ex. Où en est-on des
nouvelles connaissances acquises en matière de flux
18. Informations issues de l’interview avec Guy Richard (Inrae) dans le de gènes chez le colza, ainsi que sur l’identification
TABLEAU 3 DESCRIPTION DES GRANDS TYPES DE DEMANDES IDENTIFIÉES POUR RÉALISER UNE EXPERTISE (Pullin et al., 2016)
cadre de l’enquête. des risques pour l’environnement liés à la mise en
19. Elle résulte d’un travail de scientifiques qui participent au projet euro- culture à grande échelle de variété de colzas GM tolé-
péen Eklipse (voir encadré p. 7). rantes à un herbicide ?)

16 17
 L’expertise et le choix de la bonne méthode L’expertise et le choix de la bonne méthode

– La construction de scenarios pour l’analyse du rée/évaluation). En effet, une expertise peut inclure Types de critères Critères Description
futurs événements (ex. Comment évaluer les effets de plusieurs types de demandes pour la prise de décision.
futurs aménagements d’un cours d’eau sur le milieu Par exemple, dans l’expertise « Agriculture et biodi- Nature de la réponse Porter à connaissance Souvent sous la forme de rapport ou de note
vivant ?) versité : valoriser les synergies »20, les demandes ont attendue de synthèse, le porter à connaissance vise à
Comprendre les évolutions d’un phénomène dans porté dans un premier temps sur les effets de l’agri- faire un état des lieux sur un sujet donné
le temps et dans l’espace (ex. Comment évaluer la culture sur la biodiversité (compréhension des effets),
Avis L’avis permet d’intégrer les opinions des per-
situation à long-terme de l’ours en France ?) dans un deuxième temps sur les marges de manœuvre
sonnes qui réalisent l’expertise. Il s’agit d’une
– Exercice de projection élargie dans le futur (ex. Com- techniques pour internaliser la biodiversité dans
prise de position. La réponse attendue est
ment les exercices de prospective s’articulent avec la l’agriculture (identification de moyens appropriés) et
souvent un « oui » ou un « non »
prise de décision et avec la mise en œuvre ? Comment dans un troisième temps sur faisabilité économique,
les enjeux de mise en œuvre des politiques publiques technique et sociale de cette internalisation (limites Recommandations Les recommandations permettent d’explorer
s’intègrent-ils dans les prospectives pour orienter la et possibilités pour la prise de décision/faisabilité les différentes solutions pour répondre à un
recherche ?) socio-économique/évaluation). problème. Les recommandations donnent des
suggestions
• Identifier les leviers d’action appropriés pour Une fois que le commanditaire a précisé l’objec-
Scénarii Les scénarii sont le fruit de méthodes pros-
prendre des décisions : tif de sa commande, le commanditaire doit pouvoir
pectives et participatives. Ils mettent en
– Rechercher une gestion optimale (ex. Comment les énoncer quel est la nature des réponses attendues.
lumière des référentiels (critères, normes,
exercices de prospective s’articulent avec la prise de
savoirs, etc.) que les acteurs emploient pour
décision et avec la mise en œuvre ? Comment les
élaborer une solution à un problème » (Kelle-
enjeux de mise en œuvre des politiques publiques 2.2.2. La nature des réponses attendues
rhals, 1988 in Meyer, 2005 23)
s’intègrent-ils dans les prospectives pour orienter la
recherche ?) La nature des réponses attendues par le commanditaire
– Mesurer les impacts anthropiques (ex. Identifier les peut être une interprétation, un avis, une recomman-
substances chimiques les plus toxiques pour les ré- dation, etc. Elle va influencer le choix de la méthode TABLEAU 4 DESCRIPTION DES TYPES DE RÉPONSE ATTENDUE PAR LES COMMANDITAIRES LORS D’UNE EXPERTISE*
cifs coralliens afin de mieux protéger ces écosystèmes choisie pour répondre à la question du commanditaire. * Définitions élaborées dans le cadre de cette étude avec le comité du suivi.
fragiles) Par exemple, les expertises collectives peuvent ne pas
– Mesurer l’efficacité d’une intervention/actions (ex. avoir vocation à fournir des recommandations, c’est le
déterminer si les limites maximales de résidus (LMR) cas du cahier des charges défini par l’Inrae qui pré-
actuellement en vigueur pour la chlordécone sont cise « Les résultats de l’expertise, sous la responsabi-
suffisamment protectrices pour la population guade- lité de l’Institut et de ses partenaires éventuels, sont
loupéenne et martiniquaise dans le cadre d’un régime destinés à éclairer la décision publique. Elle constitue
alimentaire global, notamment pour les denrées car- un état des lieux des connaissances produites par la
nées terrestres ainsi que pour les produits de la mer science, sans formulation de recommandations à l’at-
et d’eau douce) tention des décideurs et fait le point sur les besoins de
– Comparer des solutions entre elles (ex. Quels recherche à mener »21. L’Agence nationale de sécurité Pour choisir la méthode adaptée à la question posée, il L’Ifremer précise dans sa charte de l’expertise et de
sont les effets de différentes réorientations sur les sanitaire de l’alimentation, de l’environnement et du est essentiel que le commanditaire exprime la nature l’avis (2017) que l’expertise conduit généralement à la
changements d’affectation des sols et leurs impacts travail (Anses), a contrario fournit des expertises avec de la réponse attendue : rédaction d’un document pouvant se conclure par des
sur l’environnement?) des recommandations : « Ces expertises scientifiques • porter à connaissance, interprétations et des recommandations et que l’avis
donnent lieu à des recommandations qui viennent en • avis, est une opinion technique et/ou scientifique fondée
• Évaluation des limites et des possibilités pour appui aux autorités compétentes dans leurs décisions • recommandations, sur les conclusions d’une expertise.23
la prise de décision/faisabilité socio-économique/ de gestion du risque. Elles prennent la forme d’avis, • scénarios. L’institut de recherche et de développement (IRD)
évaluation : éventuellement associé à un rapport rendu publics sur peut aussi fournir des interprétations, recommanda-
– Évaluation de l’opinion publique et des perceptions le site Internet de l’Agence. Les expertises en évaluation Comme illustré plus haut sur le cas de l’expertise tions et des avis à un client dans le cadre d’une exper-
(ex. Réalisation d’un bilan de type évaluation de la des risques sanitaires sont réalisées de manière collec- collective, les organismes ont développé des proces- tise (ou « consultance institutionnelle »).
mise en œuvre d’une politique publique, qui alimen- tive, avec des comités d’experts spécialisés. » 22. Ceci sus et formats spécifiques. À l’ADEME, la production
tera la démarche stratégique post-2020) souligne l’importance de la première phase de négocia- d’avis présentant le positionnement de l’Agence sur Après avoir définis les objectifs de la commande
– Évaluation du niveau de connaissances de personnes tions qui va permettre de donner une interprétation sur des sujets déterminants liés à l’énergie et à l’environ- et la nature des résultats attendus, le travail d’exper-
ou groupes de personnes sur un sujet (ex. Comment un sujet et peut mener à la formulation de recomman- nement est piloté au niveau central. Cette produc- tise repose sur des principes et des paramètres qui
les exercices de prospective s’articulent avec la prise dations issus des articles scientifiques retenus. tion d’avis intervient à la suite de recommandations peuvent varier selon le commanditaire, l’opérateur et
de décision et avec la mise en œuvre ? Comment les issues d’études menées en interne ou commanditées, le contexte.
enjeux de mise en œuvre des politiques publiques 20. Le Roux X., Baudry J., Burel I., Doussan E., Garnier E., Herzog F., … et constitue un support de communication externe.
s’intègrent-ils dans les prospectives pour orienter la Trommetter M. (2008). Agriculture et biodiversité. Valoriser les synergies De son côté, l’Agence nationale de sécurité sanitaire
recherche ?) (p. 117) [Expertise scientifique collective]. France: Inra. de l’alimentation, de l’environnement et du travail
21. https://www6.paris.inrae.fr/depe/Presentation/L-expertise-scientifique- (Anses) est chargé d’émettre des avis qui reposent 23. Meyer, V. (2005). Retour sur la méthode des scénarios. Questions
Il existe un processus derrière cette typologie (ac- collective sur l’argumentaire et les conclusions des experts de communication, (7), 223 232. https://doi.org/10.4000/questionsde
quisition de connaissances/prise de décisions éclai- 22. https://www.anses.fr/fr/content/la-conduite-de-lexpertise-scientifique mobilisés. communication.4656

18 19
 L’expertise et le choix de la bonne méthode L’expertise et le choix de la bonne méthode

2.3. Quels sont les principes de l’expertise 2.3.2. Les résultats des entretiens
et les paramètres à prendre en compte ? Pluralité des experts
Lors des entretiens semi-directifs, il a été demandé Opérationnalité
aux commanditaires et opérateurs quels étaient les Cadrage de la question
2.3.1. Les principes de l’expertise critères importants à prendre en compte pour réaliser Clarté/Lisibilité/Intelligibilité/Accessibilité
une expertise (cf. Annexe 3). Expérience de l’expert/Connaissance du terrain
La pratique de l’expertise est un processus cadré qui Ces critères sont des éléments à prendre en Fiabilité
repose sur des principes repris par la Charte nationale compte dans le circuit de l’expertise lors de la phase 1 Traçabilité des sources
de l’expertise : de négociation et lors des phases 3 et 3bis relatives Niveau d’incertitude
• la compétence des experts, aux choix des experts et aux choix des méthodes, Reproductibilité
• l’indépendance des experts, respectivement. Neutralité
• la traçabilité des sources utilisées, Rigueur dans la méthode
• la transparence des méthodes mises en œuvre D’après les résultats des entretiens semi-directifs, Compétence des experts
• la clarté des conclusions. l’importance des critères varie en fonction du contexte Pluridisciplinarité
dans lequel est émis la commande. Ces critères ne Exhaustivité
L’importance donnée à ces principes va influencer le sont pas perçus de la même manière par les comman- Transparence
choix de la méthode d’expertise utilisée pour répondre ditaires ou les opérateurs. Par ailleurs, certains critères Prise en compte du contexte sociopo./
à une commande. Néanmoins, le choix de la méthode se recoupent (ex. fiabilité et traçabilité). Dialogue avec les parties-prenantes
ne garantit pas l’ensemble de ces principes. Indépendance des experts/
Si la traçabilité des sources et la transparence des D’après les entretiens menés auprès des opéra- Déclaration des conflits d’intérêts
méthodes sont garanties par le choix de la méthode teurs, les critères les plus cités sont principalement
0 2 4 6 8 10 12 14 16
d’expertise mise en œuvre, les qualités de compétence l’indépendance des experts, la prise en compte du
et d’indépendance des experts sont assurés par le contexte socio-politique/dialogue avec les parties-pre-
choix des experts en amont. nantes, la transparence et l’exhaustivité (cf. figure 4). FIGURE 4 FRÉQUENCES DES CRITÈRES MIS EN LUMIÈRE PAR LES OPÉRATEURS D’EXPERTISE LORS DES ENTRETIENS SEMI-
Chaque organisme pose les conditions nécessaires D’après les entretiens menés auprès des comman- DIRECTIFS (CF. ANNEXE 2, ANNEXE 3)
à la réalisation d’une expertise. Par exemple, l’Ifremer ditaires, les critères les plus cités sont principalement
dans sa charte de l’expertise et de l’avis (2017) rap- l’intelligibilité des résultats, la pluridisciplinarité, le
pelle ses conditions, parmi elles : temps et la compétence des experts (cf. figure 5).
• l’absence de liens d’intérêts de personnes choisies
par l’Ifremer pour la réalisation de l’expertise, Ces résultats révèlent l’importance relative don-
• les connaissances sur lesquelles s’appuient l’exper- née aux éléments requis pour la réalisation d’une
tise doivent être pertinentes, fondées, disponibles, expertise selon les opérateurs et les commanditaires
• les sources doivent être identifiées, accessibles, et souligne l’importance pour les deux parties d’être Rigueur dans la méthode
référencées, informés de leurs attentes et contraintes respectives Traçabilité des sources
• les informations orales doivent être traçables. afin qu’il y ait le moins de malentendus possible lors Niveau d’incertitude
de la réalisation de l’expertise ou de la fourniture de Prise en compte du contexte sociopo./
En outre, la qualité de la clarté des conclusions ses conclusions. Par exemple, une synthèse trop tech- Dialogue avec les parties-prenantes
est assurée, en aval, en partie par le type de méthode nique et peu intelligible, quelle que soit sa robustesse Opérationnalité
d’expertise utilisé, mais les qualités rédactionnelles de scientifique ne sera jamais considérée comme consti- Coût
l’opérateur qui réalise l’expertise et le service de com- tuant un livrable de qualité par un commanditaire. De Indépendance des experts/
munication de la structure chargé de la diffusion des la même façon, une expertise qui ne permette pas de Déclaration des conflits d’intérêts
résultats de l’expertise sont les principaux facteurs de trouver des experts indépendants et de leur laisser le Compétence des experts
variation de cette qualité. temps de l’analyse, ne pourra pas être communiquée Temps
au commanditaire dans les délais fixés par l’opérateur. Pluridisciplinarité
Clarté/Lisibilité/Intelligibilité/Accessibilité
Les critères énoncés lors des entretiens relèvent de
la qualité du processus de l’expertise, des paramètres 0 1 2 3 4 5 6 7
et des moyens pour le mettre en œuvre.

En effet, la réalisation de l’expertise impose des FIGURE 5 FRÉQUENCES DES CRITÈRES MIS EN LUMIÈRE PAR LES COMMANDITAIRES D’EXPERTISE LORS DES ENTRETIENS SEMI-
conditions de temps, de travail en groupe, d’interac- DIRECTIFS (CF. ANNEXE 2, ANNEXE 3)
tions avec de multiples disciplines et compétences, de
cadrage des questions posées et de règles spécifiques
d’écriture des structures demandeuses. Ces éléments
sont à considérer en amont, lors de la phase 1 de
négociation.

20 21
 L’expertise et le choix de la bonne méthode L’expertise et le choix de la bonne méthode

En situation d’expertise, les opérateurs et les 2.3.3. Les paramètres à prendre en compte Nature des critères Critères Description
commanditaires doivent interagir car leurs objectifs lors d’une expertise
diffèrent dans l’utilisation de la connaissance scienti- Contraintes Coût Les contraintes de coût vont de pair avec celles de temps. Les
fique. Les différences fondamentales entre la logique La liste des critères retenus pour comparer les mé- options à bas coût sont souvent privilégiées25. Unité : équiva-
scientifique académique et la logique d’expertise sont thodes entre elles sont issues des travaux d’Eklipse lent temps plein26 (ETP)
précisées par Philippe Roqueplo24 (1996) : adaptée pour cette étude, suite aux entretiens réali-
sés. Les critères ont pour but de mettre en évidence Temps Le temps dépend de l’urgence de prendre rapidement une
La temporalité : la recherche vise à augmenter le les caractéristiques des méthodes. Cette liste n’est décision, ce qui influence le choix de la méthode d’expertise et
stock de connaissances suivant un rythme souvent pas exhaustive mais peut aider à justifier le choix des peut avoir une influence sur la rigueur scientifique27 .
lent tandis que l’expertise se fait sur le temps court méthodes (tableau 5).2829 Paramètres Aspects éthiques traités Prise en compte des débats éthiques éventuels (comité de
(plusieurs semaines à quelques mois) ; suivi).
La finalité : la recherche fondamentale développe
de nouvelles connaissances scientifiques et technolo- Capacité de participation La nécessité d’impliquer les parties-prenantes varient en
giques tandis que l’expertise exploite les connaissances Implications des fonction du contexte dans lequel est formulé la question.
existantes pour répondre à une question décisionnelle parties-prenantes Des méthodes de participation mobilisant des données
d’ordre pratique. Le stock de connaissances peut de consultation sont alors privilégiées (comité de suivi).
s’avérer insuffisant et l’expertise peut alors déboucher Unité : faible/moyenne/forte
vers des recommandations, de nouvelles recherches. Données requises Quantité de données nécessaires pour répondre à la question
252627
posée (comité de suivi). Unité : faible/moyenne/forte
Échelle (niveau de détail) Du local au global. Le niveau de détail peut être général ou plus
précis (comité de suivi).
Niveau d’incertitude L’incertitude est liée non seulement au manque de connais-
sances sur un sujet et inclus le potentiel d’erreur ou de biais,
les insuffisances techniques et méthodologiques, les choix par
jugement d’expert, les divergences d’interprétation, et « le
caractère incomplet, incorrect ou ambigu de la communication
des résultats »28.
Pluridisciplinarité Prise en compte de plusieurs disciplines ou domaines (comité
de suivi).
Reproductible Les résultats de l’expertise sont similaires si elle est répétée
dans des conditions différentes avec la même méthode (comité
de suivi).

Répétabilité Les résultats de l’expertise sont similaires si elle est répétée

dans les même conditions avec la même méthode (comité de
suivi).

Risque de biais Le risque de biais est une erreur systématique qui n’est pas cor-
rigé par la répétition et qui fausse les résultats. Par exemple,
un biais peut être cognitif, en référence à une déviation systé-
matique par rapport à la réalité29.

Transparence La transparence est assurée lorsque toutes les étapes de la

28. Groupe de Travail « Méthodologie de l’Évaluation des risques », Anses,
méthode adoptée sont décrites (comité de suivi).
24. Maxim L., & Arnold G. (2012). Entre recherche académique et expertise 2016. Prise en compte de l’incertitude en évaluation des risques : revue de
scientifique : Des mondes de chercheurs. Hermes, La Revue, n° 64(3), 913. la littérature et recommandations pour l’Anses.
Types de connaissances Les types de connaissances (scientifiques, techniques, expli-
25. Pullin, A., Frampton, G., Jongman, R., Kohl, C., Livoreil, B., Lux, A., … 29. « Par « biais cognitif » il est entendu une distorsion naturelle dans
pouvant être synthétisées cites, tacites, autochtones et locales, opinions) pouvant être
Wittmer, H. (2016). Selecting appropriate methods of knowledge synthesis le processus d’acquisition, de traitement et de diffusion de l’information.
synthétisés influencent le choix des méthodes d’expertise
to inform biodiversity policy. Biodiversity and Conservation, 25(7), 1285 Il résulte des facteurs qui influent sur les représentations et les percep-
(comité de suivi).
1300. https://doi.org/10.1007/s10531-016-1131-9 tions d’un individu ou d’une communauté. Ainsi, un biais cognitif est un
26. La notion d’équivalent temps plein correspond à une activité exercée schéma de pensée, cause de déviation du jugement » (Anses, novembre
sur la base d’un temps plein. 2016, Prise en compte de l’incertitude en évaluation des risques : revue de
TABLEAU 5 DESCRIPTION DES CRITÈRES RETENUS POUR CARACTÉRISER LES MÉTHODES*
27. Pullin, A., Frampton, G., Jongman, R., Kohl, C., Livoreil, B., Lux, A., … la littérature et recommandations pour l’Anses, Avis de l’Anses, Rapport
Wittmer, H. (2016). Selecting appropriate methods of knowledge synthesis d’expertise collective, Édition scientifique). Par exemple, le bais de confir- * Les définitions sont extraites de la littérature ou ont été élaborées dans le cadre de cette étude avec le comité du suivi.

to inform biodiversity policy. Biodiversity and Conservation, 25(7), 1285 mation consiste à retenir les informations qui confirment nos croyances et
1300. https://doi.org/10.1007/s10531-016-1131-9 à ignorer celles qui les contredisent.

22 23
 L’expertise et le choix de la bonne méthode L’expertise et le choix de la bonne méthode

2.4. Comment choisir une méthode 2.4.2. Le choix de la bonne méthode Méthode Types de connaissances mobilisées
d’expertise ?
Une approche pragmatique est proposée pour choisir Cartographie systématique​  Scientifique, Technique, Explicite
2.4.1. Les méthodes d’expertise sélectionnées la méthode ou la combinaison de méthodes appro- (Systematic map)
priées en fonction de la question posée et de la situa-
Évaluation rapide des faits avérés Scientifique, Technique, Explicite
Les méthodes ont été sélectionnées par le Comité de tion. Elle repose sur la liste de critères préalablement
(Rapid evidence assessment)  
suivi de l’étude sur la base des méthodes décrites établie et permettant d’évaluer les caractéristiques des
dans le cadre d’Eklipse. Cette liste reflète à la fois les méthodes. L’importance donnée aux critères n’est pas Expertise scientifique collective Scientifique, Technique, Explicite, Tacite, Opinion,
connaissances des organismes représentés au sein du la même selon les acteurs et la situation concernés. Autochtone et locale
Comité de suivi et les besoins exprimés pour connaître L’importance des critères est à évaluer au cas par cas. Méta-analyse​ Scientifique, Technique
de nouvelles méthodes. Le choix d’une méthode idéale est un compromis (Meta-analysis)
entre les ressources (ex. coût, temps) et l’objectif
Les méthodes se distinguent par les types de formulé. « Très tôt, il est nécessaire de lever les pro- Modélisation Scientifique, Technique, Explicite, Tacite,
connaissances mobilisées, ce qui permet de les regrou- blèmes potentiels de formulation de la demande pour Autochtone et locale
per en trois groupes : s’assurer que les ressources dont on dispose soient en Revue exploratoire​ Scientifique, Technique et Explicite
• les méthodes qui mobilisent majoritairement des cohérence avec le niveau de rigueur demandé »30 et (Scoping review)
connaissances scientifiques, techniques et explicites ; l’objectif formulé. Revue systématique​ Scientifique, Technique et Explicite
• les méthodes qui mobilisent également des connais- (Systematic review)
sances autochtones et locales ; À l’analyse des entretiens semi-directifs, du rapport
• les méthodes qui mobilisent également des connais- Eklipse et du rapport de la Fondation Baudouin, nous Synopsis et Résumés de faits avérés Scientifique, Technique et Explicite
sances basées sur l’opinion publique. proposons une série de neuf questions qui constituent sur un vaste sujet (Subject-wide Evidence
la trame de la négociation entre le commanditaire et Syntheses or Summaries and synopses)
Elles sont toutes à retrouver dans la partie 3 de ce l’opérateur : Élaboration de scénario/ Prospective​ Autochtone et locale, Scientifique, Technique, Explicite,
document. 1. Quel est le type de question posée ?   Tacite,
2. Quelle est la nature des réponses attendues ?  
3. De combien de temps dispose-t-on ? Prise de décision structurée​  Autochtone et locale, Scientifique, Technique
4. De quelles ressources dispose-t-on ? (Structured Decision Making)
(Ici, ressources s’entend tant en termes de moyens Analyse de chaînes de causalité​  Opinion, Scientifique, Technique, Explicite, Tacite
humains que de moyens financiers) ? (Causal Criteria Analysis)
5. Quel est le risque de biais toléré ? Analyse de décision multicritères ​  Opinion, Autochtone et locale, Scientifique, Technique,
6. À quelle échelle doit-on se situer pour réaliser (Multi-Criteria Decision Analysis) Tacite
l’expertise ?
7. Doit-on consulter les parties-prenantes ? Analyse du discours​ Opinion, Autochtone et locale, Scientifique, Technique,
8. Est-ce que l’expertise doit être exhaustive ? (Discourse analysis) Explicite, Tacite
9. Est-ce que l’expertise doit être pluridisciplinaire ? Cartographie participative​  Opinion, Autochtone et locale, Scientifique, Technique,
(Particpatory mapping) Explicite, Tacite
Consultation de multiples experts Opinion, Scientifique, Technique, Explicite, Tacite
avec la méthode du consensus formel
telle que Delphi​ 

Consultation d’experts​ ou Élicitation d’experts Opinion, Autochtone et locale, Scientifique, Technique,

(Expert consultation) Explicite, Tacite
Établissement des faits​ Opinion, Autochtone et locale, Scientifique, Technique,
(Joint Fact Finding) Explicite, Tacite
Gestion adaptative collaborative​ Opinion, Autochtone et locale, Scientifique, Technique,
(Collaborative Adaptive Managment) Explicite, Tacite
Groupe de discussion​  Opinion, Autochtone et locale, Scientifique, Technique,
(Focus group) Explicite, Tacite

TABLEAU 6 CLASSIFICATION DES MÉTHODES EN FONCTION DES TYPES DE CONNAISSANCES MOBILISÉES*

30. Hardy A., Benford D., Halldorsson T., Jeger M. J., Knutsen H. K.,
More S., … Younes M. (2017). Guidance on the use of the weight of evidence * Informations issues du rapport Eklipse et de la consultation des spécialistes des méthodes

approach in scientific assessments. EFSA Journal, 15(8), e04971. https://

doi.org/10.2903/j.efsa.2017.4971

24 25
 L’expertise et le choix de la bonne méthode L’expertise et le choix de la bonne méthode

Méthode Compréhension Recherche de Limites et possibilités pour Recherche

de levier d’action
d’un phénomène levier d’action la prise de décision/Faisabilité
socioéconomique/Évaluation Analyse de décision
Cartographie systématique​  multicritères
(Systematic map) › › × Limites et possibilités/
faisabilité socioéconomique/
Évaluation rapide des faits avérés évaluation
(Rapid evidence assessment)   › › × Carte Systématique
Revue Systématique
Expertise scientifique collective Prise de décision
› › × Analyse de
chaîne de causalité
structurée
Consultation
Méta-analyse​ Évaluation rapide Établissement
› › ×
d’experts
de faits avérés des faits
(Meta-analysis) Delphi
Méta-analyse Groupe
Modélisation
› › × Modélation Gestion AC de discussions

Synopsis Esco Élaboration de

Revue exploratoire​ et Résumés scénarios
(Scoping review) › × × Analyse de discours

Revue systématique​
(Systematic review) › › × Revue exploratoire
Cartographie
participative
Compréhension
Synopsis et Résumés de faits avérés d’un phénomène
sur un vaste sujet (Subject-wide Evidence › × ×
Syntheses or Summaries and synopses)

Élaboration de scénario/ Prospective​

› › ›
FIGURE 6 LES MÉTHODES D’EXPERTISE EN FONCTION DU TYPE DE QUESTIONS AUXQUELLES ELLES RÉPONDENT
Prise de décision structurée​ 
(Structured Decision Making) × › › REPRÉSENTATION DU TABLEAU 7

Analyse de chaînes de causalité​ 

(Causal Criteria Analysis) › › ×
Analyse de décision multicritères ​ 
(Multi-Criteria Decision Analysis) › › × 1. Quel est le type de question posée ?    ser la dissémination de la résistance aux antibiotiques
Les différentes questions posées, telles que décrites au dans l’environnement31 ?).
Analyse du discours​
(Discourse analysis) × × › paragraphe II du présent document sont la compré-
hension d’un phénomène, la recherche de levier d’ac- Certaines méthodes d’expertise ne sont adaptées
Cartographie participative​  tion ou la recherche des limites et possibilités pour la qu’à un type de question :
(Particpatory mapping) › × › prise de décision/faisabilité socioéconomique/évalua- • les synopsis et résumés rapides de faits avérés et
tion. Autrement dit à quelle fin est réalisée l’expertise, la revue exploratoire sont adaptées aux demandes
Consultation de multiples experts
qu’en attend le commanditaire. Le tableau 7 présente relevant de la « compréhension d’un phénomène »,
avec la méthode du consensus formel › › › les méthodes d’expertise en fonction des types de • l’analyse de décision multicritères est adaptée
telle que Delphi​ 
questions posées. aux demandes relevant de la « recherche de leviers
Consultation d’experts​ ou Élicitation d’experts d’action »,
(Expert consultation) › › › Une méthode peut répondre à différents types de • l’analyse de discours est adaptée aux demandes
Établissement des faits​
questions. Sur les 19 méthodes sélectionnées, quatre relevant des « limites et possibilités/faisabilité socio-
(Joint Fact Finding) × › › sont adaptées aux trois grandes finalités d’une expertise : économique/évaluation » d’une action/décision.
• l’élaboration de scénario/ prospective,  
Gestion adaptative collaborative​
(Collaborative Adaptive Managment) › › › • la consultation d’experts,
• la méthode de consultation d’experts formalisée telle
La figure 6 synthétise le positionnement des diffé-
rentes méthodes d’expertise, selon le groupe d’experts
Groupe de discussion​  que Delphi,   Eklipse et les spécialistes des méthodes consultés dans
(Focus group) × › › • la gestion adaptative collaborative le cadre de l’étude. Les frontières entre les cercles sont

La revue systématique peut être utilisée pour 31. Goulas A., Livoreil B., Grall N., Benoit P., Couderc-Obert C., Dagot C.,
mieux comprendre un phénomène (ex. la résistance … Andremont A. (2018). What are the effective solutions to control the
TABLEAU 7 LES MÉTHODES D’EXPERTISE EN FONCTION DU TYPE DE QUESTIONS AUXQUELLES ELLES RÉPONDENT*
aux antibiotiques dans l’environnement) mais aussi dissemination of antibiotic resistance in the environment ? A systematic
* Informations issues du rapport Eklipse et de la consultation des spécialistes des méthodes pour répondre aux besoins d’une gestion optimale review protocol. Environmental Evidence, 7(1), 3. https://doi.org/10.1186/
(ex. quelles solutions effectives existent pour minimi- s13750-018-0118-2

26 27
 L’expertise et le choix de la bonne méthode L’expertise et le choix de la bonne méthode

floues car, selon le contexte, une méthode peut être Toutes les méthodes d’expertise permettent de pro- Méthode Type de réponse attendue
utilisée pour un autre objectif. Cette classification ne duire un porter à connaissance. Sur les 19 méthodes
cherche pas à figer les choses mais à donner des indi- retenues, quatre méthodes permettent de produire Porter à Avis Recommandations Scenarii
cations théoriques. uniquement un porter à connaissance : l’analyse de connaissance (oui/non)
discours, la cartographie systématique, les synopsis et
Cartographie systématique​ 
2. Quelle est la nature des réponses attendues ? résumés et la revue exploratoire.
(Systematic map) › × × ×
La nature des réponses attendues par le commandi- Les méthodes d’analyse de chaînes de causalité,
taire va influencer le choix de la méthode pour ré- Évaluation rapide des faits avérés
pondre à sa question.
l’établissement des faits et la modélisation ont pour
avantage de pouvoir produire les quatre types de ré- (Rapid evidence assessment)   › › › ×
ponses attendues. Expertise scientifique collective
Pour choisir la méthode adaptée à la question posée, Seulement cinq méthodes permettent la produc- › › › ×
il est essentiel que le commanditaire exprime la nature tion de scénarii : la modélisation, l’élaboration de scé-
Méta-analyse​
de la réponse attendue (voir partie 2.2.2 p.22) : nario/ prospective, l’analyse de chaînes de causalité,
(Meta-analysis) › › › ×
• porter à connaissance l’analyse de décision multicritères, et l’établissement
• avis des faits. Modélisation
• recommandations La nature de la réponse attendue est un critère › › › ›
• scénarii déterminant pour le choix de la méthode d’expertise Revue exploratoire​
Le tableau 8 présente les méthodes d’expertise en utilisée par l’opérateur. En amont, il est essentiel que (Scoping review) › × × ×
fonction de la nature des réponses attendues ce critère soit bien été explicité.
Revue systématique​
(Systematic review) › × ’ ×
Synopsis et Résumés de faits avérés
sur un vaste sujet (Subject-wide Evidence › × × ×
Syntheses or Summaries and synopses)

Élaboration de scénario/ Prospective​

› × › ›
Prise de décision structurée​ 
(Structured Decision Making) › × › ×
Analyse de chaînes de causalité​ 
(Causal Criteria Analysis) › › › ›
Analyse de décision multicritères ​ 
(Multi-Criteria Decision Analysis) › × › ›
Analyse du discours​
(Discourse analysis) › × × ×
Cartographie participative​ 
(Particpatory mapping) › › › ×
Consultation de multiples experts
avec la méthode du consensus formel › › › ×
telle que Delphi​ 
Consultation d’experts​ ou Élicitation d’experts
(Expert consultation) › › › ×
Établissement des faits​
(Joint Fact Finding) › › › ›
Gestion adaptative collaborative​
(Collaborative Adaptive Managment) › × › ×
Groupe de discussion​ 
(Focus group) › › › ×

TABLEAU 8 LES MÉTHODES D’EXPERTISE EN FONCTION DES TYPES DE RÉPONSES QU’ELLES FOURNISSENT*

* Informations issues du rapport Eklipse et de la consultation des spécialistes des méthodes

28 29
 L’expertise et le choix de la bonne méthode L’expertise et le choix de la bonne méthode

3. De combien de temps dispose-t-on ? 4. De quelles ressources dispose-t-on ? D’autres critères entrent dans le périmètre de la ques-
Il est nécessaire d’évaluer le temps dont on dispose Le tableau 10 présente le coût moyen en ETP pour la tion, tels que le risque de biais ou le niveau d’incerti-
pour pouvoir choisir la méthode d’expertise appro- mise en œuvre des méthodes d’expertise retenue dans tude, l’échelle ou le niveau détail.
priée. Le tableau 9 donne une idée du temps moyen le cadre de ce guide.
requis pour la mise en œuvre de chaque méthode.  

Méthode Temps disponible pour traiter la question Méthode Coût

Cartographie systématique​  6 mois à 2 ans Cartographie systématique​  3 à 24 mois ETP

(Systematic map) (Systematic map)
Évaluation rapide des faits avérés 3 à 9 mois Évaluation rapide des faits avérés 3 à 6 mois ETP
(Rapid evidence assessment)   (Rapid evidence assessment)  
Expertise scientifique collective 6 mois à 2/3 ans Expertise scientifique collective Variable
Méta-analyse​ 3 semaines Méta-analyse​ Très variable
(Meta-analysis) (Meta-analysis)
Modélisation 12 mois Modélisation 1 ETP
Revue exploratoire​ 1 à 6 mois Revue exploratoire​ 1 à 6 mois ETP
(Scoping review) (Scoping review)
Revue systématique​ 6 mois à 4 ans Revue systématique​ 6 à 24 mois ETP
(Systematic review) (Systematic review)
Synopsis et Résumés de faits avérés sur un vaste sujet 1 à 10 ans Synopsis et Résumés de faits avérés 12 à 120 mois ETP
(Subject-wide Evidence Syntheses or Summaries sur un vaste sujet (Subject-wide Evidence
and synopses) Syntheses or Summaries and synopses)

Élaboration de scénario/ Prospective​ 5 jours à 6 mois Élaboration de scénario/ Prospective​ Variable

Prise de décision structurée​  4 mois minimum Prise de décision structurée​  1 mois minimum
(Structured Decision Making) (Structured Decision Making)
Analyse de chaînes de causalité​  1 semaine à 2 ans Analyse de chaînes de causalité​  1 mois à plusieurs années
(Causal Criteria Analysis) (Causal Criteria Analysis)
Analyse de décision multicritères ​  Variable Analyse de décision multicritères ​  Variable
(Multi-Criteria Decision Analysis) (Multi-Criteria Decision Analysis)
Analyse du discours​ 2 à 10 mois Analyse du discours​ Plusieurs mois ETP
(Discourse analysis) (Discourse analysis)
Cartographie participative​  Variable Cartographie participative​  Variable
(Particpatory mapping) (Particpatory mapping)
Consultation de multiples experts avec la méthode 1 semaine à 2 mois Consultation de multiples experts avec la méthode 1 semaine à 1 mois ETP
du consensus formel telle que Delphi​  du consensus formel telle que Delphi​ 
Consultation d’experts​ ou Élicitation d’experts 1 semaine à 1 mois Consultation d’experts​ ou Élicitation d’experts 1 semaine ETP
(Expert consultation) (Expert consultation)
Établissement des faits​ Variable Établissement des faits​ Variable
(Joint Fact Finding) (Joint Fact Finding)
Gestion adaptative collaborative​ 3 à 12 mois : 1ère phase et 12 à 48 mois : 2nd phase Gestion adaptative collaborative​ 3 à 12 mois et 24 à 60 mois
(Collaborative Adaptive Managment) (Collaborative Adaptive Managment)
Groupe de discussion​  1,5 jour à 1 mois Groupe de discussion​  2 jours ETP
(Focus group) (Focus group)

TABLEAU 9 MÉTHODES D’EXPERTISE EN FONCTION DU TEMPS QU’ELLES NÉCESSITENT* TABLEAU 10 MÉTHODES D’EXPERTISE EN FONCTION DE LEUR COÛT*

* Informations issues du rapport Eklipse et de la consultation des spécialistes des méthodes * Informations issues du rapport Eklipse et de la consultation des spécialistes des méthodes

30 31
 L’expertise et le choix de la bonne méthode L’expertise et le choix de la bonne méthode

Niveau de confiance
Méthode Risque de biais/Niveau d’incertitude
Méta-
Revue systématique
analyse
Cartographie systématique​  Faible
(Systematic map)
Fort

Carte systématique
Évaluation rapide des faits avérés Fort
Expertise scientifique collective (Rapid evidence assessment)  
Expertise scientifique collective Faible
Moyen

Modélisation
Méta-analyse​ Faible
Synopsis et Résumés (Meta-analysis)
(inclue l’analyse de solution)
Modélisation Moyen

Revue
Faible

exploratoire
Revue exploratoire​ Fort
(QSR) (Scoping review)
Revue systématique​ Faible
Évaluation rapide
des faits avérés (Systematic review)
Synopsis et Résumés de faits avérés Faible à Moyen
0 6 mois 1 an 18 mois 2 ans 30 mois 3 ans 42 mois 4 ans
sur un vaste sujet (Subject-wide Evidence
Syntheses or Summaries and synopses)
FIGURE 7 LES MÉTHODES D’EXPERTISE MOBILISANT MAJORITAIREMENT DES CONNAISSANCES SCIENTIFIQUES, TECHNIQUES,
Élaboration de scénario/ Prospective​ Moyen
EXPLICITES, EN FONCTION DU TEMPS ET DU NIVEAU DE CONFIANCE

Prise de décision structurée​  Moyen

5. Quels sont le risque de biais état de ces incertitudes n’est pas considéré comme une (Structured Decision Making)
et le niveau d’incertitude tolérés ? faiblesse, bien au contraire. Les sources doivent par Analyse de chaînes de causalité​  Moyen
contre être bien identifiées et les incertitudes concernant (Causal Criteria Analysis)
Des facteurs peuvent être liés au contexte politique et les résultats identifiées et documentées » (entretien avec
Analyse de décision multicritères ​  Moyen
technique. En effet, le niveau de confiance demandé Patrice Mengin Lecreulx, Office national des forêts). La
(Multi-Criteria Decision Analysis)
par le commanditaire peut être plus ou moins impor- méta-analyse associée à la revue systématique permet
tant selon le risque encouru par le commanditaire qui de quantifier les incertitudes sur certains résultats.33 Analyse du discours​ Moyen
va prendre la décision. Dans ce cas le critère « risque de Le tableau 11 présente les méthodes d’expertise en (Discourse analysis)
biais/niveau d’incertitude » est à prendre en compte. fonction de leur niveau de risque de biais et d’incertitude. Cartographie participative​  Moyen
L’incertitude est liée non seulement au manque de La figure 7 permet de visualiser les méthodes d’ex- (Particpatory mapping)
connaissances sur un sujet mais inclus aussi le poten- pertise mobilisant majoritairement des connaissances
tiel d’erreur ou de biais, les insuffisances techniques scientifiques et techniques en fonction du niveau de Consultation de multiples experts Moyen
et méthodologiques, les choix par jugement d’expert, confiance généré par l’évaluation du risque de biais et avec la méthode du consensus formel
les divergences d’interprétation, et le « caractère in- en fonction du temps moyen nécessaire à la mise en telle que Delphi​ 
complet, incorrect ou ambigu de la communication œuvre des méthodes. Consultation d’experts​ ou Élicitation d’experts (Expert Moyen
des résultats »32. La revue systématique ou la cartographie systéma- consultation)
tique présentent des risques de biais faibles, mais elles Établissement des faits​ Fort
« Elle (l’expertise) ne prétend pas réduire les incer- sont plus coûteuses en termes de temps que l’évalua- (Joint Fact Finding)
titudes que le caractère incomplet des connaissances tion rapide de faits avérés ou la revue exploratoire. Ces
scientifiques laisse subsister, mais s’attache plus modes- deux dernières méthodes reprennent le protocole de la Gestion adaptative collaborative​ Faible
tement à les délimiter pour les porter à la connaissance revue systématique et de la cartographie systématique (Collaborative Adaptive Managment)
du commanditaire, détenteur du pouvoir de décision. » 33 respectivement, mais en simplifiant ou en omettant Groupe de discussion​  Fort
Une expertise doit annoncer les limites et les pré- volontairement des étapes. (Focus group)
cautions d’usage d’interprétation des résultats. « Faire
33. Yvon Le Maho et Julien Boucher. (2011). Mission de réflexion sur
32. Groupe de Travail « Méthodologie de l’Évaluation des risques », Anses. l’organisation française en matière d’expertise sur la biodiversité (p. 23).
TABLEAU 11 MÉTHODES D’EXPERTISE EN FONCTION DU RISQUE DE BIAIS/NIVEAU D’INCERTITUDE QU’ELLES PRÉSENTENT*
(2016). Prise en compte de l’incertitude en évaluation des risques : Revue de Consulté à l’adresse Ministère de l’écologie, du développement durable,
* Informations issues du rapport Eklipse et de la consultation des spécialistes des méthodes
la littérature et recommandations pour l’Anses (p. 90). Consulté à l’adresse des transports et du logement website: https://www.ladocumentationfran-
https://www.anses.fr/fr/system/files/AUTRE2015SA0090Ra.pdf caise.fr/var/storage/rapports-publics/114000285.pdf

32 33
 L’expertise et le choix de la bonne méthode L’expertise et le choix de la bonne méthode

existantes, des forces en présence, des acteurs impli- Dans le cadre d’une expertise scientifique collective,
De plus, le rapport liste les nombreux avantages qués et des représentations de l’avenir souvent impli- un comité consultatif d’acteurs peut être informé de
Le rapport de la Fondation Baudouin
à adopter une approche participative : cites. Ce bilan induira le degré plus ou moins renforcé la réalisation de l’expertise dès son commencement,
de consultation des acteurs. des choix méthodologiques ainsi que des résultats
Le rapport de la Fondation Baudouin relatif aux • permettre une gouvernance démocratique et de avant leur diffusion. Cela a pour but de prendre en
méthodes participatives rappelle les situations haute qualité Trois situations peuvent être décrites : compte les avis sur les orientations et les conclusions
dans lesquelles une approche participative est • renforcer les capacités civiles 1. Il n’y a pas de projet de territoire, de capacité à se de l’étude. Un comité technique composé de représen-
requise34: • développer et mettre en œuvre des programmes projeter. Dans ce cas le débat est à construire. Ici les tants du secteur concerné par l’expertise peut égale-
de manière efficace et efficiente méthodes d’expertise qui mobilisent des données de ment être constitué pour recueillir des informations
• thèmes exigeant une approche sociale, éthique • renforcer la confiance du public et la confiance consultation sont à privilégier ;   techniques et aussi des avis sur la faisabilité et l’ac-
ou culturelle pour faire des choix relevant de va- dans les décisions 2. Il existe un discours dominant et des représenta- ceptabilité des résultats de l’expertise.
leurs et de principes ; • susciter une meilleure compréhension des tions de l’avenir en opposition. Ici la consultation
• enjeux politiques appelant à combiner à la fois questions, des préoccupations, des priorités et prévue dans la prospective sera réalisée en aval pour La matrice (cf. Annexe 5) permet de comparer les
la sensibilisation et la compréhension du public des solutions d’intérêt public permettre la construction de nouveaux discours ; différentes méthodes entre elles. Cependant les mé-
et la recherche de solutions et d’acceptation mo- • renforcer le soutien aux programmes et aux 3. Il existe un débat structuré, les scénarios sont cohé- thodes ne résolvent pas tout. Il est souvent nécessaire
rale ou émotionnelle pour une prise de décision ; initiatives rents. Il s’agit d’organiser et de comprendre les scéna- de combiner les méthodes pour répondre à une de-
• choix des politiques publiques reposant sur • accroître l’apprentissage mutuel grâce au par- rii afin de prendre des décisions collectives.   mande dans le cadre d’une expertise.
le principe de précaution ou le poids des faits tage d’informations, de données et d’expériences
avérés ; • garantir que les décisions et politiques tiennent
• clarification des valeurs et des principes sous- compte des connaissances et des compétences
jacents avant de présenter de façon détaillée des qui pourraient autrement être négligées
propositions ou des options de gestion de risques ; • refléter plus les préoccupations et les valeurs
• clarification des options ou des propositions publiques dans les décisions 2.5. Les méthodes d’expertise habilités par le CNRS publient une déclaration d’inté-
pour appuyer la recherche de consensus ou des • identifier rapidement un ensemble de points ne résolvent pas tout rêts qui est rendue publique.
solutions novatrices. de vue différents et permettre de dégager un Au sein de l’Inserm, les compétences des experts
consensus en collaboration pour dégager des L’expertise est un processus dont la qualité est assurée sont évaluées par leurs publications dans des revues
aspects potentiellement controversables de ma- non seulement par le choix de la méthode mais aussi à comité de lecture et par la reconnaissance par leurs
34. Slocum N., Elliott J., Heesterbeek S., & Lukensmeyer C. J.
nière à atteindre un consensus. par le choix des experts en amont et les formes de pairs. À l’instar des procédures de l’expertise au
(2003). Méthodes participatives : Un guide pour l’utilisateur (p. 167).
diffusion en aval. De plus, étant donné la complexité CNRS, les experts doivent signer une déclaration de
Bruxelles, Fondation Roi Baudouin.
de la demande formulée dans le cadre d’une exper- lien d’intérêt conservée à l’Inserm vis à vis de leur
tise, la complémentarité des méthodes est un moyen indépendance au commanditaire de l’expertise ou tout
de répondre en intégrant l’ensemble des critères émis. autre groupe de pression identifié.
L’expertise scientifique institutionnelle de l’Inrae
est fondée sur la compétence des experts évaluée sur
6. À quelle échelle doit-on se situer pour réaliser Dans le cas où une approche participative est recher- 2.5.1. De l’importance du choix des experts la base de leurs publications originales et de synthèse
l’expertise ? chée pour la mise en œuvre de la méthode d’élaboration et validées par les pairs. Pour assurer les qualités d’im-
On peut être limité par l’échelle ou le niveau de dé- de scénarios/prospectives, il est essentiel d’analyser la Les qualités de compétence et d’indépendance d’une partialité et de transparence, les experts choisis pour
tail exigé dans la commande d’une expertise. Dans le demande, car elle va conditionner le degré d’implica- expertise énoncées dans la charte nationale de l’exper- réaliser une expertise doivent remplir un formulaire de
cadre d’une commande où des problématiques locales tion des parties-prenantes. tise sont assurées par le choix des experts en amont. déclarations d’intérêts qui sont ensuite rendus publics.
sont soulevées, des connaissances locales sont sou- Nous proposons une liste de questions permettant L’Ifremer s’appuie sur la charte de déontologie de
vent nécessaires pour pouvoir répondre. Les méthodes d’identifier et de localiser en amont les personnes ou la recherche de l’Ifremer (2017) et les principes déonto-
d’expertise qui intègrent nécessairement ces types groupes clés concernés par le sujet et pouvant contri- logiques généraux pour désigner ses experts. La com- 2.5.2. De l’importance de la complémentarité
de connaissances sont le groupe de discussion et la buer à répondre en étant associé à la commande, voire pétence et la réputation d’excellence dans le domaine des méthodes d’expertise
cartographie participative (cf. Annexe 5). à l’expertise, pour favoriser l’acceptabilité des déci- considéré s’apprécient au regard des compétences
sions qui en découleront 35 : scientifiques et techniques correspondant à l’objet Une expertise peut inclure plusieurs types de de-
7. Doit-on prendre en compte une pluralité d’avis et • Quelle est l’échelle d’intervention/d’action de l’expertise et de l’avis, de l’aptitude à la conduite mandes pour la prise de décision. Par exemple, dans
impliquer des parties-prenantes ? de la demande ? d’expertise et à la fourniture d’avis, et de l’aptitude à la l’expertise « Agriculture et biodiversité : valoriser les
Dans le cas où une approche participative est recher- • Le sujet est-il nouveau ? Est-il polémique ? communication et à la valorisation. La première condi- synergies »36, les demandes ont porté sur plusieurs
chée pour répondre à une commande, le critère de • Quelles est la stratégie d’action déjà existante tion de réalisation de l’expertise ou de l’avis à l’Ifremer aspects : les effets de l’agriculture sur la biodiversité
participation des parties-prenantes est à prendre en sur le sujet s’il y en a une ? est l’absence de lien d’intérêts des personnes choisies (compréhension des effets), les marges de manœuvre
compte. Voici une liste de questions permettant d’iden- • De quels moyens je dispose ? pour participer à l’expertise, garantissant ainsi le carac- techniques pour internaliser la biodiversité dans l’agri-
tifier et de localiser en amont les personnes clés à im- Dans une démarche prospective, le contexte de la de- tère indépendant et impartial de l’expertise. culture (identification de moyens appropriés) et sur la
pliquer : qui est concerné par le sujet et peut contribuer mande permet de faire un état des lieux des actions Le choix des experts est un des éléments procé-
à répondre au problème posé ? Quel groupe doit être duraux au cœur de la charte d’expertise du CNRS. Il 36. Le Roux X., Baudry J., Burel I., Doussan E., Garnier E., Herzog F., …
associé à la commande, voire à l’expertise pour favo- 35. Informations issues de l’interview avec Sébastien Treyer (IDDRI) dans est assuré par le Conseil scientifique du CNRS. Afin Trommetter M. (2008). Agriculture et biodiversité. Valoriser les synergies
riser l’acceptabilité des décisions qui en découleront ? le cadre de l’enquête. d’assurer l’absence de conflits d’intérêts, les experts (p. 117) [Expertise scientifique collective]. France: Inra.

34 35
 L’expertise et le choix de la bonne méthode L’expertise et le choix de la bonne méthode

faisabilité économique, technique et sociale de cette

internalisation. Afin de répondre de façon exhaus- Étape 1
Quelle est la diversité des
tive à une demande d’expertise, plusieurs méthodes réorientations conduisant à des
peuvent être mobilisées. La figure 8 illustre la combi- Méthode mobilisant changements d’affectation des sols ?
naison théorique des méthodes. des connaissances En liens avec quels impacts
scientifiques, environnementaux ?
Par ailleurs, certaines méthodes se complètent techniques, explicites Étape 2
ou se recouvrent, c’est le cas l’analyse de chaînes de Quelle est la nature des impacts
environnementaux et des
causalité ou de la gestion adaptative collaborative changements d’affectation des
qui reposent sur d’autres méthodes pour spécifier les Recherche bibliographique
sols consécutifs à la production de
liens de chaînes causales, la revue systématique par puis analyse lexicale
bioénergies ? Étape 3
Comment varie le bilan des émissions
exemple (figure 9). de gaz à effet de serre liées à la
Méthode mobilisant Méthode mobilisant production et à l’utilisation de
L’expertise scientifique collective est un exemple des connaissances des connaissances bioénergies selon les changements
basées sur l’opinion autochtones d’affectation des sols que leur
notoire de la complémentarité des méthodes décrites, Choix d’une thématique prioritaire production a necessités ?
publique et locales
elle tire avantage de plusieurs méthodes pour ré- « biomasse non alimentaire »
pondre de manière éclairée à un sujet donné. Selon
la demande formulée par le commanditaire, la phase
de construction d’un cadre d’analyse peut être plus ou
moins importante (figure 10). EXPERTISE Tri rapide

Dans l’étude réalisée par l’Inrae, commanditée par Tri sur grille puis Sélection d’articles éligibles
l’ADEME et le ministère chargé de l’agriculture, sur FIGURE 8 COMPLÉMENTARITÉ THÉORIQUE DES MÉTHODES revue systématique à une méta-analyse « GES »
les effets environnementaux d’affectation des sols liés POUR RÉPONDRE À UNE EXPERTISE
à des orientations agricoles, forestières, ou d’échelle
territoriale37, il s’agissait d’identifier des moyens pour
la prise de décision (type de demande), plus préci-
sément à la recherche des impacts des changements Nombre d’articles
d’affectation des sols pour éclairer les décisions. retenus à chaque
5730 1785 614 241 51 étapes
Dans un premier temps une analyse textuelle38 sur un
Gestion Revue systématique Analyse
corpus très large a été réalisé. Dans un deuxième
adaptative + de critères
temps, une revue systématique sur un sous-corpus collaborative (Méta-analyse) de causalité FIGURE 11 EXEMPLE DE COMPLÉMENTARITÉ DES MÉTHODES DE RECHERCHE BIBLIOGRAPHIQUE ET DE MÉTA-ANALYSE*
relatif au développement des usages non alimentaires
de la biomasse a été réalisé. Différents types d’impacts * Source Bispo et al., 2017

ont été détaillés (sur le sol, l’eau, le climat, l’air,

la santé humaine, la biodiversité, etc.). Dans un
troisième temps une analyse quantitative de l’impact La DEPE de l’Inrae conduit également des études
climatique des bioénergies a été réalisé. Il s’agit d’une FIGURE 9 EXEMPLES D’INTERDÉPENDANCE DE MÉTHODES qui reposent de la combinaison de plusieurs méthodes
méta-analyse menée à partir de 50 articles du sous- D’EXPERTISE d’expertise : l’expertise scientifique collective et la mé-
corpus précédent permettant l’analyse quantitative thode de modélisation ou simulation (figure 12). En
des valeurs d’émissions de gaz à effet de serre liées effet, « les revues systématiques scientifiques menées
à la production de bioénergies et tenant compte des
Expertise scientifique
collective (ESCO) + Méthode
de modélisation dans le cadre des expertises collectives ne permettent
changements d’usage des terres. La figure 11 (Bispo pas toujours de répondre à la demande des commandi-
et al., 2017) reprend les grandes étapes de cette Étude taires, le plus souvent parce que la bibliographie scien-
sur les effets environnementaux d’affectation des sols. tifique disponible n’explore pas de façon exhaustive les
Consultation d’experts Conduite de l’analyse conditions locales des phénomènes étudiés. Dans ce
ÉTUDE INRAE
37. Bispo A., Gabrielle B., Makowski D., Akkari M. E., Bamière L., Barbot- pour construire via la méthode cas, la revue de littérature peut être complétée par un
un cadre d’analyse de revue systématique
tin A., … Réchauchère O. (2017). Effets environnementaux des change- volet modélisation »39. Le niveau de qualité des faits
ments d’affectation des sols liés à des réorientations agricoles, forestières, avérés entre les deux méthodes n’est pas considéré
FIGURE 12 MOBILISATION DE PLUSIEURS MÉTHODES
ou d’échelle territoriale : Une revue critique de la littérature scientifique. comme équivalent : la modélisation est une simplifi-
D’EXPERTISE DANS LE CADRE D’ÉTUDE INRAE
Synthèse de rapport Inra, 21. cation de la réalité et les résultats qui en découlent ne
EXPERTISE SCIENTIFIQUE COLLECTIVE peuvent pas être confrontés à des données de terrain
38. Ici, l’analyse textuelle réalisée sur près de 6000 références recueillies
sur la base de mots clefs, « vise à repérer les mots ou expressions clés qui dans le temps imparti à la réalisation d’une expertise.
apparaissent le plus souvent, et à en analyser les occurrences simultanées « Dans les exercices d’expertise de la DEPE, la modéli-
et les liens qu’ils entretiennent » (Inra, 2017). Cette analyse textuelle a FIGURE 10 EXEMPLE DE LA COMBINAISON DE MÉTHODES
permis l’identification des thématiques majeures, émergentes, et des prin- DANS LE CADRE D’EXPERTISE SCIENTIFIQUE 39. Informations issues de l’interview avec Olivier Réchauchère (Inrae)
COLLECTIVE (ESCO)
cipales méthodes scientifiques employées. dans le cadre de l’enquête.

36 37
 L’expertise et le choix de la bonne méthode L’expertise et le choix de la bonne méthode

sation est donc toujours systématiquement associée à La combinaison de méthodes permet habituelle-
une revue de littérature »40. ment de répondre de manière plus éclairée aux ques-
tions posées.
L’ADEME et le ministère chargé de l’agriculture ont
commandé à l’Inrae l’étude « 4 pour mille France » vi-
sant à estimer le potentiel de stockage de carbone des 2.5.3. Les formes de diffusion/communication
sols agricoles et forestiers, en identifiant les bonnes des conclusions d’une expertise
pratiques et in fine à évaluer la contribution poten-
tielle de ce levier à l’objectif de réduction des émis- Un critère qui est revenu souvent lors des entretiens
sions nettes de gaz à effet de serre41. Une étude de la est l’intelligibilité des résultats. Il est nécessaire que
bibliographie scientifique sur les processus relatifs à les résultats d’une expertise soient compréhensibles et
la dynamique du carbone du sol a été réalisée. Puis accessibles pour être utilisés. La diffusion des résultats
une évaluation de potentiel de stockage additionnel peut prendre différentes formes :
de carbone par modélisation à résolution spatiale fine Si le commanditaire est d’accord, des actions de com-
a été faite en utilisant deux types de modèles (STICS munication de types communiqué de presse, confé-
et PaSim) représentants le cycle de carbone dans le rence de presse, colloque peuvent être organisés. C’est
système sol-plante-animal. Enfin, le modèle BANCO a le cas à l’Inserm par exemple, qui publie ces rapports
permis d’estimer le potentiel de stockage additionnel (analyse, synthèse et recommandations) sur un site en
de carbone et des coûts additionnels liés à l’adoption accès libre.
de pratiques stockantes.
Les ministères chargés de l’écologie et de l’agri- L’ADEME diffuse ses avis à travers différents ca-
culture ont conjointement sollicité l’Inrae dans le but naux en interne et en externe. Leur parution peut faire
de disposer d’un ensemble de connaissances et de l’objet d’une promotion (communiqué de presse, Twit-
références agronomiques pour proposer des mesures ter…). Les avis de l’ADEME sont organisés de façon à
efficaces pour lutter contre la pollution par les nitrates ce que le plan soit synthétique, court et clair. Un effort
des eaux souterraines et de surface. Dans un premier particulier est réalisé en termes de niveau de langage.
temps une étude de la bibliographie scientifique et De plus un travail d’actualisation est également prévu,
technique sur les principales fonctions agronomiques notamment en ce qui concerne les données chiffrées.
et écologiques des cultures intermédiaires a été réali- À l’Inrae, les produits de l’Esco sont un rap-
sée. Dans un deuxième temps l’étude par simulation port et une synthèse, et sont accessibles à un large
a permis de décliner les différents modes de gestion public. L’Inrae peut également assurer la restitution
de l’interculture pour une large gamme de situa- des conclusions d’une Esco à travers l’organisation
tions pédoclimatiques représentatives de la France d’un colloque à la fois pour informer un large public,
métropolitaine42. favoriser la mise en débat des conclusions et susci-
ter des orientations de recherche et des programmes
La combinaison de méthodes permet de répondre nouveaux.
de manière plus éclairée aux questions posées. Un autre
exemple, dans le cadre de l’évaluation des effets d’amé- La diffusion et la réutilisation des rapports et don-
nagements sur un écosystème43, l’analyse de décision nées d’expertise dans les établissements publics sont
multicritères est combinée avec l’Élaboration de scéna- encadrées par différentes réglementations44, régissant
rio/ Prospectives en amont pour comparer différents l’open data. Par défaut et sauf exceptions prévues
scénarios d’aménagement. Dans cet exemple, l’analyse par le législateur (ex : protection du secret commer-
de décision multicritères apparaît bien adaptée pour ré- cial, informations touchant à la sécurité publique,
pondre aux enjeux de gestion intégrée des cours d’eau. données personnelles, etc.), les rapports et données
d’expertise des établissements publics sont librement
communicables45.
40. Informations issues de l’interview avec Olivier Réchauchère (Inrae)
dans le cadre de l’enquête.
41. http://institut.inra.fr/Missions/Eclairer-les-decisions/Etudes/Toutes-les
-actualites/Stocker-4-pour-1000-de-carbone-dans-les-sols-francais
42. http://inra.dam.front.pad.brainsonic.com/ressources/afile/225010-bee
54-resource-cultures-intermediaires-synthese.html 44. Code des relations entre le public et l’administration (CRPA), Code du
43. Maiolo, P. D., Curt, C., Mériaux, P., Coarer, Y. L., Vennetier, M., Gou- patrimoine, Code de l’environnement, Code de la recherche.
rhand, A., … Vassas, C. (2018). Aide à la décision dans le cadre d’applica- 45. BRGM (9 octobre 2019), Règlementation sur la diffusion et la com-
tion de la loi GEMAPI : Évaluation des effets d’aménagements sur l’écosys- munication des rapports d’expertise des établissements publics, Note
tème. Sciences Eaux Territoires, Numéro 26 (2), 4447. d’information.

38 39
 3. Les méthodes d’expertises

Les pages qui suivent présentent sous forme de fiches complètes

les 19 méthodes d’expertise évoquées dans la partie précédente.
Chaque fiche résume une méthode et propose des références
bibliographiques ainsi que des exemples d'application. Les méthodes
sont décrites selon les critères retenus et les forces et faiblesses
des méthodes apparaissent sous forme de tableau.

40 41
 Les méthodes d’expertise Les méthodes d’expertise

3.1. Cartographie systématique

(Systematic map) Cartographie systématique
Coût Personnel (3-24 mois ETP), abonnements (accès aux bases de données, aux articles,
récupération des pdf et prêts entre bibliothèques), logiciels (gestion des références),
La revue systématique comprend généralement une Références clés frais de déplacement si experts consultés, expert (statisticien, documentaliste), frais
étape intermédiaire appelée « cartographie systéma- • Haddaway N. R., Macura B., Whaley P. & Pullin de publications (1800€ par publication dans EEJ)
tique ». Cette étape peut constituer une méthode de A. S. (2018). ROSES RepOrting standards for Syste-
Temps requis 6 mois à 2 ans – Variable selon la quantité de littérature, la disponibilité du personnel,
synthèses de connaissance à part entière. Une carto- matic Evidence Syntheses : Pro forma, flow-diagram le temps de réponse
graphie systématique sera proposée pour examiner le and descriptive summary of the plan and conduct
Répétabilité Forte (si conduite, enregistrée et archivée correctement)
paysage des connaissances en lien avec une question of environmental systematic reviews and systematic
très large1, afin de structurer les connaissances dispo- maps. Environmental Evidence, 7(1), 7. https://doi. Transparence Forte (si elle est bien conduite, approuvée par un organisme spécialisé)
nibles et décider éventuellement de prolonger en revue org/10.1186/s13750-018-0121-7 Risque de biais Faible (si bien conduite), reconnaît le risque de biais de manière transparente liés
systématique les axes les plus intéressants. • Haddaway N. R. & Westgate M. J. (2019). Predicting Niveau d’incertitude aux bases de données et à la méthode même
the time needed for environmental systematic reviews Échelle (niveau de détails) Toute échelle
Résumé and systematic maps. Conservation Biology, 33(2),
Méthode structurée par étapes suivant un protocole 434 443. https://doi.org/10.1111/cobi.13231 Capacité de participation Moyenne : appel à littérature pour la collecte de la bibliographie
publié a priori pour assembler et décrire de manière • James K. L., Randall N. P. & Haddaway N. R. (2016). Demande de données Forte (pas de ré-analyse des données existantes)
exhaustive l’état des connaissances (littérature scien- A methodology for systematic mapping in environ- Types de connaissances Scientifiques, techniques, explicites
tifique et littérature grise). La cartographie systéma- mental sciences. Environmental Evidence, 5(1), 7. pouvant être synthétisées
tique aboutit ainsi à un paysage de la connaissance https://doi.org/10.1186/s13750-016-0059-6
Types de documents Rapport écrit et autres supports de communication (ex. note de synthèse), bases de
disponible en réponse à une question posée. Les car- • SCIE Systematic mapping guidance. (s. d.). Consulté de sortie données consultables et exploitables, système d’information géographique interactif
tographies systématiques doivent être conduites selon 4 février 2020, à l’adresse https://www.scie.org.uk/
Compétence spécifique Aptitude à gérer des masses importantes de littérature (pdf, tableaux excel, …), savoir
les normes rigoureuses exigées par les organismes de almost-there
manier les bases de données/moteurs de recherche, récupération des pdf etc. Les
coordination tels que la Collaboration sur les preuves compétences documentalistes et bureautiques sont primordiales dans une cartographie
environnementales2 (Collaboration for Environnemen- Exemples d’application
tal Evidence) et le Social Care Institute for Excellence3 Exhaustivité Forte
(SCIE), ainsi que les normes du rapport ROSES (réfé- Afin d’atténuer les effets de la pollution sonore sur la Pluridisciplinarité Possible (dépend de la question posée)
rences ci-dessous). Ces exigences comprennent : un biodiversité, le ministère chargé de l’environnement Intelligibilité Moyenne, lectorat averti nécessaire
protocole, le sort de tous les articles collectés, une a souhaité obtenir des informations sur les impacts
base de données rassemblant toutes les publications du bruit sur la biodiversité afin d’initier des politiques
sélectionnées après les phases de tris et décrits à l’aide axées sur les espèces les plus exposées. Une cartogra-
de différents descripteurs (métadonnées). Des outils phie systématique a ainsi été initiée par l’UMS PatriNat Forces Faiblesses
tels que PredicTER permettent de calculer le temps pour répondre à ce besoin en cartographiant la litté-
nécessaire à la réalisation de cartographie systéma- rature existante sur la base de variables clés (espèces • Peut inclure tout type de document (articles, thèses…) • Coûteux en termes de temps et de ressources
tique. La cartographie systématique revient à effectuer concernées, types de bruits, types d’effets mesurés, (personnel/formation/accès aux travaux de recherche)
• Très complète, risque faible d’oublier des informations*
une revue systématique en s’arrêtant avant l’analyse etc.). Le protocole a été publié et la cartographie sys- • Rapport généralement écrit en anglais uniquement
• Protocole examiné en externe par des pairs et publié,
critique des publications ; toutes les étapes de collecte tématique est en cours de finalisation. En partant de
augmentant la transparence • Cartographie systématique avec de grandes bases
et tri de la littérature et de bancarisation des métadon- plus de 27 000 publications, près de 2 000 publications de données peut devenir obsolète rapidement selon
nées des publications sélectionnées sont similaires. constituent au final cette cartographie systématique. • Mise à jour assez rapide si les étapes sont bien décrites
le sujet et l’activité de recherche associée. Une mise
La cartographie systématique constitue ainsi souvent – Sordello R., Flamerie De Lachapelle F., Livoreil B., • Systématique et transparente, accès à la documentation à jour est nécessaire avant la réalisation d’une revue
un préalable à la conduite d’une ou plusieurs revues & Vanpeene S. (2019). Evidence of the environmental complète, permettant la vérification et la répétabilité* systématique (rapide et facilitée par un bon archivage
systématiques ; c’est un outil adapté lorsque la ques- impact of noise pollution on biodiversity : A systema- de la cartographie)
• Faible risque de biais
tion posée est très large et qu’il est préférable d’avoir tic map protocol. Environmental Evidence, 8(1), 8. • Ne donne pas un aperçu du niveau de preuves ou
d’abord une vision de l’état des connaissances avant https://doi.org/10.1186/s13750-019-0146-6 • Base de données produite disponible en accès-libre
d’impacts mais uniquement un niveau de littérature
et exploitable par les pairs pour tout type de travail a
d’envisager une ou plusieurs revue(s) ciblée(s). D’autres exemples sont consultables dans la revue disponible (ex. éparse, abondante). Seule la revue
posteriori (revues systématiques par exemple)*
en ligne Environmental Evidence : systématique permettra ensuite de dire si les impacts
– Cresswell C. J., Cunningham H. M., Wilcox A. & • Très résistant à la critique sont avérés ou non en exploitant cette littérature
Randall N. P. (2018). What specific plant traits support • Ressources interactives et interrogeables (base de
ecosystem services such as pollination, bio-control données/SIG/visualisations)
and water quality protection in temperate climates? • Convient à de vastes domaines, c'est une étape préalable
A systematic map. Environmental Evidence, 7(1), 2. conseillée avant d’engager une revue systématique
https://doi.org/10.1186/s13750-018-0120-8
• Permet de cibler les knowledge gap et les knowledge
cluster en croisant les variables d’intérêt, et d’orienter
1. Livoreil B. (2018). La Revue systématique. 2e éd. Paris, France: FRB, 36 p. prioritairement la recherche (compléter les gap) pour
2. www.enironmentalevidence.org la réalisation de revues systématiques/méta-analyses *si conduit selon les normes des organismes de collaboration (CEE, SCIE,
3. https://www.scie.org.uk/ ROSES)

42 43
 Les méthodes d’expertise Les méthodes d’expertise

3.2. Évaluation rapide des faits avérés

Rapid Evidence Assessment Évaluation rapide des faits avérés
Coût Personnel (3-6 mois ETP), abonnements (accès à des bases de données, accès aux
articles), logiciels (gestion des références/documentaliste), frais de déplacement
Les REA ont été développés outre-Manche pour pouvoir Références clefs si experts consultés, expert (statisticien, documentaliste).
avoir un aperçu rapide de l’état des connaissances sur • Collins, A., Coughlin, D., Miller, J., & Kirk, S. (2015). Coût variable selon : la quantité des publications examinées, l’existence de revues
un sujet donné afin de répondre à des enjeux de calen- The Production of Quick Scoping Reviews and Rapid antérieures
drier très serré des responsables politiques. Elles s’ins- Evidence Assessments A How to Guide (p. 78).
Temps requis 3 à 9 mois
pirent des revues systématiques afin de structurer un • Tricco A. C., Antony J., Zarin W., Strifler L., Ghassemi
Variable selon : la quantité de littérature, la disponibilité du personnel, le temps
minimum la recherche bibliographique mais n’en ont M., Ivory J., … Straus S. E. (2015). A scoping review
de réponse
pas les ambitions d’exhaustivité ou d’analyse critique of rapid review methods. BMC Medicine, 13(1), 224.
des risques de biais. Elles peuvent parfois servir de https://doi.org/10.1186/s12916-015-0465-6 Répétabilité Moyenne (dépend de quels aspects de la revue systématique sont supprimés et
test/pilote avant une revue systématique. du niveau de rapportage/archivage, souvent faible)
Exemples d’application Transparence Moyenne (voir ci-dessus)
Résumé
Risque de biais Fort (dépend de quels aspects de la revue systématique sont supprimés)
Méthodologie structurée par étapes pour rassem- • Le ministère britannique de l’Environnement, de
Niveau d’incertitude
bler de manière exhaustive, évaluer et synthétiser de l’alimentation et des affaires rurales (Defra) a financé
manière critique les données de recherche existantes des évaluations rapides des faits avérés (Waterson et Échelle (niveau de détails) Toute échelle
(littérature scientifique et littérature grise), inspiré Randall, 2013) pour répondre à des questionnements Capacité de participation Moyenne : consultation tout au long potentiellement
initialement de la revue systématique mais avec des politiques sur la qualité de l’eau. Demande de données Moyenne à faible
aspects simplifiés ou omis afin de produire des infor- – Waterson A., & Randall N. P. (2016). What im-
mations dans un court laps de temps. La méthode est pact does the alteration of timing to slurry applications Types de connaissances Scientifiques, techniques, explicites
parfois appelée « examen rapide » (Tricco et al. 2015). have on leaching of nitrate, phosphate and bacterial pouvant être synthétisées
Les étapes de la méthode et les aspects omis de la pathogens ? A Rapid Evidence Assessment. 39. Types de documents Rapport écrit et autres supports de communication (note de synthèse par exemple),
revue systématique sont laissés à la libre appréciation de sortie liste/description/base de données des faits avérés existants, réponse à la question,
des auteurs. La méthode n’est pas bien définie inter- • Une revue narrative de la littérature a été élaborée identification des lacunes dans les connaissances
nationalement, cependant il existe une version stan- sur un thème très large. La méthode utilisée s’appa- Compétence spécifique Expert sur le sujet, spécialiste quantitatif/qualitatif
dardisée de la méthode définie par le gouvernement rente à l’évaluation rapide des faits avérés.
Exhaustivité Non
britannique (Collins et al. 2014). Celle-ci inclut : un – Meyer-Schulz K., & Bürger-Arndt R. (2018). Les
protocole, le sort de tous les articles examinés, une effets de la forêt sur la santé physique et mentale. Pluridisciplinarité Possible
documentation transparente de la démarche suivie. Une revue de la littérature scientifique. Revue Fores- Intelligibilité Forte
Pour les revues rapides plus générales, il n’existe pas tière française et revue Santé publique, (Forêts et santé
de guide méthodologique. Pour les évaluations rapides publique), 243 273.
des faits avérés et pour les revues rapides, il n’existe
pas de comités de coordination pour approuver la mé- Forces Faiblesses
thode lorsqu’elle est mise en œuvre.
• Méthode plus rapide que la revue systématique • Pas exhaustive, non prise en compte des risques
de biais
• Suit certains principes méthodologiques
de la revue systématique • Susceptibilité à de nombreux biais
• Les étapes sont documentées de manière • La fiabilité de la méthode et les risques de biais
transparente et les raccourcis sont expliqués sont variables car la méthode est flexible et
• La littérature grise est prise en compte qu’il n’existe pas de lignes directrices

• Peut évoluer en revue systématique • Ne convient pas à des sujets vastes

44 45
 Les méthodes d’expertise Les méthodes d’expertise

3.3. Expertise scientifique collective

(ESCO) Expertise scientifique collective

Coût Selon le cahier des charges

Résumé Exemples d’application Temps requis 6 mois à 2/3 ans
« À l’instar de la revue systématique, cette méthode a Répétabilité Moyenne à forte.
été développée dans le domaine médical (en France, • À la demande de ministère chargé de l’agriculture,
Transparence Moyenne à forte. Varie selon l’existence de documentation sur le processus mis en œuvre
par l’Inserm depuis 1993) » 4. L’expertise scientifique l’Anses a réalisé une expertise visant à identifier les
(contributions des experts, références bibliographiques, descriptifs méthodologiques).
collective est une méthode d’expertise qui réunit à la usages autorisés des néonicotinoïdes et les alternatives
fois les méthodes d’expertise reposant sur la consulta- existantes, évaluer l’impact des organismes nuisibles Risque de biais Faible. Réside dans le choix préalable des personnes pour la conduire.
tion d’experts (élaboration du cadre d’analyse) et des sur les cultures, évaluer l’efficacité des méthodes de Niveau d’incertitude
connaissances scientifiques, techniques et explicites lutte et les risques d’apparition de résistance liés à ces Échelle (niveau de détails) Toute
(revues de littérature systématiques ou non) dans le méthodes.
Capacité de participation Faible
but de répondre à une question généralement vaste – Anses. (2018). Risques et bénéfices relatifs des
et complexe. La consultation des parties-prenantes alternatives aux produits phytopharmaceutiques com- Demande de données Forte
par les commanditaires en amont garanti l’adhésion à portant des néonicotinoïdes. https://www.anses.fr/fr/ Types de connaissances Toute
l’intérêt de la commande et l’utilisation ultérieure des system/files/PHYTO2016SA0057Ra-Tome3.pdf qui peuvent être synthétisées
conclusions de l’expertise par les acteurs concernés 5.
Types de documents de sortie Rapport, synthèse accessible, avis et recommandations (si demandés par
• L’expertise collective Loup est menée en 2016 par le
le commanditaire), résumés pour décideurs, résultats en accès libre, colloque de
Références clés MNHN et l’ONCFS à la demande du ministère chargé de
restitution possible, publications académiques.
• Anses. (2012). Les principes fondamentaux et l’écologie. Elle vise un état des lieux des connaissances,
points clés de l’expertise collective à l’Anses. Consul- une évolution prévisible de la population de loups en Compétence spécifique Experts dans le sujet traité.
té à l’adresse https://www.anses.fr/fr/system/files/ France d’ici 2025/2030, la définition des paramètres qui Exhaustivité Forte
ANSES-Ft-PrincipesExpertise.pdf conditionnent la viabilité de la population de loups en
Pluridisciplinarité Forte
• Inra-DEPE. (2018). Principes de conduite des exper- France et l’identification des lacunes de connaissances.
tises et des études scientifiques collectives menées pour – Duchamp C., Chapron G., Gimenez O., Robert A., Intelligibilité Forte
éclairer les politiques et le débat publics (p. 42). Consul- Sarrazin F., … Le Maho Y. (2017). Expertise collective
té à l’adresse https://inra-dam-front-resources-cdn. scientifique sur la viabilité et le devenir de la popula-
wedia-group.com/ressources/afile/443383-6a9f2-re- tion de loups en France à long terme (p. 92) [Expertise
source-principes-de-conduite-des-expertises-et-des- scientifique collective]. MNHN ; ONCFS. Forces Faiblesses
etudes.pdf
• Inserm. (2016). Expertises collectives. Consulté à • Le ministère chargé de l’écologie a commandé en • S’inscrit dans une démarche opérationnelle • Durée longue et mobilisation d’un grand nombre
l’adresse https://www.inserm.fr/sites/default/files/ 2013 au MNHN une expertise collective visant un état d’experts*
• Adapté à des vastes domaines et à des questions
2017-09/Inserm_Plaquette_PresentationExpertisesCol- de connaissances relatives à la place de l’ours brun complexes • Demande des capacités pour coordonner le travail
lectives_2016.pdf dans l’écosystème pyrénéen, aux effets de la recons- entre les experts. Besoin de susciter l’intérêt des
• Pluridisciplinaire
titution d’une population viable d’ours brun dans cet experts pour le travail.
écosystème, à la conservation et à la restauration des • Sensibilisation des chercheurs aux questions de la
• La procédure n’est pas documentée systématique-
populations d’ours brun en général et à l’analyse de société, prise de recul par rapport à leur travail. Le
ment.
la dynamique actuelle de la population ursine pyré- terrain peut faire remonter des questions de société
néenne en particulier. Cette Esco a pour objectif d’éva- et définir de nouveaux projets de recherche.
luer la pertinence d’une stratégie qui s’appuierait sur • Inspirant pour de nouveaux programmes de re-
un renforcement de population. cherche, réalisation d’études complémentaires ou pro-
– Luigi B., Jean C., Yvon L. M., Pierre-Yves Q., duction de données ou indicateurs complémentaires
François S., & Audrey S.-S. (2013). L’Ours brun dans • Adapté à des questions polémiques, sociétaux
les Pyrénées (p. 27) [Expertise scientifique collective].
MNHN. • Offre des avis ou des recommandations si demandés
• Traite des aspects éthiques et scientifiques
• La Direction générale de la santé a sollicité l’Inserm
• Vision systémique
pour effectuer un bilan de la littérature scientifique
sur les risques sanitaires associés à l’exposition aux
pesticides. Une mise à jour est de cette expertise est
4. Appel à contribution de France stratégie. Les revues systématiques envisagée.
comme élément de réponse à la crise de défiance envers l’expertise. Sor- – Inserm. (2013). Pesticides : Effets sur la santé
dello et al., Février 2018 (p. 161) [Expertise collective]. Consulté à l’adresse * Le développement d’une capacité d’expertise fait partie des missions
5. Sabbagh, Claire. « L’expertise scientifique à l’Inra : comprendre les en- https://www.inserm.fr/information-en-sante/ des Établissements publics à caractère scientifique et technologique (EPST)
jeux de la demande », Hermès, La Revue, vol. 64, no. 3, 2012, pp. 112-114. expertises-collectives/pesticides-effets-sur-sante tels le CNRS et l’Inra.

46 47
 Les méthodes d’expertise Les méthodes d’expertise

• Le ministère chargé de l’écologie et de l’agriculture a diversité pour l’agriculture, les marges de manœuvre
confié au GIP Ecofor une mission d’expertise collective techniques pour mieux internationaliser la biodiver-
scientifique et technique à visée prospective sur l’avenir sité dans l’agriculture, la faisabilité économique tech-
de massif forestier des Landes de Gascogne dont l’ob- nique et sociale de cette internationalisation.
jectif est de mobiliser les connaissances autour d’op- – Le Roux X., Baudry J., Burel I., Doussan E.,
tions envisageables pour l’avenir du massif forestier. Garnier E., Herzog F., … Trommetter M. (2008). Agri-
– Monnet S., & Peyron J.-L. (2013). Expertise col- culture et biodiversité. Valoriser les synergies (p. 117)
lective scientifique et technique à visée prospective [Expertise scientifique collective]. France: Inra.
sur l’avenir du massif forestier landais. Consulté à
l’adresse GIP-Ecofor website: http://landes.gip-ecofor. • Dans le cadre de l’amélioration des politiques pu-
org/data/ResumeExpertiseLandes.pdf bliques, le ministère chargé de l’agriculture a comman-
dé à l’Inrae une expertise pour évaluer les bénéfices
• En 2008, les ministères chargés de l’agriculture et de sur la santé de la consommation de fruits et légumes.
l’environnement ont demandé à l’Inrae de réaliser un – Inra. (2007). Les fruits et légumes dans l’ali-
état de connaissances pluridisciplinaires sur les rela- mentation, enjeux et déterminants de la consomma-
tions entre agriculture et biodiversité dans le cadre de tion [Expertise scientifique collective]. Consulté à
négociations réglementaires. Les questions associées l’adresse http://inra.dam.front.pad.brainsonic.com/
concernent les effets de l’agriculture sur la biodiver- ressources/afile/234046-3505e-resource-expertise-
sité, les rôles et valorisations possibles de cette bio- fruits-et-legumes-introductif.html

Colloque de restitution

Phase d’instruction Phase de réalisation

Travail sur le corpus

(documentalistes) Constitution du corpus bibliographique Analyse du corpus final

Analyse du corpus, réalisation des traitements/assemblages

de données. Rédaction des contributions

Rédaction du rapport
(experts)

Élaboration Notes de Élaboration des Mise en ligne

du plan préfiguration des conclusions générales du rapport
du rapport contributions

Rédaction de la synthèse
et du résumé Élaboration
(équipe projet / pilotes) de la synthèse

Résumé Impression
Mise en ligne

Traduction anglais
Édition (ouvrage)

FIGURE 13 DÉROULEMENT SCHÉMATIQUE DE L’ÉLABORATION DU RAPPORT, DE LA SYNTHÈSE ET DU RÉSUMÉ D’UNE ESCO

OU D’UNE ÉTUDE (INRAE, 2018)

48 49
 Les méthodes d’expertise Les méthodes d’expertise

3.4. Méta-analyse
(Meta-analysis) Méta-analyse
Coût Très variable. Dépend du fait que les données soient ou non disponibles. Affecté par
la quantité de données à analyser
Le mot méta-analyse est polysémique et peut corres- Exemples d’application
pondre à deux visions différentes : d’un côté il s’agit Temps requis Très variable, mais généralement long (>6mois). Dépend des disponibilités des données
d’une analyse « méta », c’est-à-dire d’une ré-analyse • Le Commissariat général à la stratégie et à la pros- et des experts.
de connaissances existantes, et en cela elle peut se rap- pective (actuellement France Stratégie) a confié à Répétabilité Faible à Forte, selon la qualité des procédures employées pour effectuer, enregistrer
procher d’une revue, systématique ou non. D’un autre, l’Inrae une étude visant à analyser les performances et archiver l’étude
il s’agit d’une démarche de ré-analyse de données de l’agriculture biologique. La performance productive
Transparence Faible à Forte, selon la qualité des procédures employées pour effectuer, enregistrer
quantitatives par des outils statistiques particuliers. des productions végétales mesurée par le rendement
et archiver l’étude
Des méta-analyses au sens statistiques peuvent être pour l’agriculture biologique et l’agriculture conven-
inclues dans des revues systématiques quand les jeux tionnelle ont été comparées Risque de biais Faible à Forte, selon la qualité des procédures employées pour effectuer, enregistrer
de données le permettent. – Ponti T., Rijk B., & Ittersum M. K. (2012). The Niveau d’incertitude et archiver l’étude
crop yield gap between organic an conventional Échelle (niveau de détails) Toute échelle
Résumé agriculture. Agricultural Systems, 108. https://doi.
Capacité de participation/ Faible, voire nulle (en général aucune)
Dans la méta-analyse statistique, les données sont org/10.1016/j.agsy.2011.12.004 implication parties prenantes
souvent dérivées d’articles scientifiques et de rap- – Seufert V., Ramankutty N., & Foley J. A. (2012).
ports, mais peuvent être parfois également obtenues Comparing the yields of organic and conventional Demande de données Forte
directement auprès de responsables d’expérimenta- agriculture. Nature, 485(7397), 229 232. https://doi. Types de connaissances Scientifique et technique
tion. La méta-analyse peut faire suite à une revue sys- org/10.1038/nature11069 pouvant être synthétisées
tématique. Elle est possible si l’on dispose de plusieurs Types de documents de sortie Résultats statistiques
jeux de données répondant à une même question. Une • L’expertise scientifique collective de l’Inrae réalisée
méta-analyse est fondée sur des analyses statistiques à la demande du ministère chargé de l’agriculture sur Compétence spécifique Scientifique expérimentée du domaine de l’étude
visant à estimer l’effet d’un traitement expérimental l’agriculture et la biodiversité s’appuie sur une méta- Exhaustivité Forte
sur une variable de réponse et à expliquer l’origine de analyse qui a permis de révéler que la réduction de Pluridisciplinarité Possible
la variabilité de cet effet. Elle permet également d’ana- l’usage des pesticides sur les bords de champs a des
lyser l’incertitude et d’évaluer le biais de publication. effets très significatifs sur les populations d’insectes. Intelligibilité Lectorat averti
– Frampton G. K., & Dorne J. L. C. M. (2007). The
Références clés effects on terrestrial invertebrates of reducing pesti-
• Beillouin D., Ben-Ari T., & Makowski D. (2019). cide inputs in arable crop edges : A meta-analysis.
Evidence map of crop diversification strategies at the Journal of Applied Ecology, 44(2), 362 373. https://
Forces Faiblesses
global scale. Environmental Research Letters, 14(12). doi.org/10.1111/j.1365-2664.2007.01277.x
https://doi.org/DOI: 10.1088/1748-9326/ab4449 • Traitement statistique puissant pour analyser les • Ce n’est pas une méthode interdépendante, elle
• Gurevitch J., Koricheva J., Nakagawa S., & Stewart • L’ADEME et les ministères chargés de l’agriculture causes de variabilité obtenues par différentes repose sur d’autres méthodes pour fournir des
G. (2018). Meta-analysis and the science of research et de l’écologie ont sollicité l’Inrae pour déterminer études à condition que le corpus scientifique soit résultats
suffisamment large
synthesis. Nature, 555, 175 182. https://doi.org/10. et analyser des actions favorables au stockage de car- • La fiabilité des résultats dépend fortement de la
1038/nature25753 bone par l’agriculture. • Permet d’évaluer l’existence d’hétérogénéité et d’en fiabilité des données de revues de littérature utilisées
• Koricheva J., & Gurevitch J. (2014). Uses and mi- – Vermont B., & Cara S. (2010). How costly is mi- comprendre les raisons ou d’émettre des hypothèses et de la qualité de la démarche scientifique pour
suses of meta-analysis in plant ecology. Journal tigation of non-CO2 greenhouse gas emissions from à ce sujet conduire les différentes étapes de la méta-analyse
of Ecology, 102(4), 828 844. https://doi.org/10.1111/ agriculture ? A meta-analysis. Ecological Economics, • Analyse extensive (comprenant les analyses de • Requiert des hautes compétences techniques et
1365-2745.12224 69(7), 1373 1386. sensibilité, analyses de sous-groupe et analyses de scientifiques
• Koricheva J., Gurevitch J. et Mengersen K. (2013). régression) pour l’analyse de variables catégoriques et
Handbook of Meta-analysis in Ecology and Evolution • La DEPE de l’Inrae a réalisé une expertise commandi- • Ne convient pas aux sujets trop vastes mais répond
explicatives qui peuvent causer de la variabilité dans
à des questions spécifiques. Ne convient pas à des
(Princeton et Oxford). Consulté à l’adresse https://press. tée par l’ADEME et le ministère chargé de l’agriculture, les résultats
questions où la variable de réponse est qualitative ou
princeton.edu/books/hardcover/9780691137285/ mêlant analyse textuelle, revue systématique et analyse
• Évaluation quantitative des biais de publication avec distribution discrète des valeurs
handbook-of-meta-analysis-in-ecology-and-evolution quantitative de l’impact climatique des bioénergies.
• Philibert A., Loyce C., & Makowski D. (2012). As- – Bispo A., Gabrielle B., Makowski D., El Akkari M., • Évaluation de la qualité de l’étude par des études de
sessment of the quality of meta-analysis in agronomy. Bamière L., Barbottin A., … Rechauchère O. (2017). Ef- pondération
Agriculture, Ecosystems & Environment, 148, 72–82. fets environnementaux des changements d’affectation
https://doi.org/10.1016/j.agee.2011.12.003 des sols liés à des réorientations agricoles, forestières,
ou d’échelle territoriales : Une revue critique de la lit-
térature scientifiques (p. 68 p.) [Contract]. Consulté à
l’adresse Agence de l’Environnement et de la Maîtrise
de l’Energie website: https://hal.archives-ouvertes.fr/
hal-01562314

50 51
 Les méthodes d’expertise Les méthodes d’expertise

3.5. Modélisation
Modélisation

Coût 1 ETP
Résumé Exemples d’application
Approche permettant de modéliser des systèmes com- Temps requis 1 an
plexes pour l’organisation d’un système de culture ou • Le ministère chargé de l’écologie et le ministère Répétabilité Forte
pour la gestion d’un territoire (écosystème local, habi- chargé de l’agriculture ont conjointement sollicité l’In-
Transparence Forte, le modèle est rigoureux et parfaitement décomposable. Les étapes sont justifiées.
tat étendu ou paysage hétérogène). Plusieurs types de rae dans le but de disposer d’un ensemble de connais-
modèles existent. Cette méthode basée sur des mo- sances et références agronomiques pour proposer Risque de biais Moyen, dépend des modélisateurs et de leur interprétation du fonctionnement
dèles informatiques calcule des trajectoires (ex. dyna- des mesures efficaces pour lutter contre la pollution Niveau d’incertitude de l’écosystème.
mique de flore adventice ou de maladies, croissance nitrique des eaux souterraines et de surface par l’im- Échelle (niveau de détails) Toute échelle
des cultures, lixiviation d’azote) en fonction des va- plantation de cultures intermédiaires pièges à nitrate.
Capacité de participation Forte : consultation des parties-prenantes en début et tout au long de la conception et de
riables considérées et de leurs processus associés. La En complément d’une revue de littérature large, explo-
Implication parties-prenantes l’interprétation du modèle. Un même modèle peut être utilisé pour une nouvelle question.
simulation à l’aide de ces modèles permet de tester des rant l’ensemble des fonctions écologiques des couverts
scénarios prospectifs, d’évaluer les risques, d’évaluer intermédiaires, les travaux de simulation déclinent les Demande de données Faible à forte selon le système considéré
des facteurs sur le long terme et prend en compte une différents modes de gestion de l’interculture pour une Types de connaissances Scientifiques, techniques, explicites, tacites, savoirs locaux
multitude d’objectifs (biodiversité, production, nuisi- large gamme de situations pédoclimatiques représen- qui peuvent être synthétisées
bilité des bioagresseurs, aspects socioéconomiques). tatives de la France métropolitaine en utilisant les mo-
Types de documents de sortie Rapport, synthèse, graphiques, tableaux
Dans le cadre d’une expertise scientifique collec- dèles SIMPLE (analyse de la phase de semis-levée des
tive menée par l’Inrae, à la revue systématique est sou- cultures intermédiaires) et STICS (impacts N, C et eau Compétence spécifique Le modélisateur nécessite une expertise dans le domaine considéré (agronomie, écologie,
vent complétée par de la modélisation. du mode de gestion et analyse des jours disponibles socio-économie)
pour détruire les cultures intermédiaires). Exhaustivité Forte
Références clés – Justes E., Beaudoin N., Bertuzzi P., Charles R.,
Pluridisciplinarité Possible
• Brisson N., Launay M., Mary B., & Beaudoin N. (2008). Constantin J., Dürr C., Hermon C., Joannon A., Le Bas
Conceptual Basis, Formalisations and Parameterization C., Mary B., Mignolet C., Montfort F., Ruiz L., Sarthou Intelligibilité Forte
of the Stics Crop Model (Quae). https://www.quae.com/ J.P., Souchère V., Tournebize J., Savini I., Réchauchère
produit/1022/9782759209712/conceptual-basis-forma- O. (2012). Réduire les fuites de nitrate au moyen de
lisations-and-parameterization-of-the-stics-crop-model cultures intermédiaires : Conséquences sur les bilans
• Bürger J., Darmency H., Granger S., Guyot S. H. M., d’eau et d’azote, autres services écosystémiques (p. 418) Forces Faiblesses
Messéan A., & Colbach N. (2015). Simulation study of [Rapport d’étude]. Inra website: http://inra.dam.front.
the impact of changed cropping practices in conven- pad.brainsonic.com/ressources/afile/225011-f5725- • Rapide à mettre en œuvre • La modélisation repose sur des composantes et
tional and GM maize on weeds and associated biodi- resource-cultures-intermediaires-introduction-et-cha- processus choisis en partie arbitrairement (sur la base
• Prise en compte d’un grand nombre de variable
versity. Agricultural Systems, 137, 51 63. https://doi. pitre-1.html des dires d’expert du fonctionnement du système)  
(intégration) avec une prise en compte de toutes les
org/10.1016/j.agsy.2015.03.009 parties prenantes utiles au fonctionnement • Ne dit rien sur la vitesse des processus, leurs
• Colbach N. (2010). Modelling cropping system effects durées et probabilités d’exécution et donc, sur le
• Modélisation possibiliste (tous les futurs du système
on crop pest dynamics : How to compromise between déroulement des trajectoires ; Il ne fait qu’identifier
sont explorés), et sur le long terme ( ?)
process analysis and decision aid. Plant Science, 179(1), les trajectoires
1 13. https://doi.org/10.1016/j.plantsci.2010.04.009 • Analyse très fine du comportement du système
• Ne quantifie pas les dynamiques sur le long terme
• Dürr C., Aubertot J.-N., Richard, G., Dubrulle P., (notamment la diversité territoriale des conditions
(changement de structure de l’écosystème)
Duval, Y., & Boiffin J. (2001). SIMPLE : A model for biophysiques et socio-économiques), avec des
SIMulation of PLant emergence predicting the effects déductions de résilience et collapses éventuels • Besoin de données
of soil tillage and sowing operations. Soil Science • Atemporelle et causale, le temps est inclus dans le • Un recul est nécessaire pour évaluer les modèles. Un
Society of America Journal, 65, 414 423. https://doi. modèle mais pas de façon quantifiée mais de façon modèle est toujours une simplification de la réalité
org/10.2136/sssaj2001.652414x causale (des causes vers les effets)
• Coucheney E., Buis S., Launay M., Constantin J.,
Mary B., García de Cortazar-Atauri I., … Léonard J.
(2015). Accuracy, robustness and behavior of the
STICS soilecrop model for plant, water and nitrogen
outputs : Evaluation over a wide range of agro-envi-
ronmental conditions in France. Environmental Model-
ling & Software, p. 177 190.
• Gaucherel C., & Pommereau F. (2019). Using discrete
systems to exhaustively characterize the dynamics
of an integrated ecosystem. Methods in Ecology and
Evolution, 10(9), 1615 1627. https://doi.org/10.1111
/2041-210X.13242

52 53
 Les méthodes d’expertise Les méthodes d’expertise

3.6. Revue exploratoire

(Scoping Review) Revue exploratoire
Coût Personnel (1-6 mois ETP), abonnements (accès à des bases de données, accès aux articles),
logiciels (gestion des références/documentaliste), frais de déplacement si experts
Il existe une autre méthode proche de la cartographie Exemples d’application consultés, expert (informaticien, spécialiste interprétations des bases de données)
systématique mais requérant moins de rigueur : Il s’agit
de la revue exploratoire. Elle peut être utilisée lorsque • Le ministère britannique de l’environnement, de Temps requis 1 à 6 mois
Variable selon: la quantité de littérature, la disponibilité du personnel, le temps
les contraintes de temps et de coûts sont importantes l’alimentation et des affaires rurales (Defra) a com-
de réponse
et aboutir à un résultat similaire dans sa forme à celui mandé des études pour informer le gouvernement sur
de la cartographie systématique, sans en voir les quali- la réglementation des pesticides (James et al. 2014) et Répétabilité Moyenne
tés. Une Scoping review peut servir de tests de faisabili- sur l’intensification durable de l’agriculture. Le rap- Transparence Forte (si elle est bien conduite)
té pour une future cartographie ou revue systématique. port est disponible :
Risque de biais Fort car non exhaustivité et critères de sélection rarement définis, pas d’analyse critique
– James K., Randall N. P., & Millington A. (2014).
Niveau d’incertitude
Résumé The impact of pesticides used for amenity purposes
Méthodologie structurée par étapes non figées pour on controlled waters (Quick Scoping Review No Final Échelle (niveau de détails) Toute échelle
assembler et décrire des connaissances et des données report WT1546; p. 42). United Kingdom: Department Capacité de participation Moyenne : consultation tout au long potentiellement
issues de la recherche (littérature scientifique et litté- for Environment, Food and Rural Affairs. Implication parties-prenantes
rature grise) dans un vaste domaine. La méthodologie – Knight S., Whitmore A., Tiffin R., Ang F., Areal
Demande de données Dépend du niveau d’analyse
suit celle de la cartographie systématique mais avec F., Ramsden S., … Preston J. (2014). Project 1 : Integra-
des éléments du processus simplifié ou omis pour pro- ted Farm Management for Improved Economic, Envi- Types de connaissances Scientifiques, techniques, explicites
duire des informations dans un temps plus court. No- ronmental and Social Performance (LM0201) [Scoping pouvant être synthétisées
tamment, la phase de cadrage n’est pas la même. La study]. UK: Defra. Available from: http://randd.defra. Types de documents de sortie Rapport écrit et autres supports de communication (note de synthèse par exemple)
méthode a été appelé « Quick Scoping Review » (Collins gov.uk/Document.aspx?Document=14132_SIP1_sco-
Compétence spécifique Spécialiste sur le sujet
et al. 2014). Les étapes de la méthode et les éléments ping_study_Final.pdf
de la cartographie systématique laissés de côté sont – Thomas-Walters L., McNulty C., & Veríssimo D. Exhaustivité Non
laissés à la libre appréciation et la méthode elle-même (2019). A scoping review into the impact of animal ima- Pluridisciplinarité Possible (dépend de la question)
n’est pas normalisée au niveau international. Une gery on pro-environmental outcomes. Ambio. https://
Intelligibilité Forte (mais avec risques)
version normalisée de la Quick Scoping Review a été doi.org/10.1007/s13280-019-01271-1
définie par le gouvernement britannique (Collins et al.
2014), et est utilisée pour les estimations de temps et
de coûts ci-dessous. Les revues exploratoires ne sont Forces Faiblesses
généralement pas approuvées par un organisme de
coordination ou de certification. Cela conduit à une
• Suit certains aspects de la cartographie systématique • Pas aussi fiable que la cartographie systématique
large gamme de méthode, de formes de rapports et de
degré de confiance en leur conclusion. • Inclut de la littérature grise • Protocole non revue par des pairs
• Peut évoluer en revue systématique ou cartographie • Ne donne pas d’analyse détaillée du contenu des
Références clés systématique articles. Montre uniquement quelles sont les faits
• Collins A., Coughlin D., Miller J., & Kirk S. (2015). avérés
The Production of Quick Scoping Reviews and Rapid • Convient à de vastes domaines
Evidence Assessments A How to Guide (p. 78).
• Guillez P., & Tétreault S. (2014). Guide pratique
de recherche en réadaptation (1re édition). De Boeck
Superieur.
• Tricco A. C., Antony J., Zarin W., Strifler L., Ghas-
semi M., Ivory J., … Straus S. E. (2015). A scoping
review of rapid review methods. BMC Medicine, 13(1),
224. https://doi.org/10.1186/s12916-015-0465-6

54 55
 Les méthodes d’expertise Les méthodes d’expertise

3.7. Revue systématique

(Systematic Review) Revue systématique

Coût Personnel (6-24 mois ETP), abonnements (accès aux bases de données, aux articles), logi-
ciels (gestion des références/documentaliste), frais de déplacements si experts consultés,
Les revues systématiques ont été initialement déve- La méthode permet aussi de réaliser des revues
expert (statisticien, documentaliste), frais de publication (1800€ par article dans EEJ)
loppées en médecine afin de synthétiser les faits avé- de revues. En outre, les premières étapes d’une revue
rés (ou non) en réponse à des questions précises, à des systématique (aboutissant à la base de données des Temps requis 6 mois à 2 ans. Variable selon : la quantité et la difficulté d’accès à la littérature,
fins d’application, et en réponse aux querelles d’experts publications sélectionnés après les phrases de tris) la largeur de la question posée, la disponibilité du personnel, le temps de réponse,
ou aux risques de conflits d’intérêt et de lobbying dans correspondent à celles d’une cartographie systéma- l’existence de revues systématiques antérieures ou de cartographies systématiques
ce domaine. Elles ont ensuite été développées dans les tique (voir p. 42). Enfin, la méthode peut être accom- Répétabilité Forte (si conduite, enregistrée et archivée correctement)
sciences humaines et sociales, puis il y a près de 10 ans pagnée, dans ses étapes initiales de l’élaboration d’un Transparence Forte (si elle est bien conduite, approuvée par organisme spécialisé)
pour les sciences de l’environnement. cadre conceptuel permettant d’illustrer la complexité
des interactions (causales ou corrélatives) en jeu. Risque de biais Faible (si bien conduite), met en œuvre des méthodes pour prendre en compte voire
Résumé Niveau d’incertitude évaluer le risque de biais de manière transparente et réplicable
Méthode de synthèse bibliographique structurée par Références clés Échelle (niveau de détails) Toute échelle
étapes afin d’objectiver er de standardiser au mieux le • Application of systematic review methodology to Capacité de participation/ Moyenne : consultation tout au long potentiellement
processus de synthèse. Pour cela, elle suit un protocole food and feed safety assessments to support decision Implication parties-prenantes
publié a priori. La revue systématique vise à rassem- making. (2010). EFSA Journal, 8(6), 1637. https://doi.
Demande de données Forte
bler la connaissance de manière exhaustive (tel que le org/10.2903/j.efsa.2010.1637
ferait une cartographie systématique, voir p. 42) puis à • Collaboration for Environmental Evidence. (2013). Types de connaissances Scientifiques, techniques, explicites
évaluer de manière critique ces connaissances pour en- Guidelines for systematic reviews in environmental pouvant être synthétisées
suite les synthétiser en tenant compte de leurs particu- management (no 4.2). http://www.environmentalevi- Types de documents de sortie Rapport écrit et autres supports de communication (ex. note de synthèse), liste/descrip-
larités. La revue systématique peut inclure à la fois de dence.org/wp-content/uploads/2014/06/Review-gui- tion/base de données des faits avérés existants, réponse à la question, identification des la-
la littérature académique traditionnelle et de la littéra- delines-version-4.2-final.pdf cunes dans les connaissances, recommandations pour la recherche, la gestion, les politiques
ture grise. Si les jeux de données le permettent, la revue • Higgins J., & Thomas J. (2019). Cochrane Handbook Compétence spécifique Savoir gérer des volumes potentiellement importants d’articles, avoir été informé de
systématique inclut une ou des méta-analyse(s) qui for Systematic Reviews of Interventions (no 6). https:// la méthode, rigueur vis-à-vis des biais, capacité à lire et analyser des articles en dehors
constituent alors la partie quantitative de ses résultats. training.cochrane.org/handbook de son domaine de compétence. Réflexivité.
Cette méthode est souvent appliquée à des ques- • Livoreil B. (2018). La Revue systématique (Outils
Exhaustivité Forte (mesurée et transparente)
tions telles que : d’aide à la décision no 2; p. 19). Fondation pour la re-
– Quelle est l’efficacité d’une intervention ? (ex. cherche sur la biodiversité website: http://www.fon- Pluridisciplinarité Possible (selon la question posée)
pratique de gestion) dationbiodiversite.fr/wp-content/uploads/2019/03/ Intelligibilité Moyenne. Public averti indispensable – possibilités de livrables de vulgarisation
– Quel est l’effet de l’exposition à X sur les caracté- Revue-syste%CC%81matique-web.pdf
ristiques de Y ? (ex. effet du bruit sur les écosystèmes) • Pullin A., & Stewart G.-B. (2006). Guidelines for
La revue systématique repose sur l’existence de Systematic Review in Environmental Management.
connaissances scientifiques et n’est généralement pas Conservation Biology, 20(6), 1647 1656. https://doi. Forces Faiblesses
appropriée pour des sujets émergents ou présentant org/DOI: 10.1111/j.1523-1739.2006.00485.x
des lacunes (bien que des « revues vides » se soient • Une documentation exhaustive permet la prise en • Demande des compétences multilingues et accès à de
développées ces dernières années). Exemples d’application compte de tous les types de recherche (fondamentale, multiples bases de connaissances
Les organismes de coordination tels que la Collabo- appliquée, quantitative, etc.)
• La méthode requière du temps et des ressources
ration Cochrane 6, la Collaboration sur les faits avérés 7 • Le fonds mondial pour l’environnement a comman-
• Mise à jour relativement rapide si les méthodes sont humaines pour la réaliser
(Collaboration for Environnemental Evidence, CEE) et dé et financé une revue systématique sur l’impact des
bien rapportées et les données bien archivées
la collaboration Campbell 8 fournissent des directives aires terrestres protégées sur le bien-être des popula- • Les rapports sont rendus en anglais
pour la conduite de revues systématiques de haute tions (Pullin et al. 2013). Cette revue était un mélange • Protocole examiné par des pairs en externe et
• Les rapports sont peu accessibles. Nécessité d’avoir
qualité. Dans le domaine environnemental c’est la CEE de méthodes quantitatives et qualitatives. En général, publié, augmentant la transparence et enregistrant
une autre forme de communication supplémentaire
qui est référente, représentée en France par la Fonda- les données de base ont été jugées particulièrement l’intention de procéder à la revue*
tion pour la Recherche sur la Biodiversité depuis 2015. pauvres, de nombreux impacts rapportés par la re- • Ne convient pas à des sujets vastes sauf à les
• Exhaustivité de la collecte de littérature
Les exigences en matière de rapport incluent : le proto- cherche n’ont pas été étudiés quantitativement. découper en plusieurs revues
• Faible risque de biais**
cole de la revue, la traçabilité de tous les articles collectés – Pullin A. S., Bangpan M., Dalrymple S., Dickson
puis triés, une base de données des articles sélectionnés K., Haddaway N. R., Healey J. R., … Oliver S. (2013). • Livrables en libre-accès*
in fine (avec métadonnées), des tableaux comportant Human well-being impacts of terrestrial protected • Très résistant à la critique
des données extraites des publications à faible et moyen areas. Environmental Evidence, 2(1), 19. https://doi. * Si la revue est conduite selon les normes Cochrane, CEE ou Campbell.
• Toujours évalué par les pairs*
niveau de biais, quand elles sont possibles. org/10.1186/2047-2382-2-19 ** Une initiative internationale est en cours, afin d’évaluer et mettre en
• Des organes de coordination existent et peuvent agir lumière la qualité des revues systématiques réalisées en sciences de l’envi-
6. www.cochrane.org • En France, le Club des infrastructures linéaires & comme appui supplémentaire ronnement car la méthode est souvent citée sans être suivie selon les stan-
7. www.enironmentalevidence.org biodiversité (CILB), le ministère chargé de l’écologie • Comprend l’engagement des parties prenantes dards en vigueur, pouvant causer des biais importants dans les conclusions
8. www.campbellcollaboration.org (programme ITTECOP) et la FRB ont lancé un appel à (projet CEEDER).

56 57
 Les méthodes d’expertise Les méthodes d’expertise

Identification
Références identifiées par Références supplémentaires
recherche sur base de données identifiées par d’autres sources
(n = …) (n = …)

Sélection
Références après suppression des doublons
(n = …)

Références sélectionnées Références exclues

(n = …) (n = …)

Éligibilité
Articles évalués en texte Articles en texte intégral
intégral pour éligibilité exclus, avec les raisons
(n = …) (n = …)

Inclusion
Étude incluses
dans la synthèse qualitative
(n = …)

Étude incluses
dans la synthèse quantitative
(méta-analyse)
(n = …)

FIGURE 14 TRADUCTION FRANÇAISE ORIGINALE DU DIAGRAMME DE FLUX PRISMA 2009

projet qui a abouti à la production de la première revue capes? A systematic review. Environmental Evidence,
systématique en environnement (projet COHNECS-IT) 7(1), 5. https://doi.org/10.1186/s13750-018-0117-3
pilotée par l’UMS PatriNat en collaboration avec le
Cesco, le Cerema, l’Inrae, l’Irstea et l’UPMC. L’objectif • Le ministère chargé de l’écologie a commandé une
était de répondre à une demande des gestionnaires revue systématique à la FRB pour déterminer quelles
d’infrastructures linéaires de transport qui souhaitaient solutions efficaces existent pour réduire au minimum
mieux comprendre le rôle potentiel que ces structures la dissémination de la résistance aux antibiotiques
pouvaient avoir pour la biodiversité (ex. habitats et dans l’environnement.
corridors créés par les bords de route et les berges de – Goulas A., Livoreil B., Grall N., Benoit P., Cou-
voies fluviales). Le protocole a été publié en 2016 9, une derc-Obert C., Dagot C., … Andremont A. (2018).
première revue a été publiée sur les insectes en 2018 What are the effective solutions to control the dissemi-
et une seconde est en préparation sur les vertébrés 10. nation of antibiotic resistance in the environment ? A
– Villemey A., Jeusset A., Vargac M., Bertheau Y., systematic review protocol. Environmental Evidence,
Coulon A., Touroult J., … Sordello R. (2018). Can linear 7(1), 3. https://doi.org/10.1186/s13750-018-0118-2
transportation infrastructure verges constitute a habi-
tat and/or a corridor for insects in temperate lands- Voir l’Environmental Evidence Journal (EEJ)l 11 pour
plusieurs autres exemples de revues systématiques.
9. Sordello R. (2018). La science à la portée des gestionnaires. Espaces na-
turels. Numéro 63 - Juillet-Septembre 2018. Papier. Pages 44-45.
10. Ouédraogo, D.Y. et al. (In preparation). Can linear transportation infras- 11. L’Environemental Evidence Journal est le journal dédié affilié à la Col-
tructure verges constitute a habitat and/or a corridor for vertebrates in laboration for Environemental Evidence (CEE) : http://environmentalevi-
temperate landscapes? A systematic review. dencejournal.biomedcentral.com/

58 59
 Les méthodes d’expertise Les méthodes d’expertise

3.8. Synopsis et résumés de faits avérés

sur un vaste sujet Synopsis et résumés de faits avérés sur un vaste sujet
Subject-wide Evidence Synthesis
Coût Personnel (12-120 mois ETP), abonnements (accès aux articles scientifiques)
(Summaries et synopses)
Temps requis 12-120 mois
Répétabilité Forte (si conduite, enregistrée et archivée correctement)
Cette méthode développée particulièrement à Cam- Références clefs
Transparence Forte (si elle est bien conduite)
bridge permet de rechercher, sans prétendre à l’exhaus- Des indications détaillées sur la manière de mettre
tivité, les publications démontrant des liens de cause à en œuvre cette méthode sont fournies dans le cadre Risque de biais Faible à moyen (en raison de la non exhaustivité)
effet (et non des corrélations) entre une exposition, une du projet « Conservation Evidence » à l’Université de Niveau d’incertitude
intervention et des conséquences sur l’environnement. Cambridge (www.conservationevidence.com). Échelle (niveau de détails) Toute échelle
Elle peut être précédée par un travail de consultation • Sutherland, W. J., Taylor, N. G., MacFarlane, D.,
Capacité de participation/ Moyenne : consultation potentielle tout au long (à l’aide d’un comité consultatif d’experts)
des parties prenantes pour prioriser la liste des inter- Amano, T., Christie, A. P., Dicks, L. V., … Wordley,
Implication parties-prenantes
ventions ou expositions pertinentes et susceptibles C. F. R. (2019). Building a tool to overcome barriers
d’intéresser de futurs usagers. in research-implementation spaces : The Conserva- Demande de données Faible (pas de statistiques)
tion Evidence database. Biological Conservation, 238, Types de connaissances Scientifiques, techniques, explicites
Résumé 108199. https://doi.org/10.1016/j.biocon.2019.108199 pouvant être synthétisées
Approche transparente pour rassembler et résumer • Sutherland, W., & Dicks, L. (2018). What Works in
Types de documents de sortie Site internet interactif de faits avérés, rapports faciles à lire et d’autres supports
les résultats de recherche existants sur un vaste sujet Conservation (Vol. 1–Open Book Publishers). https://
de communication (par exemple, note de synthèse), identification des lacunes
dans un format standard. Les interventions, actions ou doi.org/10.11647/OBP.0131 de connaissances / connaissances stratégiques
impacts sont d’abord répertoriés (processus d’analyse
de solution) alors qu’une revue systématique partirait Exemples d’application Compétence spécifique Formation, bonnes compétences en rédaction, expert du domaine
d’une liste déjà identifiée et en choisirait certaines afin Exhaustivité Non
d’en évaluer l’efficacité, par exemple. • Cette approche a été utilisée par une agence gouver- Pluridisciplinarité Possible
nementale britannique pour sélectionner les actions
Solution scanning/Analyse de solution 12 à inclure dans les options agroenvironnementales du Intelligibilité Forte
Méthodologie structurée par étapes pour identifier une programme Wild Polllinator et Farm Wildlife, dans
longue liste d’actions, d’interventions ou d’approches le plan de gestion rural (Countryside Stewardship
disponibles, en réponse à un enjeu important. Une scheme), introduit en 2015 (Dicks et al. 2015).
liste est dressée après consultation d’un large éventail - Dicks, L. V., Baude, M., Roberts, S. P.-M., Phillips, Forces Faiblesses
de parties prenantes, et continue à circuler à travers J., Green, M., & Carvell, C. (2015). How much flower-
les réseaux jusqu’à ce que cinq nouvelles personnes rich habitat is enough for wild pollinators? Answering • Rapide et facile à lire • Requiert du temps à l’initial et des ressources
l’aient vu et n’ajoutent rien. a key policy question with incomplete knowledge. Eco- (personnel et experts/formation/accès à des
• L’actualisation est possible et moins coûteuse
L’analyse de la solution constitue la première étape logical Entomology, 40(Insects and Ecosystem Services documents de recherche)
• Inclus l’engagement d’experts
de la méthode Synopsis et résumés des faits avérés. 28th Symposium of the Royal Entomological Society of
LondonS1), 22 35. https://doi.org/10.1111/een.12226 • Documents en libre-accès et traduits en plusieurs
La recherche bibliographique n’est pas exhaustive langues
mais clairement documentée. Elle cible les articles • Prise en compte des parties prenantes
scientifiques les plus pertinents qui fournissent des
faits avérés (par exemple relations causales). La prise • Convient pour des sujets très larges
en compte de la robustesse est fondée sur l’établis-
sement de rapports normalisés de la méthode de re-
cherche utilisée (« research design »). Cette méthode
comprendra toutes les revues systématiques existantes
et les cartographies systématiques lorsque cela est
possible.

12. Dicks L.V., Haddaway N., Hernández-Morcillo M., Mattsson B., Randall
N., Failler P., Ferretti J., Livoreil B., Saarikoski H., Santamaria L., Rodela
R., Velizarova E., and Wittmer H. (2018). Knowledge synthesis for envi-
ronmental decisions: an evaluation of existing methods, and guidance for
their selection, use and development – a report from the EKLIPSE project.

60 61
 Les méthodes d’expertise Les méthodes d’expertise

3.9. Élaboration de scénarios / Prospective

Élaboration de scénarios
Coût Varie selon : le champ de l’analyse (échelle, secteurs considérés, pays impliqués, niveau
Résumé Exemples d’application de détails), le logiciel utilisé si besoin, le nombre de parties-prenantes impliquées,
La méthode d’élaboration de scénarios, ou prospective, le niveau de désaccord en amont au sein des parties-prenantes et experts, le nombre
construit des hypothèses sur le développement futur. • Le ministère de la transition écologique et solidaire, de tours de révisions, l’accès à d’autres scénarios. Compétence d’un facilitateur ou
Les scénarios sont des descriptions cohérentes de de- l’Office français pour la biodiversité (OFB) et la Fonda- d’un modérateur si l’approche participative est adoptée.
venirs possibles ou alternatifs qui reflètent différentes tion pour la recherche sur la biodiversité (FRB) ont mis Temps requis Des scénarios simples peuvent être développés en 2 à 5 jours (et donc plusieurs séances)
perspectives sur le passé, le présent et le futur. Des scé- en place les Rencontres « Sciences pour l’action – pros- mais le processus peut prendre jusqu’à 12 mois.
narios qualitatifs peuvent être intégrés à des données pectives pour la biodiversité »13 avec pour objet l’appro-
Répétabilité Faible. L’analyse de scénarios peut différer selon les groupes de personnes qui les mènent.
quantitatives grâce à la modélisation. « Les scénarios et priation des résultats de la recherche et prospectives
les modèles jouent des rôles complémentaires, les scé- par les politiques publiques et les acteurs concernés. Transparence Varie s’il existe de la documentation sur le processus, les données utilisées et les parties-
prenantes impliquées.
narios décrivant les futurs possibles pour les moteurs « La méthodologie mise en place pour organiser
de changement ou les interventions politiques et les les discussions des rencontres s’inspire d’une méthode Risque de biais Moyen. Varie selon la représentativité des parties-prenantes et des experts impliqués,
modèles traduisant ces scénarios en conséquences pro- d’animation utilisée dans l’éducation populaire appelée Niveau d’incertitude et si les résultats individuels sont intégrés ou obtenus via des groupes de discussion.
jetées pour la nature et les avantages de la nature pour Gro’Débat (ou Ateliers de l’avenir), qui découle d’une Échelle (niveau de détails) Souple, de l’échelle locale à globale. Différentes méthodes selon l’échelle considérée.
les hommes » IPBES (2016). méthode de démocratie participative élaborée en 1954 Capacité de participation/ Forte. La participation fait partie de la méthode de construction des scénarios qualitatifs.
La méthode est plus susceptible de conduire à la par Robert Jungk. Elle permet d’organiser un débat avec Implication parties-prenantes
mise en œuvre de politiques publiques si elle intègre un grand nombre de participants, de faciliter la réflexion
Demande de données Les scénarios qualitatifs dépendent des connaissances des parties-prenantes et des
des approches participatives pour impliquer toutes les collective et d’élaborer des propositions concrètes pour
experts, et peuvent combiner différentes sources d’informations (modèles quantitatifs,
parties prenantes, dès la phase initiale de définition du le passage à l’action. Chaque atelier s’est ainsi déroulé revue de littérature, entretiens, etc.)
problème et se caractérise par des échanges fréquents selon la même méthodologie suivant quatre phases14 :
entre scientifiques et les différents acteurs. 1. Identification des enjeux, des problèmes à traiter Types de connaissances Tout type : scientifiques, techniques, basés sur les opinions, autochtones et locales,
pouvant être synthétisées tacites et explicites.
L’élaboration de scénarios participatifs vise à com- dans le cadre de sujets bien définis ;
pléter et à synthétiser les données existantes et formali- 2. Invitation des participants à imaginer des solu- Types de documents de sortie Rapport (infos qualitatives et quantitatives), récits, cartographies, tableaux, graphiques
sées avec d’autres formes pertinentes de connaissances tions idéales aux problèmes formulés dans la première Compétence spécifique Experts sur le sujet. Facilitateur pour l’approche participative
des parties prenantes. phase, sans tenir compte des contraintes de réalisation ;
Exhaustivité Moyenne
3. Construction par les participants des solutions
Références clés concrètes, premiers pas vers les solutions idéales en Pluridisciplinarité Forte
• Diot-Labuset C. (2015). Démocratie participative : faisant émerger des moyens d’action opérationnels ; Intelligibilité Forte
Guide des outils pour agir (no 3; p. 59). Fondation Nico- 4. Formulation par les participants des recomman-
las Hulot pour la Nature et l’Homme website : http:// dations qui découlent des solutions. »
www.fondation-nature-homme.org/sites/default/files/
publications/130912_democratie_participative-guide_ • À l’IDDRI, l’analyse de scénarios a été utilisée pour Forces Faiblesses
des_outils_pour_agir.pdf répondre à la question : à quoi ressemblerait l’Europe
• Futuribles International. (2018). https://www.futu- si elle se convertissait à l’agroécologie? • Possibilité d’impliquer des parties-prenantes pour • Compromis entre le temps pour impliquer les parties-
ribles.com/media/filer_public/41/3e/413eeeaa-81df- – Poux X., & Aubert P.-M. (2018). Une Europe l’évaluation de la mise en œuvre prenantes et celui pour construire les scénarios
48fe-a35c-05314975cb78/plaquetteaif2018okfinal.pdf agroécologique en 2050 : Une agriculture multifonc- • Utilise des méthodes participatives, avec • L’approche qualitative devrait permettre de mettre
• Meyer V. (2008). La méthode des scénarios : Un outil tionnelle pour une alimentation saine (no 9; p. 78). potentiellement des savoirs locaux et tacites l’accent sur le choix adapté des parties-prenantes et
d’analyse et d’expertise des formes de communication Voir Iddri-AScA website: https://www.iddri.org/sites/ experts mais peut être difficile en pratique. Nécessité
• Structure facilement adaptable à différents contextes
dans les organisations. Études de communication. default/files/PDF/Publications/Catalogue%20Iddri/ de bien contextualiser en amont : dans quelle situation
languages, information, médiations, (31), 133 156. Etude/201809-ST0918-tyfa_0.pdf15 • Scénarios ciblés utilisés pour identifier des je me trouve et pourquoi ai-je besoin de l’analyse de
https://doi.org/10.4000/edc.778 développements souhaitables et identifier les étapes scénarios ? quel est le débat actuel ? est-il structuré ?
pour atteindre les résultats souhaités
• Pichs-Madruga R., Obersteiner M., Cantele M., Ah- 13. http://www.fondationbiodiversite.fr/evenement/rencontres-sciences- • Nécessite des connaissances techniques importantes
med M. T., Cui X., Cury P., … Verburg P. (2016). Buil- pour-action-2017/ • Plusieurs approches disponibles pour correspondre
aux contextes politiques et décisionnaires • Les données et les informations issues de différentes
ding scenarios and models of drivers of biodiversity 14. B. Labbouz, ingénieur de recherche à AgroParisTech, a contribué à la
sources doivent être collectées et interprétées
and ecosystem change. In The methodological assess- création des étapes de ces ateliers. • Permet aux chercheurs de prendre du recul par rapport
ment report on scenarios and models of biodiversity 15. « La “fabrique des futurs” est définie comme (1) l’ensemble des pratiques à leurs activités habituelles et d’élargir leur point de vue • Anticipation de la stratégie politique nécessaire
and ecosystem services. (p. 39). pour éviter des impacts politiques non souhaités
qui produisent des anticipations sur le futur d’un dossier donné et les formes • Peut être une stratégie pour pousser les lignes, gagner (« fabrique des futurs »15 recommandée)
• Slocum N. (2003). Participatory methods toolkit : A matérielles dans lesquelles ces anticipations s’incarnent ; (2) les réseaux des arbitrages politiques. Le détour par le futur permet
practioner’s lanual (p. 167). King Baudouin Founda- d’acteurs associés à ces pratiques et leur circulation, les rapports de force des situations non-conflictuelles pour les acteurs • Risque que les hypothèses ne soient pas énoncées de
tion; Flemish Institute for Science and Technology As- entre eux ; (3) les dynamiques de compétition entre promesses concurrentes, manière transparente
• Résultats robustes et scénarios quantitatifs avec
sessment (viWTA) website: http://archive.unu.edu/ les promesses qui dominent dans les représentations partagées du futur, les modélisation intégrés des analyses d’impacts • Besoin en ressources élevé
hq/library/Collection/PDF_files/CRIS/PMT.pdf alternatives qui sont exclues ou minoritaires » . Source : Lumbroso S. (2019). quantitatives complexes • Les modèles requièrent des jeux de données complets
Prospective et stratégies pour l’environnement : Entre fabrique des futurs et
• Fournit une structure fixe pour les analyses et le résultat dépend des données d’entrées
situation de gestion, quelles prises pour l’action ? Université Paris-Saclay.

62 63
 Les méthodes d’expertise Les méthodes d’expertise

3.10. Prise de décision structurée

(Structured Decision Making)16 Prise de décision structurée
Coût Au moins 1 mois (ETP).
Le coût est fonction de : l’échelle du problème, les secteurs concernés, les pays impliqués,
Résumé Références clés le nombre de parties-prenantes et d’experts impliqués, le cadrage du problème,
La prise de décision structurée est une méthode bien Il existe un cours en ligne en accès libre qui décrit le niveau de divergences entre les participants, le niveau de détails discutés, spécifiés,
définie pour analyser une décision en décomposant les chaque étape en détail, au moyen de vidéos et de do- documentés, la qualité des facilitateurs, des logiciels d’analyse de décision nécessaire
objectifs, les actions possibles et les modèles reliant cuments à distribuer.
Temps requis Au moins 4 semaines : une semaine pour le cadrage du problème et la formation de
les actions aux objectifs. Il vise à comparer les actions • Runge M.-C., Cochrane J.-F., et al. (2011). An Over-
l’équipe nécessaire, une semaine pour développer le cadre du prototype de décision, et
possibles en fonction d’un ou de plusieurs objectifs. view of Structured Decision Making [Fish and Wildlife
deux semaines pour développer le prototype final avec la consultation des participants
Elle assure la transparence en spécifiant chacune Service, National Conservation Training Center].
de ces composantes et en fournissant des informations Consulté à l’adresse https://training.fws.gov/courses/ Répétabilité Faible. Si elle est menée avec deux équipes différentes, la prise de décision structurée
qu’un décideur peut utiliser pour mettre en œuvre et ALC/ALC3183/resources/index.html et en particulier les composantes quantitatives seront probablement différentes
défendre une décision. Cette méthode peut intégrer Transparence Forte
d’autres méthodes de synthèse des connaissances. Par Exemples d’application Risque de biais Moyenne, en fonction de la représentativité des parties prenantes/experts, des données
exemple, Thorne et ses collaborateurs (2012) décrient Niveau d’incertitude individuelles intégrées pour l’analyse décisionnelle ou obtenues lors d’une discussion
un processus qui utilise un réseau de croyances bayé- • La méthode est utilisée pour éclairer les décisions de groupe, de la qualité des données et des modèles prédictifs incorporés
siennes pour la prise de décision structurée. des agences de gestion des ressources naturelles des
Échelle (niveau de détails) Toute échelle
La consultation d’experts est souvent utilisée pour États et du gouvernement fédéral des États-Unis, no-
quantifier les relations prédictives pour la prise de tamment Fish and Wildlife Service, National Marine Capacité de participation/ Variable. Peut être fait par une personne formée en prise de décision structurée ou par
décision structurée. Fisheries Commission et US Army Corps of Engineers17. Implication parties-prenantes une équipe composée d’un ou de plusieurs décideurs, intervenants et experts.
La prise de décision structurée est fondée sur les Demande de données Faible à moyenne. Les besoins d’information passent de qualitatifs à quantitatifs d’une
principes de la pensée axée sur les valeurs et de l’ana- étape à l’autre et dépendent du niveau souhaité de transparence. Peut inclure des revues
lyse décisionnelle et peut être menée de manière par- de littérature et/ou des analyses de données détaillées et/ou la consultation des parties
ticipative avec les décideurs, les parties prenantes et prenantes et des experts
les experts. Elle peut également servir de base pour la Types de connaissances Scientifiques, explicites, tacites, savoirs autochtones
gestion adaptative. pouvant être synthétisées
La prise de décision structurée comporte généra-
Types de documents de sortie Rapports écrits pouvant comprendre : une décision concise, une hiérarchisation des
lement une série d’étapes itératives appelées PrOACT
objectifs, un diagramme d’influence, les options identifiées
(Problem framing, Objectives, Actions, Consequences,
and Tradeoffs, Cadrage du problème, objectifs, actions, Compétence spécifique Nécessite une personne ayant des antécédents en matière d’analyse de décision
conséquences et compromis). quantitative et un ou plusieurs experts capables de caractériser et de quantifier
Cette méthode est applicable à des questions telles les principales sources d’incertitude qui peuvent influencer la décision
que : Exhaustivité Pas d’information
– De quelles alternatives je dispose pour gérer un Pluridisciplinarité Pas d’information
écosystème ?
Intelligibilité Pas d’information
– Quels sont les impacts de ces alternatives sur les
populations d’espèces en présence ?
– Comment choisir la meilleure option pour la ges-
tion d’un écosystème ?
Forces Faiblesses

• Supporte des niveaux élevés d’incertitude en dynamique • La qualité des résultats dépend de la qualité et de
du système et conflits de valeurs des intervenants l’efficacité de l’opérateur de la méthode
• Bonne capacité de participation des parties prenantes • Dépend de la disponibilité et de la confiance des
• Peut incorporer divers types de connaissances, y décideurs, des intervenants et des experts
compris des informations qualitatives et quantitatives • Se base souvent sur l’avis d’experts pour quantifier les
• Les résultats peuvent être démontrés scientifiquement relations entre les actions spécifiées et les objectifs,
17. Dicks LV, Haddaway N, Hernández-Morcillo M, Mattsson B, Randall N,
et sont compréhensibles par un public non spécialisé car les modèles numériques et les données sont
Failler P, Ferretti J, Livoreil B, Saarikoski H, Santamaria L, Rodela R, Veli- souvent manquants
zarova E, & and Wittmer H. (2018). Knowledge synthesis for environmen- • Très transparent (si bien fait)
• Simplifie souvent un problème de sorte qu’il soit
tal decisions : An evaluation of existing methods, and guidance for their • De « bas en haut » (bottom-up), en fonction des possible de l’analyser. Une documentation claire de la
selection, use and development : A report of the EKLIPSE project (Contract besoins et des souhaits des décideurs démarche simplifiée est nécessaire pour maintenir la
16. Cette fiche méthode constitue une traduction de la fiche méthode dé- No : 690474) (p. 82). Consulté à l’adresse http://www.eklipse-mechanism.
• Utile pour identifier et surmonter les obstacles transparence
crite dans le rapport Eklipse. La méthode n’a pas été citée lors des entre- eu/apps/Eklipse_data/website/EKLIPSE_D3-1_On-lineReport_NewInset-
à la prise de décision en décomposant le problème
tiens, cependant nous avons souhaité qu’elle apparaisse dans ce guide. 4Print_012019_HL3.pdf

64 65
 Les méthodes d’expertise Les méthodes d’expertise

3.11. Analyse de chaînes de causalité

(Causal Criteria Analysis) Analyse de chaînes de causalité
Coût Un mois à plusieurs années. Le temps et les dépenses en frais de voyage varient selon :
le nombre de parties-prenantes/experts impliqués, le niveau de désaccord entre les
Résumé Références clés parties-prenantes/experts, le niveau de détail (explication textuelle ou tabulaire, nombre
L’analyse de chaînes de causalité synthétise la com- • Nichols S. J., Angus Webb J., Stewardson M., & Norris de facteurs pris en compte, de relations prises en compte), l’animateur/facilitateur si
préhension sur les liens entre des éléments d’un sys- R.-H. (2011). Eco evidence analysis methods manual : l’analyse de chaînes de causalité est faite en mode participatif, l’ampleur du problème
tème, en testant un ensemble de critères de causalité A systematic approach to evaluate causality in environ-
Temps requis Variable. Revue de littérature pour chaque relation causale prend 1 semaine à 24 mois,
prédéfinis. L’analyse combine des relations entre des mental science. Consulté à l’adresse eWater Cooperative
selon la méthode
facteurs décrivant des liens de causalité hypothé- Research Centre, website: https://www.researchgate.
tiques ou connus grâce aux revues de littérature. Les net/publication/263273816_Eco_Evidence_Analysis_ Répétabilité Moyenne. Si elle est réalisée par des individus différents, le résultat obtenu peut être
diagrammes (appelés diagrammes d’influence s’ils Methods_Manual_A_Systematic_Approach_to_Eva- très différent
incluent des actions de gestion ou des options poli- luate_Causality_in_Environmental_Science Transparence Forte, si bien documentée
tiques) sont utilisés pour synthétiser et présenter les • Norris R., Webb J., Nichols S., Stewardson M., & Risque de biais Moyen. Dépend de la représentativité des parties-prenantes/experts impliqués, et si les
faits plus ou moins avérés. Ils peuvent aussi servir Harrison E. (2012). Analyzing Cause and Effect in Niveau d’incertitude contributions individuelles sont incorporées ou obtenues lors des groupes de discussion
pour l’élaboration d’approches modélisées. L’étape Environmental Assessments : Using Weighted Evi-
bibliographique emploi préférablement la revue sys- dence from the Literature. Freshwater Science, 31, 5 21. Échelle (niveau de détails) Toute échelle
tématique ou l’évaluation rapide de faits avérés. Elle https://doi.org/10.1899/11-027.1 Capacité de participation/ Moyenne à élevée
peut aussi utilisée la consultation d’expert (méthode • The Eco-Evidence software est une façon de conduire Implication parties-prenantes
Delphi ou le réseau de croyances bayésiennes). l’analyse de chaînes de causalité, et elle inclue la revue Demande de données Faible. Peut amener à demander d’autres données. Nécessite un jugement d’experts
systématique. www.toolkit.net.au/tools/eco-evidence et la participation des parties-prenantes si l’analyse de chaînes de causalité est faite de
manière participative
Exemples d’application Types de connaissances Scientifiques, techniques, explicites et tacites, fondés sur des opinions
pouvant être synthétisées
• L’analyse de chaînes de causalité a été utilisée
Types de documents de sortie Diagramme, chaine causale, diagramme d’influence qui inclue potentiellement
pour démontrer les effets du tabac sur la santé aux
la gestion d’actions ou les décisions politiques
États-Unis.
– USDHEW. (1964). Smoking and Health. Report of Compétence spécifique Pas d’expertise scientifique particulière (sauf si on veut établir des causalités avérées).
the Advisory Committee to the Surgeon General of the Pour une approche participative de la méthode, compétence pour créer une équipe
Public Health Service. U.S. Consulté à l’adresse Dept. et la coordonner est requise
Health Education and Welfare website: https://bio- Exhaustivité Non
tech.law.lsu.edu/cases/tobacco/nnbbmq.pdf Pluridisciplinarité Possible
Intelligibilité Forte car co-construite

Forces Faiblesses

• Le système peut inclure plusieurs échelles, plusieurs • Potentiellement biaisée, en fonction de la

secteurs, plusieurs acteurs. Niveau de complexité représentativité et des croyances
souple : peut être réalisé d’une manière simple par une
• La robustesse des résultats finaux dépend de la revue
personne ou d’une manière participative plus complexe
de littérature employée pour alimenter les relations
• Visualisation causales
• Peut être utilisée de façon transparente
• Bien pour commencer/explorer/réaliser un prototype,
peut amener à l’élaboration d’un modèle quantitatif
• Peut révéler des besoins sur des données ou des
informations
• Peut informer des décisions politiques, en particulier
si un diagramme d’influence qui inclut une ou
plusieurs actions ou politiques est réalisé

66 67
 Les méthodes d’expertise Les méthodes d’expertise

3.12. Aide multicritères à la décision

(Multi Criteria Decision Analysis) Aide multicritères à la décision
Coût Variable. Fonction du logiciel utilisé, du nombre d’experts/parties-prenantes impliqués,
niveau de désaccord sur les critères, niveau de détail et nombre de lien et nœuds,
Résumé Exemples d’application facilitateur/modérateur
L’Aide multicritères à la décision est un terme générique
Temps requis Variable. Fonction de l’accord entre les experts et de la complexité de la question
pour décrire un ensemble d’approches qui cherchent • La méthode a été utilisée lors d’enquête menée dans
posée, des données existantes. La phase de définition du contexte de décision doit être
à choisir, trier ou ranger des solutions en prenant en la région PACA sur la biodiversité et la réserve natu- conduite par l’analyste avec les décideurs
compte de manière explicite de multiples critères sur relle Coussouls de Crau.
lesquels les acteurs expriment leurs préférences en vue – Stanislav Edward Shmelev. (2010). Multi-crite- Répétabilité Faible à forte. Faible, si la méthode est faite avec deux groupes (ou experts individuels)
différents, des résultats différents sont obtenus. Forte si la méthode est répétée dans un
d’une prise de décision (Shärlig 1999, Belton et Stewart, ria Assessment of Ecosystems and Biodiversity : New
intervalle de temps court (si les critères et préférences des décideurs n’ont pas changé)
2002). C’est une méthodologie d’aide à la décision dé- Dimensions and Stakeholders in the South of France.
crite comme un processus explicite dans lequel le déci- Working Paper, (181). Consulté à l’adresse https:// Transparence Forte. La transparence et la traçabilité sont des atouts majeurs
deur exprime à la fois sa volonté et son mode opératoire www.researchgate.net/publication/241766349_Mul- Risque de biais Moyen. Le choix de la hiérarchisation des critères dépend beaucoup de celui qui la met
pour aboutir à des arbitrages explicites et cohérents ti-criteria_Assessment_of_Ecosystems_and_Biodi- Niveau d’incertitude en œuvre. La prise de décision intervient au moment de la conception du modèle fait
pour prendre la meilleure décision possible (Abdellaoui versity_New_Dimensions_and_Stakeholders_in_the_ par l’analyste. Les incertitudes peuvent être prises en compte dans certaines méthodes
and Gonzales, 2006 in Tacnet, 2009). Elle vise à fournir South_of_France Échelle (niveau de détails) Toute échelle
à un décideur des outils lui permettant de progresser
Capacité de participation/ Forte. Méthode basée sur des connaissances tacites, des avis qualitatifs. Compréhension
dans la résolution d’un problème de décision (généra- • Dans le cadre de l’application de la loi GEMAPI, la
Implication parties-prenantes mutuelle du problème entre acteurs dans la phase d’analyse
lement complexe) où plusieurs points de vue, souvent méthodologie développée a permis de comparer des
contradictoires, doivent être pris en compte (Vincke, scénarios d’aménagements de cours d’eau. Demande de données Dépend de l’échelle et des secteurs impliqués
1989 in Tacnet, 2009). Il s’agit d’une démarche globale – Maiolo P. D., Curt C., Mériaux P., Coarer Y. L., Types de connaissances Scientifiques, techniques, opinions, savoirs traditionnels et locaux, tacites
débutant par la description du contexte de décision, Vennetier M., Gourhand A., … Vassas C. (2018). Aide pouvant être synthétisées
des critères, des préférences puis des alternatives ou à la décision dans le cadre d’application de la loi Types de documents de sortie Une matrice incluant l'évaluation de chacune des options sur la base des critères convenus
solutions. Plusieurs méthodes associant des approches GEMAPI : Évaluation des effets d’aménagements sur
Compétence spécifique Nécessite une expertise sur la méthode (pour éviter les biais) et un savoir-faire
quantitatives (formalisées mathématiquement) et qua- l’écosystème. Sciences Eaux Territoires, Numéro 26(2),
méthodologique pour animer la phase d’identification des critères au sein d’un groupe
litatives permettent ensuite d’agréger les évaluations 44 47.
des solutions18. – Tacnet J.-M. (2018). Décider dans le contexte Exhaustivité Variable. Liée par essence à la finesse du modèle et à la disponibilité des données
de la GEMAPI : Exemple de méthodologie d’une ap- relatives aux indicateurs permettant d’évaluer les critères
Références clés proche intégrée d’aide à la décision et application aux Pluridisciplinarité Forte
• Belton V., & Stewart T. (2002). Multiple Criteria projets d’aménagements. Sciences Eaux Territoires, Intelligibilité Variable selon l’approche. Une approche hiérarchique sera très intuitive et compréhensible
Decision Analysis – An Integrated Approach. Sprin- Numéro 26(2), 48 53.
ger, Boston, MA. https://doi.org/DOI https://doi.
org/10.1007/978-1-4615-1495-4
• Mendoza G. A., & Martins H. (2006). Multi-criteria Forces Faiblesses
decision analysis in natural resource management : A
critical review of methods and new modelling para- • Permet d’expliciter, discuter et traiter les éventuels • Le choix des préférences associées aux critères est
digms. Forest Ecology and Management, 230. compromis dans une prise de décision complexe subjectif par nature, il est important de bien décrire
• Schärlig, A. (1985). Décider sur plusieurs critères : les hypothèses
• Convient aux processus de synthèse des connaissances
Panorama de l’aide à la décision multicritère (Lau- caractérisés par une information incomplète • La hiérarchisation des critères dépend de qui la réalise
sanne : Presses polytechniques romandes). Suisse. et doit être discutée avec les acteurs de la décision
• Tacnet J.-M. (2009). Prise en compte de l’incertitude • Approche pluridisciplinaire pertinente dans le
contexte de problématiques environnementales • Nécessite une expertise minimale en matière de
dans l’expertise des risques naturels en montagne par
compréhension des méthodes et dans une moindre
analyse multicritères et fusion d’information (École • La méthodologie soutient les processus participatifs
mesure des outils de calcul
Nationale Supérieure des Mines). Consulté à l’adresse et la prise de décision transparente
https://tel.archives-ouvertes.fr/tel-00771692 • Représentativité éventuellement limitée (un petit
• Peut être combinée avec d’autres méthodes (ex.
groupe d’intervenants habituellement impliqués)
revues systématiques, Delphi…). Permet de combiner
des approches quantitatives d’ingénierie classique • Manipulation possible si non utilisée dans le cadre
(hydraulique, etc..), écologique et d’autres approches d’un processus participatif et de manière transparente
(enquête de perception, approches économiques)
• Le manque d’ouverture d’esprit et de compétences
• Ces méthodes supposent d’obtenir un consensus : transversales peut conduire l’analyste à n’utiliser que
18. Les méthodes d’agrégation dite totale (par exemple, l’analyse multi- ce sont des outils de concertation très efficaces. la méthode qu’il connaît (principe et limitation très
critère hiérarchique- AHP ou la théorie de l’utilité multiattribut – MAUT) générique).
• Permet d’objectiver les hypothèses, les critères et les
produisent une sorte de note. D’autres méthodes dites de surclassement préférences et influence l’acceptation des critères et
permettent d’introduire plus de nuances dans les comparaisons (type des décisions finales par les parties prenantes
Electre, Prométhée…).

68 69
 Les méthodes d’expertise Les méthodes d’expertise

3.13. Analyse de discours 19

Analyse de discours
Coût Plusieurs personnes pendant plusieurs mois pour acquérir et analyser les interactions
Résumé Références clés et les textes (interviews, protocoles, articles de presse, documents officiels, etc.)
L’analyse de discours est une méthode structurée qui • Antaki C et al., (2003). Discourse Analysis Means
permet de révéler les conflits et les alliances entre Doing Analysis: A Critique of Six Analytic Short- Temps requis 2 à 10 mois
différents porteurs de connaissances ou de stocks comings. Discourse Analysis Online. URL: https:// Répétabilité Moyenne à Forte. Le cadrage est important
de connaissances lorsque les discours émergent. Les extra.shu.ac.uk/daol/articles/open/2002/002/anta- Transparence Forte
objectifs sont d’identifier les problèmes clés et les ki2002002-paper.html
acteurs, les connaissances certaines et incertaines, • Hewitt S., (2009). Discourse Analysis and Public Risque de biais Moyenne. Dépend de quelles données sont inclues. L’interprétation est subjective
déterminer quelles sont les connaissances énoncées Policy Research. Centre for Rural Economy Discussion Niveau d’incertitude
qui posent des conflits. L’accent est mis sur les argu- Paper Series No. 24. URL: http://ippra.com/attach- Échelle (niveau de détails) Toute échelle
ments, les procédures ou les faits putatifs perçus cor- ments/article/207/dp24Hewitt.pdf Capacité de participation/ Faible
rects ou vrais par les acteurs. L’analyse du discours • Phillips N and Hardy C. (2002). Discourse analysis: Implication parties-prenantes
peut révéler pourquoi une compréhension particulière Investigating processes of social construction (Vol.
d’un problème environnemental donné est considérée 50). Sage Publications. NOT OPEN ACCESS. Demande de données Forte. Documents adéquats, des interviews sont requis
comme dominante et fait autorité, tandis que d’autres Types de connaissances Toute
compréhensions sont discréditées. Exemples d’application pouvant être synthétisées
Types de documents de sortie Description narrative sur la compréhension et les perceptions des problèmes,
• Nous n’avons pas trouvé d’exemple d’analyse de et les façons dont ils sont compris par différents groupes sociaux
discours utilisé comme méthode d’expertise. Voici un
Compétence spécifique Compétence dans l’analyse de discours. Expérience dans l’analyse de l’interprétation
article de recherche visant à évaluer l’évolution de
des stratégies politiques
politiques environnementales à travers les discours.
– Griggs S and Howarth D., (2017). Discourse, po- Exhaustivité Pas d’information
licy and the environment: hegemony, statements and Pluridisciplinarité Pas d’information
the analysis of UK airport expansion. Journal of Envi-
Intelligibilité Pas d’information
ronmental Policy & Planning, 1-15. https://doi.org/10
.1080/1523908X.2016.1266930

Forces Faiblesses

• Peut traiter de questions très controversées • Ne synthétise que les connaissances perçues plutôt
que les faits avérés scientifiques
• Couvre tous les types de connaissances

• Identifie les points de conflits spécifiques et les

incertitudes

• Peut être utilisée pour définir les priorités de

recherche ou de communication

19. Les informations contenues dans cette fiche proviennent du rapport

Eklipse. La méthode n’a pas été citée lors des entretiens, cependant nous
avons souhaité qu’elle apparaisse dans le présent guide.

70 71
 Les méthodes d’expertise Les méthodes d’expertise

3.14. Cartographie participative

(Participatory mapping) Cartographie participative
Coût Nécessite l’intervention d’un cartographe ou d’un expert en SIG, un animateur/modé-
rateur. Le coût varie en fonction : du support utilisé (logiciel SIG ou papier), du nombre
Résumé Références clés de parties-prenantes impliqué, du nombre de tours de révision, du niveau de détail, de
La cartographie participative définit un ensemble d’ap- Le Fond international de développement agricole la complexité des éléments cartographiés, de la fréquence et de l’ampleur des mises à
proches et de techniques qui combinent les outils de la (FIDA) a produit un document d’orientation qui iden- jour, de la disponibilité et du coût des données spatiales utilisés en support de l’exercice
cartographie et des méthodes participatives pour repré- tifie les bonnes pratiques, évalue les outils de carto-
Temps requis Variable, comme ci-dessus
senter les connaissances spatiales des communautés graphie participative (annexe A) et liste des exemples
locales. Elle est basée sur le principe que les habitants (annexe B). Répétabilité Moyenne. Si elle est réalisée avec des groupes de personnes différentes, la cartogra-
possèdent une connaissance approfondie de leur envi- • International Fund for Agricultural Development phie diffèrera vraisemblablement
ronnement qui peut être représentée spatialement (ex. (IFAD). (2009). Good pratices in particpatory map- Transparence Très forte, varie selon le processus
ressources naturelles et anthropiques, savoirs locaux), ping : A review prepared for the International Fund for
Risque de biais Moyen, repose sur une représentation exhaustive et égale de toutes les parties
ce qui est facilement accessible et universellement re- Agricultural Development (IFAD). Consulté à l’adresse Niveau d’incertitude prenantes
connu dans la plupart des cultures. Les cartographies file:///C:/Users/charlotte.navarro/Desktop/ifad_
collaboratives, cartographies communautaires, carto- good_practice_in-participatory_mapping.pdf Échelle (niveau de détails) Locale et régionale
graphies autochtones, SIG à participation publique, Les travaux de Federica Burini, professeur en géogra- Capacité de participation/ Très forte, la participation des parties prenantes au niveau locale est nécessaire
wikimaps, sont différentes formes de cartographie phie à l’université de Bergame en Italie, présentent la Implication parties-prenantes
participative. cartographie participative et ses enjeux et illustrent la Demande de données Faible à forte. Forte lorsque que l’exercice de cartographie s’appuie sur des données
méthodologie dans le cadre de la coopération environ- existantes (ex. données des SIG participatifs). Faible lorsque l’exercice s’appuie
nementale dans certains villages d’Afrique de l’Ouest. essentiellement sur les savoirs locaux des participants
• Burini F. (2012). Cartographie et participation pour
Types de connaissances Tous les types de connaissances, mais surtout les connaissances locales et tradition-
la coopération environnementale : Le terrain et la res- pouvant être synthétisées nelles
titution des savoirs traditionnels en Afrique subsaha-
rienne. Annales de géographie, n° 687-688(5), 487 512. Types de documents de sortie Cartographie. Peut s’inscrire dans le cadre d’un plan de développement et comporter un
document explicatif (ex. rapport sur les savoirs locaux d’une certain aire géographique)
Le numéro spécial « Cartographies Participatives »
de la revue L’Information Géographique propose plu- Compétence spécifique Expertise en cartographie, en SIG et en facilitation de groupe
sieurs contributions qui montrent la variété des dispo- Exhaustivité Non
sitifs et soulignent leurs atouts et limites.
Pluridisciplinarité Forte
• Cartographies participatives (Armand Colin, Vol. 77).
(2013). Consulté à l’adresse https://www.cairn.info/ Intelligibilité Forte
revue-l-information-geographique-2013-4.htm

Exemples d’application
Forces Faiblesses
• Grace à une application de cartographie visant à re-
cueillir des données, des chercheurs ont identifié des • Suit un protocole clair • S’appuie grandement sur les connaissances des
points chauds et des zones de protection pour la pla- intervenants (subjectif)
• Mobilise les intervenants locaux et peut combiner les
nification de la gestion des feux de forêts. savoirs scientifiques, les observations du terrain et les • Les résultats sont dépendants du processus de
- Beverly J., Uto K., Wilkes J., & Bothwell P. savoirs locaux facilitation et la représentativité des parties-
(2008). Assessing spatial attributes of forest landscape prenantes impliqués
• Représentation visuelle des données
values : An Internet-based participatory mapping ap- • Les modes de représentation spatiale peuvent différer
proach. Canadian Journal of Forest Research, 38, 289 • Peut générer des politiques ou des recommandations
selon les groupes d’individus
303. https://doi.org/10.1139/X07-149 de gestion de ressources naturelles et culturelles
• Aide au processus de négociation pour la gouvernance
territoriale
• Peu coûteuse et ne dépend pas des technologies
• Résultats tangibles et à court terme
• Lorsqu’elle est réalisée auprès d’un même groupe
de personne à des temps différents, la méthode
permettra d’identifier les changements diachroniques
de perception

72 73
 Les méthodes d’expertise Les méthodes d’expertise

3.15. Consultation de multiples experts

avec une méthode de consensus Méthode Delphi
formalisée telle que Delphi Coût Plus important que la consultation d’experts simple. Prend plus de temps pour
les experts mais n’inclue pas de déplacement (1 semaine à 1 mois ETP)

Résumé • Mukherjee N., Hugé J., Sutherland W. J., McNeill J., Temps requis 1 semaine à 2 mois.
Cette méthode expose toutes les opinions et options Opstal M. V., Dahdouh-Guebas F., & Koedam N. Répétabilité Moyenne. Le processus (mais pas les résultats) est réplicable. Répétabilité plus
sur un sujet donné. Elle interroge une communauté (2015). The Delphi technique in ecology and biological importante que la consultation d’experts simple
d’experts à différentes phases pour révéler des consen- conservation : Applications and guidelines. Methods Transparence Forte, augmentée par un bon rapport de la méthode utilisée (choix, discussions, explications)
sus et des dissensus sur une question ou un thème. in Ecology and Evolution, 6(9), 1097 1109. https://doi.
Risque de biais Moyen, dépend de la sélection des experts réalisées. Les biais associés aux relations
Elle représente l’approche la plus rigoureuse pour faire org/10.1111/2041-210X.12387
Niveau d’incertitude de pouvoir sont réduits voir évités grâce à la consultation anonyme
appel à des experts. Elle combine les connaissances de • Slocum N., Elliott J., Heesterbeek S., & Lukensmeyer
multiples experts soigneusement choisis et utilise des C. J. (2006). Méthodes participatives : Un guide pour Échelle (niveau de détails) Toute échelle. Le niveau de détail est accru par rapport à la consultation d’experts
méthodes de consensus formalisées 20 : les participants l’utilisateur. Bruxelles, Fondation Roi Baudouin. Capacité de participation/ Moyenne, peut-être réalisée avec un groupe de parties-prenantes avec des
remplissent un questionnaire une première fois, puis Implication parties-prenantes spécialisations différentes
une seconde afin de fournir des explications sur leurs Exemples d’application Demande de données Moyenne. Aperçu des expertises et des experts dans le domaine nécessaire pour
points de vue lorsqu’ils divergent de ceux d’autres une sélection adéquate
participants. Les participants sont amenés à changer • Récemment, la méthode Delphi a été utilisée pour
Types de connaissances Scientifiques, techniques, fondés sur des opinions, explicites et tacites
leurs opinions sur l’évaluation des nouvelles informa- aboutir aux résultats de l’Horizon Scan 2020 pour les
pouvant être synthétisées
tions fournies par les autres participants. Ce processus enjeux de conservation de la biodiversité :
est répété autant de fois que nécessaire. L’idée est que – Sutherland W. J., Dias M. P., Dicks L. V., Doran H., Types de documents de sortie Jugements d’experts, prédictions, évaluation des risques
les participants puissent évaluer les dissensus sur un Entwistle A. C., Fleishman E., … Thornton A. (2019). Compétence spécifique Bonne connaissance sur la procédure et le logiciel requis
sujet. Le flow d’informations apparaît structuré, des A Horizon Scan of Emerging Global Biological Conser- Exhaustivité Moyenne à forte si tous les auteurs de publication/connaissance sur le sujet sont consultés
retours sont assurés pour les participants, le processus vation Issues for 2020. Trends in Ecology & Evolu-
est anonyme 21. La méthode Delphi est considérée plus tion, S016953471930299X. https://doi.org/10.1016/j. Pluridisciplinarité Possible (dépend de la question)
complète et moins biaisée que les focus group ou la tree.2019.10.010 Intelligibilité Forte
consultation d’experts 22.
• De nombreux exemples d’utilisation de la méthode
Références clés Delphi pour résoudre des problèmes environnemen-
• Amdouni-Boursier L., & Livoreil B. (2018). La mé- taux sont décrits dans Mukherjee et al. (2015). Lemieux Forces Faiblesses
thode Delphi (p. 12) [Outils d’aide à la décision]. et Scott (2011) ont documenté le rôle des décideurs de
Consulté à l’adresse Fondation pour la recherche sur la haut niveau dans un processus Delphi visant à identi- • Relativement rapide et peu coûteux. La consultation • Demande du temps pour les experts ; Nécessité
biodiversité website: https://www.fondationbiodiver- fier et évaluer les options d’adaptation au changement peut se faire à distance. de susciter la motivation des personnes consultées.
site.fr/wp-content/uploads/2019/03/Delphi-web.pdf climatique pertinentes pour les politiques de gestion Certains participants peuvent abandonner durant
• S’applique avec différents types de connaissances
• Booto Ekionea J.-P., Bernard P., & Plaisent M. (2011). des aires protégées gérées par l’Agence des parcs de la consultation
Consensus par la méthode Delphi sur les concepts clés l’Ontario. • Rigueur, risque de biais, répétabilité et transparence
• Pas de documentation sur les faits avérés ou études
des capacités organisationnelles spécifiques de la ges- – Lemieux C. J., & Scott D. J. (2011). Changing cli- plus élevées par rapport à d’autres méthodes de
utilisées mais peu combiner des résumés, synthèses,
tion des connaissances. Recherches qualitatives, 29(3), mate, challenging choices : Identifying and evaluating consultation d’experts plus basiques
ou des cartographies systématiques. L’avis des
168 192. climate change adaptation options for protected areas • La mise en commun des avis favorise la réactivité, participants peut rester très intuitif si on ne leur
• Martin T.-G., Burgman M. A., Fidler F., Kuhnert management in Ontario, Canada. Environmental Ma- l’inventivité, l’expression des compétences et de demande pas d’apporter les faits scientifiques avérés
P. M., Low-Choy S., Mcbride M., & Mengersen K. nagement, 48(4), 675 690. https://doi.org/10.1007/ l’expertise individuelle ou s’ils n’existent pas
(2012). Eliciting Expert Knowledge in Conservation s00267-011-9700-x
• Permet d’éviter les conflits directs. Le coordinateur • Sujet aux biais des opérateurs (auto-sélection des
Science. Conservation Biology, 26(1), 29 38. https://
assure des échanges respectueux tout en évitant experts) et des experts portant des opinions fortes
doi.org/10.1111/j.1523-1739.2011.01806.x • La méthode Delphi est utilisée dans plusieurs pro-
certains inconvénients liés au face à face direct (conflits et non-fondées
grammes de la FRB (Livoreil, Boursier, 2018) : d’intérêt, lobbying, conformisme, échanges agressifs…)
20. Ces méthodes ont été examinées par Mukherjee et al. (2016). D’autres – Indicateurs de biodiversité : depuis 2012, une • La formulation et l’enchaînement des questions
méthodes d’élicitation sont possibles : la méthode de Cooke de pondé- consultation indépendante et anonyme d’experts • Permet de toucher une grande quantité et une grande peuvent avoir une influence sur les réponses
ration des experts selon leur précision, décrite dans Martin et al. (2012). permet de collecter des avis sur la robustesse, la pré- diversité de personnes des experts
(Eklipse, 2018). cision, la fiabilité des indicateurs de la stratégie natio- • Grâce à l’anonymat, les experts peuvent reconsidérer • Le consensus ne reflète que les avis qui ont aidé
21. Slocum N. (2003). Participatory Methods Toolkit. A practitioner’s nale pour la biodiversité (partenariat FRB/ONB) ; ou maintenir librement leur position, en la justifiant et à le construire. Ainsi, on peut être tous d’accord et
manual. United Nations University, King Baudouin Foundation and the – Identification et priorisation par les chercheurs l’expliquant, pour faire avancer la consultation pourtant se tromper
Flemish Institute for Science and Technology Assessment. Disponible à des enjeux de société liés aux ressources génétiques
• Le coordinateur retranscrit tous les avis, y compris les
l’adresse suivante : http://archive.unu.edu/hq/library/Collection/PDF_ (partenariat FRB-Ecoscope/ONB, 2015).
opinions minoritaires, les hypothèses ou perspectives
files/CRIS/PMT.pdf Accessed
nouvelles, et de ce fait minimise l’effet Bandwagon,
22. Burgman M.A. et al. (2011) Expert status and performance. PLoS ONE
c’est à dire le ralliement réflexe à l’opinion majoritaire
6, e22998

74 75
 Les méthodes d’expertise Les méthodes d’expertise

3.16. Consultation d’experts

Consultation d’experts
Coût Frais et rémunération des experts, organisation de réunions, synthèse de discussions,
Résumé Exemples d’application synthèse d’écriture (jusqu’à 1 semaine ETP)
La consultation d’experts est la consultation d’un
ensemble d’experts désignés, individuellement ou en – Andriamampianina L., Temple L., Bon H. de, Temps requis 1 semaine à 1 mois. Un panel d’expert peut prendre davantage de temps pour rendre
groupe, pour recueillir leur jugement, évaluation ou Malézieux E., & Makowski D. (2018). Évaluation pluri- leur rapport
opinion. Cela peut être fait sous la forme de consul- critères de l’agriculture biologique en Afrique subsa- Répétabilité Moyenne (faible, si différents experts sont consultés individuellement)
tation en ligne, d’entretiens individuels, de consulta- harienne par élicitation probabiliste des connaissances Transparence Moyenne, peut-être forte s’il y a publication : des noms d’experts, de la justification
tions par écrits, de réunions de groupe 23. Il n’y a pas d’experts. Cahiers Agricultures, 27(4), 45002. https:// de la sélection d’experts, de la déclaration de conflits d’intérêts, des procédures
d’exigences formelles de rapport. Martin et al. (2012) doi.org/10.1051/cagri/2018030 de consultation, de la déclaration verbatim des experts et des résultats (comment
suggèrent quatre aspects qui doivent être signalés pour – Chen M., Brun F., Raynal M., Debord C., & Ma- les résultats ont été interprétés) ; L’usage de l’élicitation probabiliste augmente
que la consultation d’experts soit considérée comme kowski D. (2019). Use of probabilistic expert elicita- la transparence et la traçabilité
exhaustive et efficace : la conception de l’étude et de tion for assessing risk of appearance of grape downy
Risque de biais Moyen
son contexte, la sollicitation, la méthode de sollicita- mildew. Crop Protection, 126, 104926. https://doi.
Niveau d’incertitude
tion, les types de sorties prévues. En outre, dans des org/10.1016/j.cropro.2019.104926
situations où l’incertitude prévaut et pour diminuer – Risque phytosanitaire portant sur Fusarium oxys- Échelle (niveau de détails) Toute échelle, faible résolution
les biais cognitifs, il existe des méthodes probabilistes porum f. Sp. Cubense pour les départements d’outre- Capacité de participation/ Moyenne, dépend de la forme de la sollicitation (ex. entretiens téléphoniques,
permettant de quantifier les opinions d’experts et mer [Avis de l’Anses]. (2018). Consulté à l’adresse Implication parties-prenantes audiences publiques)
d’analyser leurs incertitudes. La méthode d’élicitation https://www.anses.fr/fr/system/files/SANTVEG-
Demande de données Moyenne. Aperçu des expertises et des experts dans le domaine nécessaire pour
probabiliste d’experts est utile lorsqu’on veut prendre 2017SA0050Ra.pdf
une sélection des experts adéquate. Dépend de l’accès des experts aux données
une décision sur la base d’avis d’experts mais qu’on – Turnhout E., Hisschemöller M., & Eijsackers H.
veut évaluer le niveau de connaissances et d’incerti- J. P. (2008). Science in Wadden Sea policy : From Types de connaissances Scientifiques, techniques, explicites et tacites, fondés sur des opinions, des savoirs
tudes de l’expert. Cette méthode permet de décrire les accommodation to advocacy. Environmental Science pouvant être synthétisées autochtones, locaux
connaissances des experts sous forme de distributions & Policy, 11(3), 227 239. https://doi.org/10.1016/j. Types de documents de sortie Déclarations orales ou écrites, rapports avec opinions minoritaires, recommandations
de probabilités. envsci.2007.07.004
Compétence spécifique Sélection adéquate des experts, compétences en modération et animation, capacité à
gérer des conflits ; Formation spécifique en cas d’utilisation de l’élicitation probabiliste
Références clés
• Garthwaite P. H., Kadane J. B., & O’Hagan A. (2005). Exhaustivité Faible
Statistical Methods for Eliciting Probability Distri­ Pluridisciplinarité Possible
butions. Journal of the American Statistical Associa­ Intelligibilité Faible à forte. Dépend de la qualité rédactionnelle de la personne qui écrit la synthèse
tion, 100(470), 680 701. https://doi.org/10.1198/01621
4505000000105
• Guidance on Expert Knowledge Elicitation in Food
and Feed Safety Risk Assessment. (2014). EFSA Forces Faiblesses
Journal, 12(6), 3734. https://doi.org/10.2903/j.
efsa.2014.3734
• Accès rapide aux connaissances • Non-systématique et non exhaustive
• Martin T. G., Burgman M. A., Fidler F., Kuhnert P.
M., Low-Choy S., McBride M., & Mengersen K. (2012). • Prise en compte de tous les types de connaissances • Pas de références faites à la documentation sur
Eliciting expert knowledge in conservation science. les faits avérés ou études utilisées
• Peu coûteuse
Conservation Biology: The Journal of the Society • Sujet aux biais des experts portant des opinions
for Conservation Biology, 26(1), 29 38. https://doi. fortes et non-fondées
org/10.1111/j.1523-1739.2011.01806.x
• Slocum N., Elliott J., Heesterbeek S., & Lukensmeyer
C. J. (2006). Méthodes participatives : Un guide pour
l’utilisateur. Bruxelles, Fondation Roi Baudouin.

23. Dicks L.V., Haddaway N., Hernández-Morcillo M., Mattsson B., Randall
N., Failler P., Ferretti J., Livoreil B., Saarikoski H., Santamaria L., Rodela
R., Velizarova E., and Wittmer H. (2018). Knowledge synthesis for envi-
ronmental decisions: an evaluation of existing methods, and guidance for
their selection, use and development – a report from the EKLIPSE project.

76 77
 Les méthodes d’expertise Les méthodes d’expertise

3.17. Établissement des faits

(Joint Fact-Finding) 24 Établissement des faits
Coût Ressources pour exécuter la méthode et financer éventuellement de nouvelles activités
de recherche. Un animateur ou un médiateur qualifié est habituellement requis
Résumé Exemples d’application
L’établissement des faits 25 est un processus dans le- Temps requis Chronophage. Dépend de la nature de la question (complexe ou simple). Peut nécessiter
quel des différentes coalitions de scientifiques, des • La méthode a été utilisé à l’étranger, en Belgique, une ou plusieurs cessions
décideurs et d’autres parties prenantes avec des points dans le cadre du projet de développement de l’estuaire Répétabilité Moyenne. Les résultats dépendent des personnes impliquées. Les étapes de la méthode
de vue différents et des intérêts différents travaillent de l’Escaut 26. Elle a été également utilisée à Rotterdam sont répétables
ensemble pour développer des données, de l’informa- pour déterminer de quelle manière les infrastructures Transparence Forte. Des espaces de discussions protégés peuvent être créés et des comptes rendus
tion, analyser des faits et des prévisions, développer de transport devrait être adaptées au changement en séance publique sont réalisés. Le résultat et le processus peut être communiqué
des hypothèses et informer l’opinion (van Buren et al. climatique 27. de manière transparente
2007). Il s’agit d’une méthode utilisée pour résoudre
Risque de biais Fort. Dépend de la représentativité des toutes les parties-prenantes, les critères
des différents sur une question importante. Finale-
Niveau d’incertitude et le processus utilisés pour recruter des experts et si le processus est bien conduit
ment, les personnes réunies peuvent utiliser les résul-
tats pour prendre des décisions ensemble. Échelle (niveau de détails) Toute échelle mais plus difficile lorsque l’échelle augmente
Capacité de participation/ Moyenne à Forte. Peut être limité aux scientifiques/ parties-prenantes avec des points
Références clés Implication parties-prenantes de vue différents mais peut aussi inclure des éléments pour impliquer le grand public
• McCreary S. T., Gamman J. K., & Brooks B. (2001).
Demande de données Variable. Les données nécessaires dépendent de ce qui est demandé aux participants
Refining and testing joint fact-finding for environmen-
et les questions à traiter
tal dispute resolution : Ten years of success. Mediation
Quarterly, 18(4), 329 348. https://doi.org/10.1002/ Types de connaissances Tout type
crq.3890180403 pouvant être synthétisées
• MS, P. S. A., PhD; Todd Bryan, PhD; Matthew Mu- Types de documents de sortie Synthèse des principales discussions des groupes d’experts - domaines d’entente,
lica, MS; Julie Shapiro,. (2011). Humble Inquiry The points de vue divergents (et pourquoi), besoins d’information supplémentaire
Practice of Joint Fact Finding as a Strategy For Brin- et prochaines étapes.
ging Science, Policy and the Public Together. Joint
Compétence spécifique Facilitateur ou médiateur qualifié essentiel pour le succès du processus
Fact Finding conference. Consulté à l’adresse https://
www.mediate.com/pdf/Joint%20Fact%20Finding.pdf Exhaustivité Moyenne
• Schultz N. (2003). Joint Fact-Finding. Beyond Intrac- Pluridisciplinarité Possible
tability. Consulté à l’adresse https://www.beyondin- Intelligibilité Fonction de la capacité des animateurs et des experts à partager les résultats
tractability.org/essay/joint-fact-finding des discussions en termes non techniques

Forces Faiblesses

• Apprentissage dans le domaine des politiques • Gérer des intérêts concurrents peut être difficile,
publiques des compétences en facilitation sont nécessaires
• Identification des faits discutés • S’il n’y a pas une personne ou un comité amenant
les principaux intervenants à la table avec une voix
• Fournit potentiellement un processus pour arriver égale, l’investissement des ressources peut être
à un accord via des recherches co-construites asymétrique entre les parties-prenantes, créant
• Reconnait que les connaissances sont porteuses un déséquilibre
de valeurs et qu’elles peuvent être interprétées • Exige une confiance et un respect mutuel
différemment selon les intérêts de chacun
• La connaissance et l’apprentissage se fait au sein d’un
• Peut aboutir à des relations de confiance et de respect petit réseau temporaire et ne peut pas être conservés
26. van Buuren A., Edelenbos J., & Klijn E.-H. (2007). Managing knowledge entre les parties-prenantes dans les institutions décisionnelles
in policy networks. Organising joint fact-finding in the Scheldt Estuary.
Consulté à l’adresse https://repub.eur.nl/pub/10165/
27. Schenk T., Maas N., Vogel R. A. L., & Tavasszy L. A. (2016). Joint Fact-
24. La méthode n’a pas été citée lors des entretiens, cependant nous avons Finding in Practice : Review of a Collaborative Approach to Climate-Ready
souhaité qu’elle apparaisse dans le présent guide. Infrastructure in Rotterdam. European Journal of Transport and Infrastruc-
25. Un processus similaire existe et est appelé « Double sided critique » ture ResearchResearchGate, 26(1), 213 293. http://dx.doi.org/10.18757/
(Pullin et al. 2016). ejtir.2016.16.1.3132

78 79
 Les méthodes d’expertise Les méthodes d’expertise

3.18. Gestion adaptative collaborative

(Collaborative adaptative management) Gestion adaptative collaborative
Coût 3 à 12 mois ETP pour le diagnostic et la planification. 12 à 48 mois ETP pour inclure
un premier cycle d’apprentissage ; frais de voyage et subsistance (ateliers, entretiens) ;
Résumé Références clés logiciels (pour les questions complexes nécessitant des outils de visualisation graphique
La gestion adaptative collaborative est une approche • Busquet M. B. (2006). Des stratégies intégrées du- ou de modélisation) ; experts pour l’utilisation de logiciels.
structurée/flexible, progressive et transparente qui rables : Savoir écologique traditionnel et gestion adap-
Temps requis 3 à 12 mois pour diagnostic et planification. 24 à 60 mois pour un premier cycle
comprend l’itération de méthodes d’expertise et de tative des espaces et des ressources. VertigO - la revue
d’apprentissage. Varie en fonction de : nombre et échelle d’interventions, la complexité
suivi, le plus souvent collaboratives, telles que l’élabo- électronique en sciences de l’environnement, (Volume
des systèmes socio-naturels, disponibilité du personnel, le temps de réponse
ration participative de scénarios, l’établissement des 7 Numéro 2). https://doi.org/10.4000/vertigo.2279
faits et/ou l’analyse multicritères. Répétabilité Forte
La gestion adaptative collaborative est basée sur Exemples d’application Transparence Forte. La méthode est spécialement conçue pour assurer la transparence, la légitimité
les conditions spécifiques locales et les dynamiques et la confiance entre les parties prenantes.
des groupes d’acteurs présents. Elle intègre le design, • Le cadre théorique de la gouvernance adaptative
Risque de biais Faible
la gestion et le suivi des politiques de conservation issu de la gestion adaptative a permis l’analyse des Niveau d’incertitude
en prenant en compte le savoir écologique tradition- enjeux de la mise en œuvre effective de la trame verte
nel des groupes d’acteurs (Busquet, 2006). Cette dé- et bleue (TVB) dans la parc naturel régional des vol- Échelle (niveau de détails) Toute échelle
marche de révision et collaboration constante permet cans d’Auvergne. Capacité de participation/ Très forte : toutes les parties prenantes clés impliquées dans la modélisation et la prise
d’adapter la démarche au contexte et aux besoins de – Angeon V., Caron A., Birard C., Cayre P., Cham- Implication parties-prenantes de décision. Plusieurs opportunités pour une consultation ouverte et/ou une
la population. bon P., Larade A., … Planchat C. (2013). Les apports participation tout au long de de la phase de diagnostic et de cycle d’apprentissage
La gestion adaptative collaborative diffère des de la gouvernance adaptative pour analyser les enjeux Demande de données Faible dans la phase initiale. Forte dans la phase de mise en œuvre
autres méthodes d’expertise par un aspect clé. Au lieu d’une mise en œuvre effective de la Trame Verte et
de viser à identifier des solutions largement appli- Bleue. L’exemple du PNR des Volcans d’Auvergne. Dé- Types de connaissances Toutes
pouvant être synthétisées
cables et optimales, elle vise à identifier des solutions veloppement durable et territoires. Économie, géogra-
flexibles qui résistent aux erreurs et à l’incertitude. phie, politique, droit, sociologie, (Vol. 4, n° 1). https:// Types de documents de sortie Cartographie des connaissances collaboratives ; identification des incertitudes et
L’incertitude est fonction des dynamiques des sys- doi.org/10.4000/developpementdurable.9675 des lacunes de connaissances ; stratégie de gestion adaptative ; résumé pour décideurs.
tèmes sociaux-écologiques, des jeux d’échelles et Sous forme de rapports accessibles, sites internet, documentaires ou autres matériels
d’acteurs, des besoins et des intérêts différenciés (Bus- de communication.
quet, 2006). À cette fin elle peut s’appuyer sur des Compétence spécifique Spécialiste de la méthode (facilitateur et capacité à mener des entretiens), spécialiste
revues systématiques, cartographies systématiques, du logiciel éventuellement, expert sur le sujet
méta-analyses ou autres procédures d’identification de
Exhaustivité Non
connaissances plus ou moins avérées, permettant ain-
si de soupeser le poids de l’incertitude sur la décision. Pluridisciplinarité Forte
La phase initiale de la méthode de gestion adapta- Intelligibilité Moyenne, lectorat averti nécessaire
tive collaborative repose sur un type particulier de mé-
thodes d’expertise, mais l’approche globale s’étend à
la production de connaissances pertinentes à l’échelle
locale. Forces Faiblesses

• Les parties-prenantes sont impliquées de manière • Dépend de la confiance et de la volonté des

proactive et structurée participants. Toutes les parties-prenantes doivent
être impliquées.
• Transparence et participation fortes
• Mise en œuvre dépend d’une approche top-down
• Permet d’aller plus loin en cas de manque de faits et bottom-up suffisante
avérés permettant d’identifier une solution optimale
• Nécessité de s’entendre sur un objectif global et
• Conçu pour s’adapter aux effets contre-intuitifs, sur les modalités de mesure des progrès accomplis
incertitudes et circonstances évolutives pour l’atteindre
• Conçu pour gérer des points de vue divergents et • En l’absence d’une conception et d’une mise en
faciliter la résolution de conflits bien que cela puisse œuvre adéquates de travail collaboratif, la gestion
être difficile dans des situations où il existe des adaptative collaborative peut être utilisée pour
problèmes qui paraissent insolubles ou des problèmes obscurcir plutôt que de s’attaquer aux conflits sous-
socio-environnementaux de longue date jacents - réduisant ainsi la transparence.

80 81
 Les méthodes d’expertise Les méthodes d’expertise

3.19. Groupe de discussion

(Focus group) Groupe de discussion
Coût Deux jours (ETP) pour la réunion d’un groupe de discussion. Dépenses liées aux dépla-
cements des membres du groupe et du prestataire éventuel pour modérer la discussion
Résumé Références clés
Un groupe généralement composé de quatre à huit • Barbour R. S., & Morgan D. L. (2017). A New Era Temps requis Une demi-journée à une journée pour un groupe de discussion. Une série de groupe
personnes a une discussion sur un problème en vue in Focus Group Research | SpringerLink. Consulté à de discussion peut prendre 2 semaines à 1 mois pour permettre de sélectionner
d’un objectif défini. La discussion est dirigée par un l’adresse https://link.springer.com/book/10.1057% les membres du groupe et le cadrage
modérateur expérimenté. Le groupe sélectionné à 2F978-1-137-58614-8 Répétabilité Faible
dessein pour impliquer différents parties-prenantes et • Kitzinger, J., Markova, I., & Kalampalikis, N. (2004). Transparence Faible à forte, selon la qualité des procédures employées et si elles sont documentées
potentiellement avec différentes perspectives. La dis- Qu’est-ce que les focus groups? bulletin de psycholo-
Risque de biais Fort. La méthode exploite les dynamiques de groupes. La méthode est sujette aux biais
cussion commune permet aux participants d’exami- gie, 9.
Niveau d’incertitude sociologiques et aux biais liés à la sélection des membres du groupe
ner et de réagir aux arguments avancés par d’autres • Orvik A., Larun L., Berland A., & Ringsberg K.
participants à partir d’une stimulation induite par le (2013). Situational Factors in Focus Group Stu- Échelle (niveau de détails) Locale à régionale
modérateur, ce qui permet de faire fonctionner la dy- dies : A Systematic Review. International Journal Capacité de participation/ Moyenne à Forte
namique de groupe dans la formation de l’opinion. of Qualitative Methods, 12, 338 358. https://doi. Implication parties-prenantes
Les groupes de discussion sont considérés comme org/10.1177/160940691301200116
Demande de données Moyenne. Analyses des parties-prenantes, analyses du contexte (quel est le problème,
une méthode appropriée pour mobiliser, organiser et • Slocum N., Elliott J., Heesterbeek S., & Lukensmeyer
le contexte politique), visualisation des outils (cartographies et données) sur le problème
confronter les attitudes, les connaissances et les expé- C. J. (2006). Méthodes participatives : Un guide pour
riences, bien que les caractéristiques de la méthode l’utilisateur. Bruxelles: Fondation Roi Baudouin. Types de connaissances Tout type de connaissances
mise en œuvre doivent être signalées pour permettre pouvant être synthétisées
une meilleure interprétation des résultats (Orvik et al. Exemples d’application Types de documents de sortie Rapports descriptifs, jugements, informations sur les intérêts, les préoccupations
2013 in Eklipse, 2018). et les valeurs.
• Un groupe de discussion a été réalisé en Finlande
Compétence spécifique Compétence organisationnelle du modérateur
dans le but d'examiner comment une plus grande sen-
sibilisation à l'environnement influence l'utilisation Exhaustivité Non
des espaces urbains. Pluridisciplinarité Possible
– Säynäjoki E., Heinonen J., & Junnila S. (2014).
Intelligibilité Faible à forte. Dépend des caractéristiques de la méthode mise en œuvre qui doivent
The Power of Urban Planning on Environmental Sus-
être signalées pour permettre une meilleure interprétation des résultats (Orvik et al.
tainability : A Focus Group Study in Finland. Sustaina- 2013 in Eklipse, 2018)
bility, 6(10), 6622 6643. https://doi.org/DOI: 10.3390/
su6106622

Forces Faiblesses

• Peu couteuse et rapide • Fort risque de biais

• Basée sur les réflexions détaillées des participants • Pas représentatif
dans le dialogue. Permet une évaluation détaillée des
opinions et des attitudes à l’échelle régionale et locale • Risque de conflit, difficile à mettre en œuvre du fait
de points de vue divergents
• Le processus structuré permet l’implication d’un large
panel de parties-prenantes
• Adapté pour clarifier une question ou rassembler des
éléments de connaissance sur des questions précises

82 83
 4. Conclusion

L’expertise est un exercice dynamique qui doit constamment s’adapter aux enjeux
de la société avec l’exigence toujours accrue de transparence, de compréhension,
de participation, de rapidité et de consolidation scientifique pour la prise de
décision. L’expertise doit également faire face à une production scientifique qui
augmente de façon exponentielle et à une complexité toujours croissante des
processus à appréhender, avec notamment l’obligation de transition écologique.
Dans un contexte de recours de plus en plus fréquent à l’expertise pour
légitimer l’action publique, la publication de ce guide répertoriant 19 méthodes
d’expertise et mettant en discussion leurs forces et faiblesses, reste unique en
son genre en France. La Fondation pour la recherche sur la biodiversité et l’Office
français de la biodiversité se sont donné pour ambition d’élaborer un guide
opérationnel pour répondre à un besoin de connaissances sur les méthodes
d’expertise et au besoin de diffusion d’une culture commune de l’expertise.
Le parti pris de ce travail a été de le baser principalement sur des entretiens
d’acteurs impliqués et sur une interaction constante avec les principales
structures de recherche en biodiversité, regroupés dans son comité de suivi.
Le guide devrait favoriser, par la meilleure connaissance des méthodes,
une rigueur accrue dans leur choix, la diminution des risques de biais et le
développement d’une culture de la transparence dans les méthodes utilisées
pour informer les commanditaires.
Mais, ce travail peut aussi, paradoxalement amener à une question triviale :
« Finalement, l’expertise n'est-elle pas en train de glisser d’une mobilisation
d’experts à une mobilisation de méthode ? » En effet, en une vingtaine d'années,
l’expertise a évolué d'un rapport à « dire d’experts » à un processus normalisé
et très cadré, comme en témoigne la Charte nationale de l’expertise et sa
déclinaison dans plusieurs organismes de recherche.
Ce glissement s’explique sans doute par la facilité qu’il y a à juger une méthode
et la difficulté qu’il y a à juger un expert. Comme établit Pierre Lascoumes dans
la conclusion de l’ouvrage Savoirs et experts et profanes dans la construction
des problèmes publics : « L’emprise des intérêts économiques et des réseaux
d’influence est un facteur bien identifié de déviation de l’expertise. L’affaire
toute récente du Médiator […] montre que malgré les réformes menées depuis
les années 1990 (création d’agence nationale et européenne, généralisation des
déclarations d’intérêts, etc.) le problème garde toute son actualité. »
Certes, le guide ne répondra pas totalement à cette problématique, mais
gageons qu’il concourra à fiabiliser l’usage des méthodes, en rendre les conclusions
plus transparentes et à améliorer la perception de l’expertise qui, rappelons-le,
a pour objectif ultime d’améliorer les processus de prises de décision.

84 85
 5. Annexes

Annexe 1 La Charte nationale de l’expertise (CNE)

Annexe 2 Liste des structures identifiées pour la réalisation
des entretiens semi-directifs
Annexe 3 Grilles d’entretien type utilisées pour les entretiens
semi-directifs
Annexe 4 Exemples de questions brutes formulées
par les commanditaires confrontées à la classification
des types de demandes de Pullin et al. (2016)
Annexe 5 Matrice comparant les méthodes d’expertise entre elles
en fonction des critères retenus

86 87
 Annexes Annexes

Annexe 1. Préambule de la charte Contenu de la charte

Charte nationale de l’expertise Ont vocation à adhérer à la présente charte les opéra- Les établissements signataires de la charte s’engagent Article 6. Le rapport d’expertise doit faire mention des
teurs de recherche français, quel que soit leur statut à respecter les principes suivants : points que l’état des connaissances disponibles ne per-
juridique, déjà dotés ou non d’un document qui leur met pas de trancher avec une certitude suffisante. Il
est propre sur ce sujet, sous réserve de la compatibilité Article 1. Toute mission d’expertise donne lieu à la ré- fait état également des controverses, liées ou non à ces
de ce document avec les prescriptions de la charte. daction : soit, d’une convention cosignée entre le com- incertitudes. Il peut également apporter des commen-
manditaire et le commandité, qui en précise l’objet, taires utiles sur la formulation de la question posée.
La charte a vocation à s’appliquer à toutes les le calendrier et les conditions, soit, en cas de saisine
formes d’expertises scientifiques et techniques sus- interne, d’un cahier des charges rédigé par l’opérateur Article 7. Les opérateurs s’engagent à prendre en
ceptibles d’être exercées par ces établissements: ex- concerné et comportant les mêmes mentions. compte les activités d’expertise dans l’évaluation des
pertises institutionnelles au sens de la norme AFNOR personnels qui y participent.
NF X 50-110, individuelles ou collectives, et ce quelle Article 2. L’opérateur s’assure, avant conclusion d’une
qu’en soit l’origine : saisine interne, commanditaire convention d’expertise, des conditions dans lesquelles Article 8. Parallèlement, ils s’engagent à promouvoir
public ou privé. l’ensemble des parties concernées par l’expertise y dans le cadre national, européen et international, les
seront associées. En cas d’expertise suite à une saisine activités d’expertises menées dans le respect des dis-
Sans vouloir uniformiser les pratiques d’expertise interne, il explicite et rend publique la manière dont il positions de la présente charte.
scientifique et technique des opérateurs de recherche entend lui-même s’acquitter de cette obligation.
qui y adhèrent, ni méconnaître les documents nor- Article 9. En cas d’expression en leur sein d’un risque,
matifs dont certains se sont déjà dotés pour encadrer Article 3. L’opérateur rend accessibles les éléments qui notamment à caractère environnemental ou sanitaire,
leurs travaux en la matière, la charte se fonde sur le fondent la compétence des experts qu’il a désignés ou les établissements signataires s’engagent à s’en saisir
caractère national de la mission d’expertise (au sens retenus. pour rendre un avis sur les suites à y donner en termes
de l’article L.411 du code de la recherche). d’expertise.
Article 4. L’opérateur publie, selon des modalités qu’il
La charte sera soumise par chaque opérateur à lui appartient de déterminer, tout lien d’intérêt entre Article 10. Les établissements signataires s’engagent
son Conseil d’administration pour approbation. Elle les experts mobilisés et les parties concernées par à communiquer au Conseil supérieur de la recherche
pourra être complétée par tout document compatible, l’expertise. et de la technologie, chargé du suivi d’application de
existant ou à créer, de nature à en préciser l’applica- la charte, toute difficulté qui naîtrait de sa mise en
tion au contexte d’intervention propre à chaque éta- Article 5. Le rapport d’expertise mentionne les sources œuvre, ce qui pourrait le cas échéant conduire à la
blissement. Ce document précisera notamment pour qui fondent les conclusions retenues dans l’expertise. faire évoluer.
chaque opérateur les conditions dans lesquelles il sou- L’opérateur les rend accessibles.
haite pouvoir s’affranchir, temporairement ou non, de
la charte, notamment pour des raisons qui relèvent de
la sécurité publique ou de la défense nationale.

La qualité d’une expertise s’apprécie essentielle-

ment au regard de la compétence et de l’indépendance
de ceux qui la conduisent, de la traçabilité des sources
utilisées, de la transparence des méthodes mises en
œuvre et de la clarté des conclusions.

Le respect des principes communs énoncés par la

charte et par les documents spécifiques à chaque éta-
blissement est garant de la nécessaire indépendance
des experts individuellement ou en collège, et de la
protection dont ils doivent bénéficier en cas de mise en
cause. Les cas sont fréquents d’experts amenés à s’ex-
primer à titre personnel, en amont, en aval ou en paral-
lèle d’une expertise à laquelle ils ont été eux mêmes
associés ou non. Les conditions de cette expression re-
lèvent de la déontologie et des textes propres à chaque
établissement. C’est pourquoi la charte nationale ne les
aborde pas.

88 89
 Annexes Annexes

Annexe 2. Liste des structures de rattachement Liste des structures de rattachement • Office française de l’intégrité scientifique (OFIS)
des commanditaires interviewés des opérateurs interviewés • Office français de la biodiversité (OFB)
Liste des structures identifiées pour
la réalisation des entretiens semi-directifs • Office national de la chasse et de la faune sauvage
• Aéro Biodiversité (association en faveur de la • Agence de l’environnement et de la maîtrise de l’énergie (ONCFS) a fusionné avec l’AFB au 1er janvier 2020
biodiversité en milieu aéroportuaire) (ADEME)
• Office national des forêt (ONF)
• Agence française pour la biodiversité • Agence française pour la biodiversité (AFB), a fusionné
avec l’ONCFS au 1er janvier 2020
• Institut agronomique, vétérinaire et forestier de France
(Agreenium) • Agence nationale de sécurité sanitaire de l’alimentation,
de l’environnement et du travail (Anses)
• Ligue pour la protection des oiseaux (LPO)
• Bureau des recherches géologiques et minières (BRGM)
• Modis (entreprise spécialisée dans le conseil en
ingénierie, services numériques et sciences de la vie) • Centre d’études et d’expertise sur les risques,
l’environnement, la mobilité et l’aménagement (Cerema)
• Ministère de l’Agriculture et de l’Alimentation –
Direction générale de l’enseignement et de la recherche • Conservatoire botanique national du Bassin parisien
– Service de l’enseignement supérieur, de la recherche (CBNBP)
et de l’innovation – Sous-direction de la recherche, de
• Ecosphère (bureau d’études en environnement
l’innovation et des coopérations internationales
spécialisé dans l’expertise écologique, le conseil et
• Ministère de l’Agriculture et de l’Alimentation – l’aménagement des milieux naturels)
Secrétariat général – Service de la statistique et de
• École nationale supérieure agronomique de Toulouse
la prospective – Centre d’études et de prospective –
(ENSAT)
Bureau de l’évaluation et de l’analyse économique
• Établissement national des produits de l’agriculture et
• Ministère de la Transition écologique et solidaire –
de la mer (FranceAgrimer)
Commissariat général au développement durable
(CGDD) – Direction de la recherche et de l’innovation • Fondation pour la recherche sur la biodiversité (FRB)
(DRI) – Service de la recherche (SR)
• Groupement d’intérêt public (GIP) Ecofor
• Ministère de la transition écologique et solidaire
– Conseil général de l’environnement et du • Institut de l’agriculture durable (IAD)
développement durable (CGEDD) – Réseau scientifique • Institut du Développement Durable et des Relations
et technique (RST) Internationales (IDDRI)
• Ministère de la transition écologique et solidaire • Institut national de l’environnement industriel et des
– Direction générale de la prévention des risques – risques (Ineris)
Service des risques sanitaires liés à l’environnement,
des déchets et des pollutions diffuses • Institut national de recherche pour l’agriculture,
l’alimentation et l’environnement (Inrae), née de la
fusion de l’Inra et de l’Irstea le 1er janvier 2020

• Institut national de la santé et de la recherche médicale

(Inserm)

• Institut de recherche pour le développement (IRD)

• Institut national de recherche en sciences et

technologies pour l’environnement et l’agriculture
(Irstea) a fusionné avec l’Inra le 1er janvier 2020

• Kudzu Science (laboratoire privé spécialisé dans

l’analyse des polluants)

• Muséum national d’histoire naturelle (MNHN) – UMS

Patrimoine naturel (PatriNat)

• NATURALIA (société indépendante en conseils et

ingénierie de l’écologie)

90 91
 Annexes Annexes

Annexe 3. Élaboration des grilles d’entretien Thème 3 : Le choix des méthodes d’expertise Thème 5 : Les besoins des opérateurs
But : le but de ces questions est de faire émerger les But : le but est de faire émerger les besoins des opéra-
Grilles d’entretien type utilisées Les grilles d’entretien possèdent un tronc commun et pratiques, les processus qui ont conduit au choix de teurs pour faciliter les échanges entre les commandi-
pour les entretiens semi-directifs des spécificités selon les acteurs visés. Pour chaque la méthode pour répondre à une question ou une taires et les opérateurs.
thème, une série de questions est déclinée dont les ob- demande. • À votre avis quelle est l’utilité de l’élaboration
jectifs sont rappelés en préambule. • Utilisez-vous des méthodes d’expertise particulières ? d’un guide et d’une plaquette visant à comparer les
Si oui, lesquelles ? méthodes d’expertise ?
• Pouvez-vous me décrire en quelques mots • Souhaiteriez-vous connaître de nouvelles méthodes
Grille d’entretien destinée aux opérateurs ces méthodes ? d’expertise ?
• Quels sont les points forts de ces méthodes ? • Quels critères pour le choix des méthodes
De manière générale, le but de l’entretien est d’iden- Les points faibles ? souhaiteriez-vous voir apparaître dans le guide
tifier les pratiques et les besoins des opérateurs. Les • Comment évaluez-vous la robustesse et la plaquette ?
résultats permettront de préciser le contenu du guide d’une méthode ?
méthodologie : quels critères de comparaison et de • Quels sont les facteurs qui favorisent l’utilisation
choix des méthodes, arbres de décisions, quelle préci- de telle ou telle méthode ?
sion de la description des méthodes, identification des
méthodes à prendre en compte. Thème 4 : La commande (ou requête)
Présentation : « Bonjour, dans le cadre de l’étude But : Le but de ces questions est de faire émerger
sur les méthodes d’expertise, nous souhaiterions en quoi l’instruction initiale (formulation de la com-
connaître vos pratiques, vos opinions et vos aspirations mande) est importante et en quoi elle va conditionner
sur la mise en œuvre de l’expertise. Cette enquête a pour le choix des méthodes.
objectifs d’élaborer un guide et une plaquette visant à • Avez-vous reçu des commandes ou des requêtes
comparer les méthodes d’expertise entre elles pour faci- ces cinq dernières années ?
liter le choix des méthodes à adopter lors d’une réponse • Quels sont vos commanditaires principaux ?
à une problématique ». • Sous quelles formes avez-vous reçu ces commandes ?
• Avez-vous été amené à reformuler les commandes ?
Thème 1 : Présentation Si oui, quel a été le processus ?
But : Connaître l’identité de la personne interviewée • Pouvez-vous me donner des exemples ?
et son rapport à l’expertise. Décrire le panorama de la • Ces commandes étaient-elles accompagnées
population enquêtée. d’une direction méthodologique ?
• Dans quel domaine de la recherche travaillez-vous? • Le choix d’une méthode imposée par le commandi-
• Depuis quand? taire vous a-t-elle semblée justifiée ? Pourquoi ?
• Pouvez-vous décrire la structure/laboratoire • Avez-vous été amené à redéfinir le choix de la
dans laquelle vous travaillez (missions principales, méthode à adopter pour répondre à une commande ?
objectifs, valeurs) ? Quel est le rôle/place de Si oui, quel a été le processus ?
l’expertise dans cette structure? • Vos expertises sont-elles réutilisées par d’autres
• Quelles sont vos principales fonctions? personnes que le commanditaire ? si oui comment ?
• Depuis quand êtes-vous familier avec l’expertise ? • Quelle a été l’utilité de votre expertise ?
Quels usages en a été fait ?
Thème 2 : Terminologie et références • Est-ce que des expertises que vous avez réalisées
But : Le sujet a pour but de savoir si l’organisme pos- ont fait l’objet d’un usage à posteriori ?
sède un département dédié à l’expertise et s’il existe Et sinon, pourquoi ?
déjà des guides de bonnes pratiques. • Quelles sont les difficultés principales
• Existe-t-il une définition de « l’expertise » au sein que vous rencontrez avec vos commanditaires ?
de votre organisme ? • Qu’est-ce qu’une « bonne » expertise ?
• Existe-t-il au sein de votre organisme des textes une « mauvaise » ? Selon quels critères ?
de référence pour conduire une expertise ?
• Quelles sont les valeurs mises en avant dans
ces textes ?
• Connaissez-vous la Charte nationale de l’expertise ?
• Au regard de quels critères s’apprécie la qualité
de l’expertise ? et comment l’évaluer ?
Rappel possible de ces critères : compétence et indépen-
dance de ceux qui la conduisent, traçabilité des sources
utilisées, transparence des méthodes mises en œuvre et
de la clarté des conclusions.

92 93
 Annexes Annexes

Grille d’entretien destinée Thème 3 : Le choix des méthodes d’expertise

aux commanditaires But : le but de ces questions est de faire émerger les
pratiques, les processus qui ont conduit au choix de
De manière générale, l’objectif de l’entretien est de la méthode pour répondre à une question ou une
faire émerge les besoins du commanditaire d’expertise demande.
et de mieux connaître leurs contextes. Cette enquête • Faites-vous appel à l’utilisation des méthodes
a comme objectif de définir le contenu et l’organisa- d’expertise particulières ? Si oui, lesquelles ?
tion de la plaquette afin qu’elle réponde aux mieux au • Pouvez-vous me décrire en quelques mots
besoin des commanditaires. ces méthodes ?
Présentation : « Bonjour, dans le cadre de l’étude • Quels sont les points forts de ces méthodes ?
sur les méthodes d’expertise, nous souhaiterions Les points faibles?
connaître vos pratiques, vos opinions et vos aspirations • Comment évaluez-vous la robustesse
sur la mise en œuvre de l’expertise. Cette enquête a pour d’une méthode ?
objectifs d’élaborer un guide et une plaquette visant à • Quels sont les facteurs qui favorisent l’utilisation
comparer les méthodes d’expertise entre elles pour faci- de telle ou telle méthode ?
liter le choix des méthodes à adopter lors d’une réponse
à une problématique ». Thème 4 : La commande (ou requête)
But: Le but de ces questions est de faire émerger en
Thème 1 : Présentation quoi l’instruction initiale (formulation de la com-
But : Connaître l’identité de la personne interviewée et mande) est importante et en quoi elle va conditionner
son rapport à l’expertise. le choix des méthodes.
• Dans quel domaine travaillez-vous? • Avez-vous émis des commandes ou des requêtes
• Depuis quand? ces cinq dernières années ?
• Pouvez-vous décrire la structure dans laquelle vous • Quels sont vos opérateurs principaux ?
travaillez (missions principales, objectifs, valeurs) ? • Sous quelles formes avez-vous émis ces commandes ?
• Quelles sont vos principales fonctions? • Avez-vous été amené à reformuler les commandes ?
Si oui, quel a été le processus ?
Thème 2 : Terminologie et références • Pouvez-vous me donner des exemples ?
But : Le sujet a pour but de savoir si le commanditaire • Ces commandes étaient-elles accompagnées
a une référence officielle en termes d’expertise et de d’une direction méthodologique ? Oui/non
bonnes pratiques. • Quelles raisons ont justifiées le choix
• Existe-t-il une définition de « méthode d’expertise » méthodologique ?
au sein de votre organisme ? • Avez-vous été amené à redéfinir le choix
• Existe-t-il au sein de votre organisme des textes de la méthode à adopter pour répondre à
de référence pour conduire une expertise ? une commande ? Si oui, quel a été le processus ?
• Quelles sont les valeurs mises en avant dans • Avez-vous utilisez les expertises dans d’autres
ces textes ? situations ?
• Connaissez-vous la Charte nationale de l’expertise ? • Est-ce que des expertises que vous avez
• Au regard de quels critères s’apprécie la qualité commandées n’ont pas fait l’objet d’un usage
de l’expertise? Comment l’évaluer ? à posteriori ? Pourquoi ?
Rappel possible de ces critères : compétence et indépen- • Qu’est-ce qu’une « bonne » expertise ?
dance de ceux qui la conduisent, traçabilité des sources une « mauvaise » ? Selon quels critères ?
utilisées, transparence des méthodes mises en œuvre et
de la clarté des conclusions. Thème 5 : Les besoins des commanditaires
But : le but est de faire émerger les besoins des
commanditaires.
• Trouvez-vous utile l’élaboration d’un guide et
d’une plaquette visant à comparer les méthodes
d’expertise ?
• Quelles sont les difficultés principales que vous
rencontrez avec vos opérateurs ?
• Souhaiteriez-vous connaître de nouvelles méthodes
d’expertise ?
• Quels critères pour le choix des méthodes
souhaiteriez-vous voir apparaître dans les guides
et plaquettes ?

94 95
 Annexes Annexes

Annexe 4. En quoi la sécheresse se différencie-t-elle de l’aridité ? Quelle est son 1. Compréhension d’un phénomène :
occurrence passée et prévisible ? À quels types spatio-temporels est-on Évolution d’un phénomène dans le temps
Exemples de questions brutes formulées confronté ? Quel est son lien avec la canicule ? Comment satisfaire et l’espace
par les commanditaires confrontées la demande en eau de l’agriculture ? Comment faire face à une ressource 2. L’objectif est d’identifier les moyens
à la classification des types de demandes en eau moindre ? appropriés pour prendre certaines
de Pullin et al. (2016) décisions :
Recherche de gestion optimale
Quelle est l’efficacité des mesures d’adaptation conseillées dans la 2. L’objectif est d’identifier les moyens
bibliographie, concernant la plupart des grands types de milieux naturels ? appropriés pour prendre certaines
Exemple de questions brutes formulées par les commanditaires Classification Pullin et al. (2016) 1) Quelle est la diversité des réorientations conduisant à des changements décisions :
des sols ? En liens avec quels impacts environnementaux ? Recherche de mesures d’impact anthropique
Quelles sont les solutions efficaces pour lutter contre la contamination 2. Identifier les moyens appropriés :
2) Quelle est la nature des impacts environnementaux et des changements Recherche d’une gestion optimale
des milieux naturels en antibiotiques, résidus et bactéries résistantes ? Comparaison de solutions efficaces
d’affection des sols consécutifs à la production de bioénergies ?
Peut-on évaluer le stockage de carbone dans les prairies (gérées par 2. Identifier les moyens appropriés : 3) Comment varie le bilan des émissions de GES liées à la production
les aéroports), global et annuel, essentiellement des prairies mésophiles Comparaison de solutions efficaces et à l’utilisation de bioénergies selon les changements d’affectation
de fauche ? des sols que leur production a nécessités ?
Comment évaluer la situation à long-terme de l’ours en France ? 1. L’objectif est de mieux comprendre Il a été demandé à l’Anses de déterminer si les limites maximales 2. L’objectif est d’identifier les moyens
un phénomène : de résidus (LMR) actuellement en vigueur pour la chlordécone sont appropriés pour prendre certaines décisions :
Evolution d’une situation à long terme suffisamment protectrices pour la population guadeloupéenne et Efficacité des mesures existantes
martiniquaise dans le cadre d’un régime alimentaire global, notamment Recherche de gestion optimale
pour les denrées carnées terrestres ainsi que pour les produits de la mer
Comment évaluer la situation à long-terme du loup gris (Canis lupus) 1. L’objectif est de mieux comprendre
et d’eau douce. Si tel n’est pas le cas, l’Anses est chargée de proposer
en France ? un phénomène :
des valeurs limites protectrices ainsi que toutes autres mesures qui seraient
Évolution d’une situation à long terme
pertinentes à mettre en place pour protéger le consommateur face aux
risques liés à la présence de chlordécone dans les aliments.
Quelles composantes de la nature et des types d’espaces naturels 1. Compréhension d’un phénomène : Comment sortir de la crise liée à la prolifération des hannetons ? 2. identifier moyens appropriés pour
ont une influence positive sur la santé mentale et la santé physique? Comprendre des effets/actions prendre une décision:
Recherche de l’efficacité d’une intervention
Comment évaluer les effets de futurs aménagements d’un cours d’eau 1. Compréhension d’un phénomène :
Quelles sont les substances susceptibles d’avoir un impact sur les récifs 1. Compréhension d’un phénomène : sur le milieu vivant? Construction de scénarios
coralliens, les sources de production et de rejet de ces substances, quelles sont les menaces ? (substances) 2. L’objectif est d’identifier les moyens
l’importance de leur apport ? Quels sont les effets de ces substances 2. Identifier les moyens appropriés pour appropriés pour prendre certaines décisions :
sur les coraux (mortalité, résilience, fonctionnement) ? la prise de décision : Quels sont les impacts Mesurer les impacts anthropiques
sur la biodiversité ? (sur les coraux) Recherche de gestion optimale

Identifier les substances chimiques les plus toxiques pour les récifs 2. L’objectif est d’identifier les moyens
coralliens afin de mieux protéger ces écosystèmes fragiles + distinguer appropriés pour prendre certaines Où en est-on des nouvelles connaissances acquises en matière de flux 1. L’objectif est de comprendre
les effets toxiques sur les coraux et les effets directs ou indirects décisions : de gènes chez le colza, ainsi que sur l’identification des risques pour un phénomène
et l’influence de ces effets sur le fonctionnement de l’écosystème et Recherche de mesures d’impact l’environnement liés à la mise en culture à grande échelle de variété de Mieux comprendre un phénomène
proposer des mesures techniques et réglementaires anthropique colzas GM tolérantes à un herbicide ? ou un pouvoir prédictif
2. Identification des moyens appropriés :
Réalisation d’un bilan de type évaluation de la mise en œuvre d’une 3. Évaluation pour les politiques publiques: Mesure d’impacts
politique publique, qui alimentera la démarche stratégique post-2020. Évaluation de l’opinion et de la perception Quelle est l’efficacité agronomique de la stratégide TH, usage couplé L’objectif est d’identifier les moyens
de mesures d’une VTH et de son herbicide associée, à court, moyen et long termes? appropriés pour prendre certaines décisions :
Comment les exercices de prospective s’articulent avec la prise de décision 1. L’objectif est de mieux comprendre Quels sont les effets réels et de long terme et la compatibilité avec les Recherche de mesures d’impact anthropique
et avec la mise en œuvre ? Comment les enjeux de mise en œuvre des un phénomène ou un pouvoir prédictif : politiques environnementale (Ecophyto 2018) des VTH issues de mutation Recherche de l’efficacité de mesures
politiques publiques s’intègrent-ils dans les prospectives pour orienter Analyse prospective spontanée ou induite ? existantes
la recherche ? 2. Recherche de moyens appropriés : Peut-on, en France, par des actions visant spécifiquement à augmenter 2. L’objectif est d’identifier les moyens
Rercherche de gestion optimale l’accumulation du carbone organique agricole, contribuer à réduire appropriés pour prendre certaines décisions :
3. Possibilités et limites d’une décision : l’effet de serre ? Recherche de l’efficacité d’actions existantes
Compréhension des enjeux Quelles sont les conditions d’observance au Protocole de Kyoto ? Recherche de solutions existantes
C’est quoi la forêt dans 20 ans ? 1. Compréhension d’un phénomène : Quels outils de politiques économiques seraient efficaces pour promouvoir (comparaison)
Construction de scénarios les changements souhaitables ? Recherche de gestion optimale
Exercice de projection Quels sont les besoins en recherches et en références ?

96 97
 Annexes Annexes

Comment définir les sites à enjeux pour la flore et les habitats naturels ? 2. L’objectif est d’identifier les moyens
Dans le cadre de la réduction de l’usage d’herbicides demandée par 1. L’objectif est de comprendre
les réglementations françaises et européennes, la gestion des adventices un phénomène appropriés pour prendre certaines décisions :
évolue. Mieux comprendre les changements Recherche d’une gestion optimale

Quelles sont les conséquences de la réduction de l’intensité d’usage d dans le temps et dans l’espace
es herbicides sur la flore adventice et la production agricole ?
Comment apporter une sécurité foncière pour le pastoralisme ? 2. Identifier les moyens :
Que sait-on de l’utilisation des pesticides en France ? 1. Comprendre un phénomène Efficacité des mesures existantes
Comment mieux utiliser les produits et aménager l’espace pour limiter effets Comparaison avec d’autres mesures
les contaminations ? 2. Identifier les moyens de gestion : 3. Possibilités et limites d’une décision:
Comment modifier les pratiques et faire évoluer les systèmes recherche de gestion optimale Opinion/Perception
de production afin de les rendre moins dépendants des pesticides ?
Comment favoriser une agriculture respectueuse de l’environnement ? 2. L’objectif est d’identifier les moyens
Quels sont les effets de l’agriculture sur la biodiversité? 1. Comprendre un phénomène appropriés pour prendre certaines décisions :
Les rôles et valorisations possibles de cette biodiversité pour l’agriculture? 2. Identifier les moyens de gestion : Recherche des méthodologies appropriées
Les marges de manœuvre techniques pour mieux internaliser la Étude d’impacts et des compromis associés (comparaison)
biodiversité dans l’agriculture ? Étude d’efficacité des mesures existantes 3. Possibilités et limites d’une décision :
Quelle est la faisabilité économique, technique et sociale de cette recherche de gestion optimale Opinion/perception
internalisation ? 3. Possibilités et limites d’une décision : Compréhension
Recherche d’opinion, perception

Quels sont les effets de différentes réorientations sur les changements 2. Identifier moyens appropriés pour Comment adapter les techniques de réhabilitation hydrogéomorphologique 2. Identifier des moyens appropriés :
d’affectation des sols et leurs impacts sur l’environnement? prendre une décision: en sites miniers guyanais pour accompagner la régénération des cours Recherche de gestion optimale

Recherche des impacts anthropiques d’eau impactés après exploitation?
Quel est l’état des connaissances sur l’azote en élevage ? 2. Identifications de moyens appropriés : Quel est l’intérêt de réguler la population de bulin en introduisant 2. Identifier des moyens appropriés :
Comparaison de mesures/actions une espèce prédatrice ? Recherche de l’efficacité d’une intervention
Recherche de gestion optimale

Établir « un état des connaissances sur la gestion de l’azote en période 1. Compréhension d’un phénomène :
d’interculture en précisant les acquis, les incertitudes et les questions Effets
à approfondir dans une perspective de généralisation de la couverture Scénarios
végétale automnale des sols »

« recenser et évaluer les possibilités d’actions préventives dans et 1. Compréhension d’un phénomène :
en dehors du champ d’intervention de l’Agence » et développer une Projection
analyse prospective sur les « nouveaux dispositifs préventifs permettant 2. Identifier les moyens :
de restaurer et de préserver les bassins d’alimentation des captages… étude des actions existantes (comparaison)
et les conditions de mise en œuvre des actions… Gestion optimale
Scénarios souhaitables et plausibles pour les différents acteurs concernés ; 1. Compréhension d’un phénomène :
Trajectoires permettant de lever les verrouillages socio-politico-techniques Construction de scénarios
à l’œuvre. 3. Possibilités et limites d’une décision :
Opinion / Perception
Compréhension

Quelles sont les questions actuellement émergentes qui pourraient 1. L’objectif est de mieux comprendre un
prendre de l’ampleur et sont susceptibles d’avoir une influence majeure phénomène :
sur les politiques publiques de biodiversité à l’horizon 2020 ? Construction de scénarios
3. Possibilités et limites d’une décision :
Compréhension
Comment anticiper les nouveaux enjeux pour la biodiversité 1.L’objectif est de mieux comprendre un
à l’horizon 2030 ? phénomène :
Analyse prospective
3. Possibilités et limites d’une décision :
Opinion/Perception
Compréhensions
Quel est le bilan de type évaluation de la politique publique ? 2. Identifier les moyens
+ quelle analyse stratégique envisager ? Efficacité des mesures/actions prises

98 99
 Annexes Annexes

Annexe 5. Matrice comparant les méthodes d’expertise entre elles en fonction des critères retenus

Méthode Temps Coût Types de connaissances mobilisées Capacité de Transparence Répétabilité Risque Échelle Intelligibilité Demande Exhaustivité Pluridisciplinarité
disponible participation Robustesse de biais/ (niveau de données
pour traiter /Implication Niveau de détail)
Scientifique Technique Explicite Tacite Autochtone Opinion
la question des parties d’incertitude
et locale
prenantes
Cartographie systématique​  6 mois 3-24 mois Moyenne Forte Forte Faible Toute Moyenne* Forte Forte Possible
(Systematic map) à 2 ans ETP › › › × × × échelle
Évaluation rapide des faits avérés 3 à 9 mois 3-6 mois ETP Moyenne Forte Moyenne Fort Toute Forte Moyenne Non Possible
(Rapid evidence assessment)   › › › × × × échelle à faible
Expertise scientifique collective 6 mois Variable Moyenne Moyenne Moyenne Faible Toute Forte Forte Forte Forte
à 2/3 ans › › › › › › à forte à Forte à forte échelle
Méta-analyse​ 3 semaines Très Faible Forte Forte Faible Toute Moyenne* Forte Forte Possible
(Meta-analysis) variable › › × × × × échelle
Modélisation 12 mois 1 an ETP Forte Forte Forte Moyen Toute Forte Faible Forte Possible
› › › › › × échelle à Forte
Revue exploratoire​ 1 à 6 mois 1-6 mois ETP Moyenne Forte Moyenne Fort Toute Forte Forte Non Possible
(Scoping review) › › › × × × échelle
Revue systématique​ 6 mois 6-24 mois ET Moyenne Forte Forte Faible Toute Moyenne* Forte Forte Possible
(Systematic review) à 4 ans › › › × × × échelle
Synopsis et Résumés 1 à 10 ans 12-120 mois Moyenne Forte Forte Faible Toute Forte Faible Non Possible
de faits avérés sur un vaste sujet ETP à Moyen échelle
(Subject-wide Evidence Syntheses › › › × × ×
or Summaries and synopses)
Élaboration de scénario/ Prospective​ 5 jours Variable Forte Variable Faible Moyen Toute Forte Forte Moyenne Forte
à 6 mois › › › › › × échelle
Prise de décision structurée​  4 mois 1 mois mini- Variable Forte Faible Moyen Toute Pas d’info Faible Pas d’info Pas d’info
(Structured Decision Making) minimum mum › › × × › × échelle à moyenne
Analyse de chaînes de causalité​  1 semaine 1 mois - plus- Moyenne Forte Moyenne Moyen Toute Forte Faible Non Possible
(Causal Criteria Analysis) à 2 ans ieurs années › › › › × › échelle
Analyse de décision multicritères ​  Variable Variable Forte Forte Faible Moyen Toute Variable Variable Variable Forte
(Multi-Criteria Decision Analysis) › › × › › › à forte échelle
Analyse du discours​ 2 à 10 mois Plusieurs Faible Forte Moyenne Moyen Toute Pas d’info Forte Pas d’info Pas d’info
(Discourse analysis) mois ETP › › › › › › à forte échelle
Cartographie participative​  Variable Variable Très forte Très forte Moyenne Moyen Locale, Forte Faible Non Forte
(Particpatory mapping) › › › › › › Régionale à forte
Consultation de multiples experts 1 semaine 1 semaine-1 Moyenne Forte Moyenne Moyen Toute Forte Moyenne Moyenne à Possible
avec la méthode du consensus formel à 2 mois mois ETP › › › › × › échelle forte
telle que Delphi​ 
Consultation d’experts​  1 semaine 1 semaine Moyenne Moyenne Moyenne Moyen Toute Forte Moyenne Non Possible
ou Élicitation d’experts à 1 mois ETP › › › › › › échelle
(Expert consultation)
Établissement des faits​ Variable Variable Moyenne Forte Moyenne Fort Toute Variable Faible Moyenne Possible
(Joint Fact Finding) › › › › › › à forte échelle
Gestion adaptative collaborative​ phase 1 : 3 à 12 mois Très forte Forte Forte Faible Toute Moyenne* Faible Faible Possible
(Collaborative Adaptive Managment) 3 à 12 mois et échelle à Forte
phase 2 : 24 à 60 mois › › › › › ›
12 à 48 mois

Groupe de discussion​  1,5 jour 2 jours ETP Moyenne Faible Faible Fort Locale, Faible Moyenne Non Possible
(Focus group) à 1 mois › › › › › › à forte à forte Régionale à forte

* Lectorat averti

100 101
 Annexes Annexes

Glossaire système cognitif pour interpréter et comprendre le LISTE DES TABLEAUX

monde) [Eklipse, 2019].
Sauf précision, les définitions ont été élaborées dans le
cadre de ce travail avec le comité de suivi. Connaissances traditionnelles – Ensemble de connais- Tableau 1 LISTE DES SPÉCIALISTES DES MÉTHODES MOBILISÉS POUR LA RELECTURE DES FICHES MÉTHODES
sances, de pratiques et de croyances évoluant par Tableau 2 TYPOLOGIE DES DEMANDES DES COMMANDITAIRES D’UNE EXPERTISE
Expert – « Personne dont la compétence, l’indépen- des processus d’adaptation et transmis de génération Tableau 3 DESCRIPTION DES GRANDS TYPES DE DEMANDES IDENTIFIÉES POUR RÉALISER UNE EXPERTISE
dance et la probité lui valent d’être formellement en génération par transmission culturelle, sur la rela- Tableau 4 DESCRIPTION DES TYPES DE RÉPONSE ATTENDUE PAR LES COMMANDITAIRES LORS D’UNE EXPERTISE
reconnus apte à effectuer des travaux d’expertise » tion entre les êtres vivants (y compris les humains) et Tableau 5 DESCRIPTION DES CRITÈRES RETENUS POUR CARACTÉRISER LES MÉTHODES
[AFNOR, 2003]. Un expert mobilise différentes formes avec leur environnement. Il est également désigné par Tableau 6 CLASSIFICATION DES MÉTHODES EN FONCTION DES TYPES DE CONNAISSANCES MOBILISÉES
de connaissances mobilisables qui peuvent être acadé- d’autres termes tels que, par exemple, les savoirs au- Tableau 7 LES MÉTHODES D’EXPERTISE EN FONCTION DU TYPE DE QUESTIONS AUXQUELLES ELLES RÉPONDENT
miques ou non. tochtones, locaux ou traditionnels, les connaissances Tableau 8 LES MÉTHODES D’EXPERTISE EN FONCTION DES TYPES DE RÉPONSES QU’ELLES FOURNISSENT
écologiques/environnementales, connaissances des Tableau 9 MÉTHODES D’EXPERTISE EN FONCTION DU TEMPS QU’ELLES NÉCESSITENT
Expertise – « Ensemble des activités ayant pour objet agri­culteurs ou des pêcheurs, l’ethnoscience, la science Tableau 10 MÉTHODES D’EXPERTISE EN FONCTION DE LEUR COÛT
de fournir à un client, en réponse à la question posée, autochtone, la science populaire [Díaz et al., 2015 in Tableau 11 MÉTHODES D’EXPERTISE EN FONCTION DU RISQUE DE BIAIS/NIVEAU D’INCERTITUDE QU’ELLES PRÉSENTENT
une interprétation, un avis ou une recommandation, Eklipse, 2019].
aussi objectivement fondés que possible, élaborés à
partir des connaissances disponibles et de démons- Méthodes d’expertise – Outils permettant de réaliser LISTE DES FIGURES
trations accompagnées d’un jugement professionnel » des porter à connaissances, de produire des avis, des
[AFNOR X 50-110]. recommandations ou des scenarii.
Figure 1 LES GRANDES ÉTAPES LIÉES À L’INSTITUTIONNALISATION DE L’EXPERTISE EN FRANCE
Jugement professionnel – « Processus intellectuel d’ap- Opérateurs – Personnes qui utilisent les méthodes Figure 2 SCHÉMA THÉORIQUE PRÉSENTANT LES ACTEURS ET LES DIFFÉRENTES PHASES DU CIRCUIT DE L’EXPERTISE
préciation, d’évaluation, d’estimation ou d’explication d’expertise en les mettant directement en œuvre. Ils Figure 3 TYPES DE DEMANDES D’EXPERTISE IDENTIFIÉES LORS DES ENTRETIENS SEMI-DIRECTIFS
conduisant à énoncer une opinion, sur un sujet ou un ont déjà utilisé une ou plusieurs méthodes d’expertise, Figure 4 FRÉQUENCES DES CRITÈRES MIS EN LUMIÈRE PAR LES OPÉRATEURS D’EXPERTISE
objet, fondée sur l’expérience professionnelle dans un dans leurs travaux de recherche ou en répondant à LORS DES ENTRETIENS SEMI-DIRECTIFS
domaine défini » [AFNOR, 2003]. une commande par exemple. Figure 5 FRÉQUENCES DES CRITÈRES MIS EN LUMIÈRE PAR LES COMMANDITAIRES D’EXPERTISE
LORS DES ENTRETIENS SEMI-DIRECTIFS
Commanditaires – Les commanditaires sont un type Question posée – « Interrogation définissant l’objet Figure 6 LES MÉTHODES D’EXPERTISE EN FONCTION DU TYPE DE QUESTIONS AUXQUELLES ELLES RÉPONDENT
d’usagers qui financent, passent un ordre de réalisa- de l’expertise à réaliser et la nature de la réponse Figure 7 LES MÉTHODES D’EXPERTISE MOBILISANT MAJORITAIREMENT DES CONNAISSANCES SCIENTIFIQUES,
tion d’un transfert de connaissances. Les commandi- attendue : interprétation, avis ou recommandation » TECHNIQUES, EXPLICITES, EN FONCTION DU TEMPS ET DU NIVEAU DE CONFIANCE
taires font appel à un opérateur. [AFNOR, 2003]. Figure 8 COMPLÉMENTARITÉ THÉORIQUE DES MÉTHODES POUR RÉPONDRE À UNE EXPERTISE
Figure 9 EXEMPLES D’INTERDÉPENDANCE DE MÉTHODES D’EXPERTISE
Connaissances tacites – Connaissances nécessitant Recommandation – « Avis émis par l’organisme d’ex- Figure 10 EXEMPLE DE LA COMBINAISON DE MÉTHODES DANS LE CADRE D’EXPERTISE SCIENTIFIQUE COLLECTIVE (ESCO)
l’avis de la personne qui les a générées pour les docu- pertise sur ce qu’il convient de faire ou de ne pas faire » Figure 11 EXEMPLE DE COMPLÉMENTARITÉ DES MÉTHODES DE RECHERCHE BIBLIOGRAPHIQUE ET DE MÉTA-ANALYSE
menter ou les rassembler [Eklipse, 2019]. [AFNOR, 2003]. Figure 12 MOBILISATION DE PLUSIEURS MÉTHODES D’EXPERTISE DANS LE CADRE D’ÉTUDE INRAE
Figure 13 DÉROULEMENT SCHÉMATIQUE DE L’ÉLABORATION DU RAPPORT, DE LA SYNTHÈSE ET DU RÉSUMÉ
Connaissances explicites – Connaissances pouvant être Usagers – Personnes qui utilisent les résultats de l’ex- D’UNE ESCO OU D’UNE ÉTUDE (INRAE, 2018)
documentées ou rassemblées sans la contribution de pertise, les connaissances pour prendre des décisions. Figure 14 TRADUCTION FRANÇAISE ORIGINALE DU DIAGRAMME DE FLUX PRISMA 2009
la personne qui a généré ces connaissances [Eklipse, Ces connaissances peuvent être le résultat d’exper-
2019]. tise. Ils peuvent faire appel à des opérateurs pour
mettre en œuvre des méthodes d’expertise ou de syn-
Connaissances scientifiques – Connaissances recueil- thèse afin de répondre à une problématique à trai-
lies au moyen de processus scientifiques (test d’hypo- ter. Les usagers ne définissent pas forcément le type
thèses et collecte de données) [Eklipse, 2019]. de méthodes à utiliser.  

Connaissances techniques – Connaissances détenues

par des individus ou des institutions, développées à
travers les retours d’expérience et les jugements d’ex-
perts. Parfois appelées expérimentales ou qualifiés de
savoirs empiriques [Eklipse, 2019].

Connaissances basées sur l’opinion publique – Connais-

sances détenues par les individus, basées sur une
combinaison d’autres formes de connaissances, mais
aussi étayées par des valeurs (préférences relatives
aux priorités d’action ou à des résultats particuliers)
et des représentations mentales (cadre donné par le

102 103
REMERCIEMENTS

La FRB tient à remercier vivement les spécialistes

de méthodes pour leur relecture fine et la qualité
des échanges, les membres du comité de suivi
pour leurs précieuses recommandations et toutes
les personnes interrogées pour leur temps et la clarté
de leurs réponses.

Citation : Navarro, C., Berrebi, B., Livoreil, B.,

Richard, G, Soubelet, H. (2020).
Méthodes d’expertise : comment les utiliser ?
Expertise et synthèse. Paris, France : FRB, 104 p.

Crédits photographiques :
© Pixabay : p. 4, 10, 39, 40, 49, 59, 84, 86, 95
et couverture

Directrice de la publication : Hélène Soubelet (FRB)

Coordination éditoriale : Romuald Berrebi (OFB), Pauline Coulomb (FRB)
Graphisme : François Junot

Auteur.e.s : Charlotte Navarro (FRB), Romuald Berrebi (OFB), Hélène

Soubelet (FRB), Barbara Livoreil (FRB et consultante freelance), Guy
Richard (Inrae)

Cette publication a bénéficié des relectures des personnes ci-après cités.

Nous les remercions vivement pour leurs contributions.

Laurent Augusto (Inrae), Nicolas Becu (CNRS), Mireia Boya (Université

Pompeu Fabra de Barcelona), Federica Burini (Université de Bergame),
Nathalie Colbach (Inrae), Corinne Curt (Inrae), Marilda Dhaskali (FRB),
Lynn Dicks (Université de Cambridge), Régis Ferron (IRD), Laurent Fleu-
ry (Inserm), Jean-Luc Foucher (BRGM), Cédric Gaucherel (Inrae), Nikos
Kalampalikis (Université Lumière Lyon 2), David Makowski (Inrae), Scott
McCreary (Concur Inc.), Vincent Meyer (Université Côte d’Azur), Mat-
thieu Noucher (CNRS), Olivier Réchauchère (Inrae), Romain Sordello
(UMS PatriNat) , Jean-Marc Tacnet (Inrae) , Laurent Gentzbittel (Tou-
louse INP, Agro Toulouse)

© FRB 2020
ISBN : 979-10-91015-41-7 105
 Ce document rend compte des résultats de l'enquête coordonnée en 2019 par la
Fondation pour la recherche sur la biodiversité (FRB) sur l'utilisation des méthodes
d'expertise et le contexte dans lequel elles sont mobilisées. Un comité de suivi
réunissant différents organismes de recherche a été mis en place pour mener cette
enquête. Le groupe a été animé par la FRB et l'OFB.

La Fondation pour la Recherche sur la Biodiversité a pour mission de favoriser les

activités de recherche sur la biodiversité en lien avec les acteurs de la société. Sus-
citer l’innovation, développer et soutenir des projets, diffuser les connaissances et
mobiliser l’expertise sont au cœur de ses actions.

Fondation pour la Recherche sur la Biodiversité

195, rue Saint-Jacques 75005 Paris
www.fondationbiodiversite.fr

Membres
Fondateurs
de la FRB :