Fusion en traitement d'images :

spécificités et approches numériques

par Isabelle BLOCH

École nationale supérieure des télécommunications
Département Traitement du signal et des images
CNRS URA 820
et Henri MAÎTRE
École nationale supérieure des télécommunications
Département Traitement du signal et des images
CNRS URA 820

1. Généralités et définitions ...................................................................... TE 5 230 – 2

1.1 Définitions .................................................................................................... — 2
1.2 Caractéristiques générales des données ................................................... — 3
1.3 Fusion numérique/fusion symbolique ....................................................... — 4
1.4 Systèmes de fusion et types d’architecture .............................................. — 5
1.5 Fusion en TDSI et fusion dans d’autres domaines ................................... — 5
2. Spécificités de la fusion d’informations en traitement
des images ................................................................................................. — 6
2.1 Objectifs de la fusion en traitement des images....................................... — 6
2.2 Les situations de fusion .............................................................................. — 7
2.3 Caractéristiques des données en fusion d’images ................................... — 8
2.4 Contraintes ................................................................................................... — 9
2.5 Aspects numériques et symboliques en fusion d’images ....................... — 9
3. Fusion probabiliste et bayésienne ...................................................... — 9
3.1 Mesures d’information................................................................................ — 9
3.2 Modélisation et estimation ......................................................................... — 10
3.3 Combinaison dans un cadre bayésien....................................................... — 10
3.4 Combinaison vue comme un problème d’estimation .............................. — 11
3.5 Décision ........................................................................................................ — 11
4. Fusion dans la théorie des fonctions de croyance......................... — 11
4.1 Modélisation ................................................................................................ — 11
4.2 Estimation de fonctions de masse ............................................................. — 12
4.3 Combinaison conjonctive ........................................................................... — 14
4.4 Autres modes de combinaison................................................................... — 16
4.5 Décision ........................................................................................................ — 16
5. Fusion floue et possibiliste ................................................................... — 17
5.1 Modélisation ................................................................................................ — 17
5.2 Définition des fonctions d’appartenance ou des distributions
de possibilités .............................................................................................. — 17
5.3 Combinaison ................................................................................................ — 18
5.4 Décision ........................................................................................................ — 22
6. Introduction d’informations spatiales dans la fusion ................... — 22
6.1 Au niveau de la modélisation ..................................................................... — 22
6.2 Au niveau de la décision ............................................................................. — 22
6.3 Au niveau de la combinaison ..................................................................... — 23
7. Conclusion ................................................................................................. — 23
Pour en savoir plus .........................................................................................
Doc. TE 5 230

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
© Techniques de l’Ingénieur, traité Télécoms TE 5 230 − 1
FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES __________________________________________________________________

a fusion d'informations regroupe les techniques utilisées pour associer des

L informations variées sur un même problème. En traitement des images, la
fusion d'informations se préoccupe de combiner au mieux des images d'origines
différentes pour mieux connaître l'objet d'observation. La fusion est devenue un
aspect important de traitement de l'information dans plusieurs domaines très dif-
férents, dans lesquels les informations à fusionner, les objectifs, les méthodes, et
donc la terminologie, peuvent varier beaucoup, même si les analogies sont égale-
ment nombreuses. L'ampleur que prend la fusion d'informations suit celle que
prennent les technologies et le traitement de l'information en général.
Cet article vise à préciser le contexte et les concepts de la fusion dans le
domaine du traitement du signal et des images (TDSI), à dégager des définitions
et à présenter les grandes lignes des principales approches numériques. Nous
ne présentons pas ici les approches à bases de règles, syntaxiques, logiques, ni
les approches neuronales.
Le paragraphe 1 présente une définition générale, les caractéristiques des
données à prendre en compte dans un système de fusion, ainsi que les principa-
les étapes. Le paragraphe 2 est consacré de manière plus précise aux spécificités
de la fusion en traitement des images, en soulignant ce qui la distingue de la
fusion dans d'autres domaines. Les principales approches numériques sont
ensuite exposées, dans les paragraphes 3 pour les approches probabilistes et
bayésiennes, 4 pour la théorie des fonctions de croyance, et 5 pour les méthodes
floues et possibilistes. Enfin dans le paragraphe 6, nous discutons du traitement
de l'information spatiale en fusion d'images.

1. Généralités et définitions La définition 1 est un peu plus spécifique que celle de [26], qui est
la suivante : « regrouper des informations issues de plusieurs sour-
ces et exploiter l'information regroupée afin de répondre à des
questions, prendre des décisions, etc. ». Dans cette définition, qui
est également focalisée sur la combinaison et les buts, les buts
1.1 Définitions s'arrêtent souvent avant l'étape de décision, et ne sont pas res-
treints à l'amélioration de l'information globale. Ils peuvent inclure
l'obtention d'un point de vue global, par exemple dans les problè-
Nous adoptons dans cet article un sens large du terme mes de fusion d'opinions ou de préférences de personnes, qui est
« information ». En particulier, il couvre à la fois des données (par un des thèmes abordés dans ce projet, mais qui sort du cadre de cet
exemple, des mesures, des images, des signaux, etc.) et des article. Ici, l'amélioration de la connaissance fait référence au
connaissances (sur les données, sur le domaine, sur des contrain- monde tel qu'il est, et non au monde tel qu'on voudrait qu'il soit
tes, etc.) qui peuvent être génériques ou spécifiques. comme c'est le cas en fusion de préférences par exemple.
■ La définition de la fusion d'informations que nous utiliserons tout Un des premiers efforts notables d'éclaircissement du domaine
au long de cet article est la suivante : traduit un souci de préciser et de codifier la terminologie de la
fusion de données dans une sorte de dictionnaire (« Data Fusion
Lexicon ») [1]. La méthode proposée est dédiée essentiellement à
Définition 1. La fusion d'informations consiste à combiner des applications de défense (telles que la poursuite de cibles, la
des informations hétérogènes issues de plusieurs sources afin reconnaissance et l'identification automatiques de cibles) et est
d'améliorer la prise de décision. focalisée sur les fonctionnalités, en identifiant des processus, des
fonctions et des techniques [67]. Elle insiste sur la description d'une
hiérarchie d'étapes de traitement dans un système. La définition
Cette définition est suffisamment générale pour englober la diver-
que nous utilisons ici s'oppose à celle-ci et choisit un autre point de
sité des problèmes de fusion que l'on rencontre en traitement du
vue, en s'attachant plus à la description des méthodes de combinai-
signal et des images. Son intérêt est qu'elle est focalisée sur les éta-
son et de décision qu'à celle d'un système. Elle est mieux adaptée à
pes de combinaison et de décision, ces deux opérations pouvant
la variété des situations qui peuvent être rencontrées en TDSI. Elle
prendre des formes différentes suivant les problèmes et les applica-
est en ce sens plus générale.
tions.
Pour chaque type de problème et d'application, cette définition Plus spécifiquement en imagerie satellitaire, la fusion de données
pourra être plus spécifique, en répondant à un certain nombre de a été définie comme un cadre formel dans lequel s'expriment les
questions : quel est le but de la fusion ? comment s'exprime la données provenant de sources diverses ; elle vise à l'obtention
décision ? quelles sont les informations à fusionner ? quelles sont d'informations de plus grande qualité ; la définition exacte de « plus
leurs origines ? quelles sont leurs caractéristiques (incertitude, rela- grande qualité » dépendra de l'application. Cette définition englobe
tions entre les informations, génériques ou factuelles, statiques ou la plupart des définitions proposées par plusieurs auteurs en image-
dynamiques, etc.) ? quelle méthodologie choisir ? comment évaluer rie satellitaire, qui sont regroupées dans [122]. La définition 1 va
et valider la méthode et les résultats ? quelles sont les difficultés plus loin que celle-ci, jusqu'à la décision.
principales, les limites ? etc. ■ La fusion peut être comprise dans un sens plus ou moins large.
Situons cette définition par rapport à celles proposées par quel- D'autres concepts tels que l'estimation, la révision, l'association de
ques autres groupes de travail qui ont structuré le domaine de la données, la fouille de données sont parfois considérés comme des pro-
fusion d'informations. blèmes de fusion dans un sens large du terme. Précisons ces concepts.

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
TE 5 230 − 2 © Techniques de l’Ingénieur, traité Télécoms
_________________________________________________________________ FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES

● Fusion et estimation : l'estimation vise à combiner plusieurs comparées selon cette échelle, c'est-à-dire que les échelles indui-
valeurs d'un paramètre ou d'une distribution pour en déduire une sent un ordre sur les populations. Cela se traduit par des propriétés
valeur plausible. On retrouve donc les étapes de combinaison et de de commensurabilité, voire de normalisation.
décision qui sont les deux ingrédients principaux de la définition 1. Le niveau de l'information qui va être fusionnée est également un
D'un autre côté, les méthodes de fusion numériques nécessitent aspect très important. On distingue généralement le bas niveau
souvent une étape préliminaire d'estimation des distributions à (typiquement les mesures originales) d'un niveau plus élevé néces-
combiner (voir paragraphe 1.4), et l'estimation apparaît alors sitant des étapes préliminaires de traitement, d'extraction de primi-
comme une des étapes d'un processus de fusion. tives et de structuration de l'information. Suivant le niveau auquel
● Fusion et révision ou mise à jour : la révision, ou mise à jour, on se place, les contraintes ne sont pas les mêmes, ni les difficultés.
consiste à compléter ou modifier une information en fonction de Cette question se pose tout particulièrement en fusion d'images et
nouveaux apports d'informations. Elle peut être considérée comme sera détaillée dans le paragraphe 2.
un des domaines de la fusion. Parfois, la fusion est considérée dans D'autres distinctions sur les types de données sont également
un sens plus restreint, où la combinaison est symétrique. La révi- intéressantes à souligner, car elles donnent lieu à des modélisations
sion, elle, ne l'est pas, et fait une distinction entre l'information a et à des types de traitements différents. La distinction entre données
priori et les nouvelles informations. Ici, nous considérons entre fréquentes et données rares en fait partie. Les informations peuvent
autres des processus dynamiques (en particulier en robotique), et il également être factuelles ou génériques. Les connaissances généri-
nous semble donc important d'inclure la révision et la mise à jour ques peuvent être par exemple un modèle du phénomène observé,
dans la fusion (par exemple pour des applications à la compréhen- des règles générales, des contraintes d'intégrité. Les informations
sion de l'environnement par un robot). La révision concerne l'ajout factuelles sont plus directement reliées aux observations. Souvent,
d'une nouvelle information permettant de modifier ou préciser ces deux types d'information ont des spécificités différentes. Les
l'information disponible auparavant sur le phénomène observé, informations génériques sont en général moins spécifiques (et font
alors que la mise à jour concerne une modification du phénomène office de « défaut ») que les informations factuelles qui sont directe-
conduisant à modifier l'information sur celui-ci (typiquement dans ment relatives au phénomène particulier observé. Le défaut est
un processus temporel). considéré si l'information spécifique n'est pas présente ou pas assez
● Fusion et association : l'association de données est l'action qui fiable. Dans le cas contraire, et si les informations sont contradictoi-
permet de trouver parmi différents signaux, issus de deux sources res, on préférera les informations les plus spéciques. Enfin, les infor-
ou plus, ceux qui sont émis par le même objet (source ou cible). mations peuvent être statiques ou dynamiques, et là encore leur
Selon Bar-Shalom et Fortman [8], l'association de données est modélisation et leur prise en compte diffèrent dans les deux cas.
l'étape la plus difficile en poursuite de cibles multiples. Elle consiste Les informations manipulées dans un processus de fusion sont
à détecter et associer des mesures bruitées, dont les origines sont d'une part les informations à fusionner, et d'autre part des informa-
incertaines à cause de plusieurs facteurs, tels que les fausses alar- tions supplémentaires qui servent à guider ou à aider la combinai-
mes aléatoires dans la détection, le fouillis, les cibles interférentes, son. Il peut s'agir d'informations sur les informations à combiner
les pièges et autres contre-mesures. Les modèles principaux utilisés telles que des informations sur les sources, sur leur dépendance,
dans ce domaine sont soit déterministes (à partir de tests d'hypo- sur leur fiabilité, des préférences sur les informations à combiner,
thèses classiques), soit probabilistes (essentiellement bayésiens) etc. Il peut s'agir également d'informations contextuelles, sur le
[8][75][104]. La méthode la plus courante [8] repose sur le filtre de domaine. Ces informations supplémentaires ne sont pas forcément
Kalman sous hypothèse gaussienne. Plus récemment, d'autres exprimées dans le même formalisme que les informations à combi-
méthodes d'estimation ont été proposées, comme le modèle d'esti- ner (en général elles ne le sont pas), mais elles peuvent intervenir
mation interactive multiple (Interactive Multiple Model estimator, dans le choix de la modélisation des informations à fusionner.
IMM), qui peut s'adapter à différents types de mouvement, réduire
le bruit, tout en préservant une bonne précision des estimations des ■ Une des caractéristiques importantes de l'information en fusion est
états [127]. Ainsi les problèmes traités par l'association de données son imperfection. Celle-ci est toujours présente (sinon la fusion ne
sont assez différents de ceux couverts par la définition 1. serait pas nécessaire). Elle peut prendre diverses formes, qui sont briè-
vement décrites ci-dessous. Notons que ces notions ne trouvent pas
● Fusion et fouille de données : la fouille de données (Data
toujours de définition consensuelle dans la littérature. Nous en propo-
Mining) consiste à extraire des parties intéressantes de l'informa-
sons ici des définitions qui sont assez intuitives et conviennent bien au
tion et des données, qui peuvent être par exemple des données spé-
problème de la fusion, mais qui ne sont sûrement pas universelles.
ciales (au sens d'une propriété particulière) ou rares. Elle peut être
opposée à la fusion visant à expliquer, où des tendances générales ● Incertitude : l'incertitude est relative à la vérité d'une informa-
sont recherchées, ou à la fusion visant à généraliser et à induire des tion, et caractérise son degré de conformité à la réalité [53]. Elle fait
connaissances plus génériques à partir de données. Ici, nous écarte- référence à la nature de l'objet ou du fait concerné, à sa qualité, à
rons la fouille de données des problèmes de fusion. son essence ou à son occurrence.
● Imprécision : l'imprécision concerne le contenu de l'informa-
tion et mesure donc un défaut quantitatif de connaissance, sur une
mesure [53]. Elle concerne le manque d'exactitude en quantité, en
1.2 Caractéristiques générales taille, en durée, le manque de définition d'une proposition qui est
des données ouverte à diverses interprétations ou qui a des frontières vagues et
mal définies. Cette notion est souvent abusivement confondue avec
celle d'incertitude, car les deux types d'imperfection sont souvent
Dans cette partie, nous décrivons succinctement les caractéris- présents simultanément, et l'un peut induire l'autre. Il est important
tiques générales des informations à fusionner, qui doivent souvent de les distinguer car ils sont souvent antagonistes, même si ces
être prises en compte dans un processus de fusion. deux termes peuvent être inclus dans une acception plus large de
■ Une première caractéristique concerne le type d'information à l'incertitude. Inversement, des typologies en un plus grand nombre
fusionner. Il peut s'agir d'observations directes, de résultats de trai- de classes ont été proposées [70].
tements sur ces observations, de connaissances plus génériques, ● Incomplétude : l'incomplétude caractérise l'absence d'informa-
exprimées sous forme de règles par exemple, ou d'avis d'experts. tion apportée par la source sur certains aspects du problème.
Ces informations peuvent être exprimées sous forme numérique ou L'incomplétude des informations issues de chaque source est la rai-
sous forme symbolique (voir paragraphe 1.3). Une attention particu- son principale qui motive la fusion. L'information fournie par cha-
lière doit être portée à l'échelle utilisée pour représenter les infor- que source est en général partielle, elle ne fournit qu'une vision du
mations. Cette échelle n'a pas forcément de signification absolue, monde ou du phénomène observé, en n'en mettant en évidence que
mais le minimum à garantir est que les informations puissent être certaines caractéristiques.

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
© Techniques de l’Ingénieur, traité Télécoms TE 5 230 − 3
FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES __________________________________________________________________

● Ambiguïté : l'ambiguïté exprime la capacité d'une information fusionner, ou à la connaissance du domaine (par exemple, des pro-
de conduire à deux interprétations. Elle peut provenir des imperfec- positions sur les propriétés du domaine concerné, une information
tions précédentes, par exemple de l'imprécision d'une mesure qui structurelle, des règles générales sur le phénomène observé, etc.).
ne permet pas de différencier deux situations, ou de l'incomplétude • La classification des informations et des données en numériques
qui induit des confusions possibles entre des objets ou des situa- et symboliques ne peut pas toujours être faite de manière binaire. En
tions qui ne peuvent être séparés selon les caractéristiques mises en effet, les informations peuvent être également hybrides, et des nom-
évidence par la source. Un des objectifs de la fusion est de lever les bres peuvent représenter des codages d'informations de nature non
ambiguïtés d'une source grâce aux informations apportées par les numérique. C'est typiquement le cas de l'évaluation d'une donnée
autres sources ou par les connaissances supplémentaires. ou d'un traitement, de la quantification de l'imprécision ou de
● Conflit : le conflit caractérise deux ou plusieurs informations l'incertitude. Dans de tels cas, les valeurs absolues des nombres
conduisant à des interprétations contradictoires et donc incompati- sont souvent peu importantes, et c'est surtout leur place dans une
bles. Les situations conflictuelles sont fréquentes dans les problèmes échelle, ou leur ordre si plusieurs grandeurs sont évaluées, qui joue
de fusion, et posent toujours des problèmes difficiles à résoudre. un rôle prépondérant. Le terme « hybride » désigne alors des nom-
Tout d'abord, la détection des conflits n'est pas forcément facile. Ils bres utilisés comme des symboles pour représenter une informa-
peuvent facilement être confondus avec d'autres types d'imperfec- tion, mais avec une quantification, qui permet ensuite de les
tion, ou même avec la complémentarité des sources. Ensuite, leur manipuler de manière numérique. Ces nombres peuvent être utili-
identification et leur typologie est une question qui se pose souvent, sés pour des informations symboliques aussi bien que numériques.
mais de manière différente suivant le domaine. Enfin, leur résolution
peut prendre différentes formes. Elle peut reposer sur l'élimination
de sources non fiables, sur la prise en compte d'informations supplé- 1.3.2 Traitements de l’information
mentaires, etc. Dans certains cas, il peut être préférable de retarder la
combinaison et d'attendre d'autres informations susceptibles de
• En ce qui concerne le traitement de l'information, on appelle trai-
lever les conflits, ou même de ne pas fusionner du tout.
tement numérique tout calcul sur des nombres. En fusion d'informa-
■ D'autres caractéristiques de l'information sont plus positives, et tions, cela couvre toutes les approches qui combinent des nombres
sont exploitées pour limiter les imperfections : par un calcul formel. Il est important de remarquer que ce type de
● Redondance : la redondance est la qualité de sources qui appor- traitement ne fait pas forcément d'hypothèse sur le type d'informa-
tent plusieurs fois la même information. La redondance entre les tion qui est représentée par des nombres. À l'origine, les informa-
sources est souvent observée, dans la mesure où les sources donnent tions peuvent être de nature aussi bien numérique que symbolique.
des informations sur le même phénomène. Idéalement, la redon- • Les traitements symboliques incluent le calcul formel sur des
dance est exploitée pour réduire les incertitudes et les imprécisions. propositions (par exemple des approches de type logique ou les
● Complémentarité : la complémentarité est la propriété des grammaires, sur lesquelles on peut trouver plus de détails dans
sources qui apportent des informations sur des grandeurs différen- [26]), prenant éventuellement en compte des connaissances numé-
tes. Elle vient du fait qu'elles ne donnent en général pas d'informa- riques. Les approches structurelles, telles que des approches à base
tions sur les mêmes caractéristiques du phénomène observé. Elle de graphes, qui sont largement utilisées en reconnaissance des for-
est exploitée directement dans le processus de fusion pour avoir mes structurelles (en particulier pour la fusion), peuvent être mises
une information globale plus complète et pour lever les ambiguïtés. dans cette classe.
Les outils probabilistes permettant de modéliser et de mesurer • Nous appelons traitement hybride les méthodes où la connais-
l'information, la redondance et la complémentarité seront décrits sance a priori est utilisée d'une manière symbolique pour contrôler
dans le paragraphe 3.1. des traitements numériques, par exemple en déclarant des règles
propositionnelles qui suggèrent, permettent ou au contraire interdi-
sent certaines opérations numériques. Typiquement, une proposition
qui définit dans quels cas deux sources sont indépendantes peut être
1.3 Fusion numérique/fusion symbolique utilisée pour choisir la manière dont des probabilités sont combinées.

De nombreuses discussions ont eu lieu dans la communauté de la 1.3.3 Représentations

fusion sur la dualité entre fusion numérique et fusion symbolique.
L'objectif de ce paragraphe n'est pas de retracer en détail ces dis-
cussions mais plutôt de présenter les différents niveaux auxquels • Ainsi que le montrent les deux paragraphes précédents, les
cette question peut être posée. Par une judicieuse description de ces représentations et leurs types peuvent jouer des rôles très diffé-
niveaux, il est souvent possible de réduire ces débats. Les trois rents. Des représentations numériques peuvent être utilisées pour
niveaux que nous distinguons ici sont ceux du type de données, du des données intrinsèquement numériques mais aussi pour l'évalua-
type de traitement appliqué aux données et du rôle des représenta- tion et la quantification de données symboliques. Les représenta-
tions. Ils sont détaillés dans les paragraphes suivants. tions numériques en fusion d'informations sont utilisées de manière
importante pour quantifier l'imprécision, l'incertitude ou la fiabilité
de l'information (cette information peut être de nature numérique
1.3.1 Données et informations aussi bien que symbolique), et donc pour représenter plutôt de
l'information sur les données à combiner que ces données elles-
mêmes. Ces représentations seront plus détaillées dans les parties
• Par information numérique, nous entendons une information sur les méthodes numériques de fusion. Les représentations numé-
qui est directement donnée sous forme de nombre. Ces nombres riques sont aussi souvent utilisées pour des degrés de croyance
peuvent représenter des mesures physiques, des niveaux de gris attachés à des connaissances numériques ou symboliques, et pour
dans une image, une intensité de signal, la distance donnée par un des degrés de cohérence ou d'incohérence (ou de conflit) entre les
télémètre, ou encore la réponse à un opérateur numérique de traite- informations (le cas le plus typique est peut-être celui de la fusion de
ment. Ils peuvent être soit directement lus dans les données à bases de données ou de réglementations). Notons que le même for-
fusionner, soit attachés au domaine ou à la connaissance contex- malisme numérique peut être utilisé pour représenter différents
tuelle. types de données ou de connaissances [15] : l'exemple le plus évi-
• Par information symbolique, nous entendons toute information dent est celui de l'utilisation des probabilités pour représenter des
qui est donnée sous forme de symboles, de propositions, de règles, données aussi différentes que des fréquences ou des degrés de
etc. De telles informations peuvent être attachées aux données à croyance subjectifs [40].

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
TE 5 230 − 4 © Techniques de l’Ingénieur, traité Télécoms
_________________________________________________________________ FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES

• Les représentations symboliques peuvent être utilisées dans ces ne sont pas disponibles simultanément. Il permet des réponses
des systèmes logiques, ou des systèmes à base de règles, mais rapides, grâce à des procédures spécifiques à chaque source, et
aussi en tant que connaissance a priori ou connaissance contex- peut être très facilement adapté à l'introduction de sources supplé-
tuelle ou générique pour guider un traitement numérique, en tant mentaires. Ce type de modèle s'appuie avec profit sur des techni-
que support structurel par exemple en fusion d'images, et bien sûr ques de contrôle adaptatif, et utilise souvent des architectures
en tant que sémantique attachée aux objets manipulés. distribuées. Il est aussi appelé fusion de décisions [42][115]. Son
• Dans de nombreux exemples, une forte dualité peut être obser- principal inconvénient provient de ce qu'il tient mal compte des
vée entre les rôles des représentations numériques et symboliques, relations entre capteurs et des corrélations ou dépendances possi-
et peut être exploitée dans le cas de fusion de sources hétérogènes. bles entre sources. De plus, ce modèle conduit très facilement à des
décisions locales contradictoires ( d ( j ) ≠ d ( k ) pour j ≠ k ) et la résolu-
tion de ces conflits implique des arbitrages de niveau supérieur, dif-
ficiles à optimiser, puisque l'information de départ n'est plus
disponible. Des modèles de ce type sont souvent mis en œuvre dans
1.4 Systèmes de fusion des applications en temps réel, par exemple dans le domaine mili-
et types d’architecture taire.
● Un troisième modèle, « orthogonal » au précédent, consiste à
j
combiner par une opération F tous les M i relatifs à la même déci-
sion d i , pour obtenir une forme fusionnée M i = F ( M i1, M i2, …, M i ) .
En général, la fusion n'est pas une tâche simple. Elle peut se Puis une décision est prise sur le résultat de cette combinaison. Ici,
décomposer de manière schématique en plusieurs tâches. Nous les aucune décision intermédiaire n'est prise, et l'information est mani-
décrivons succinctement ici, car elles serviront de guide à la descrip- pulée dans le formalisme choisi jusqu'à la dernière étape, diminuant
tion des outils théoriques dans les paragraphes 3 à 6. Considérons ainsi les contradictions et les conflits. Ce modèle, comme le modèle
un problème général de fusion pour lequel on dispose de  sources global, est un modèle centralisé qui nécessite de disposer simulta-
S1, S2, …, S (par exemple des images Ij), et pour lequel le but est de nément de toutes les sources. Plus simple que le modèle global, il
prendre une décision dans un ensemble de n décisions possibles est moins souple que le modèle distribué, rendant plus difficile
d1, d2, …, dn . l'ajout éventuel de sources d'informations.
■ Les principales étapes à résoudre pour construire le processus de ● Enfin, un modèle intermédiaire, hybride, consiste à choisir de
fusion sont les suivantes : manière adaptative les informations nécessaires pour un problème
donné en fonction des spécificités des sources. Ce type de modèle
copie souvent l'expert humain et fait intervenir des connaissances
1. Modélisation : cette étape comporte le choix d'un forma- symboliques sur les sources et sur les objets. Il est donc très utilisé
lisme, et des expressions des informations à fusionner dans ce dans les systèmes à base de règles. Des architectures de type multi-
formalisme. Cette modélisation peut être guidée par les infor- agents sont bien adaptées à ce modèle.
mations supplémentaires (sur les informations et sur le contexte
ou le domaine). Supposons pour fixer les idées que chaque
j
source S j fournisse une information représentée par M i sur la
j
décision d i . La forme de M i dépend bien sûr du formalisme
choisi. Elle peut être par exemple une distribution dans un 1.5 Fusion en TDSI et fusion
formalisme numérique, ou une formule dans un formalisme dans d’autres domaines
logique.
2. Estimation : la plupart des modélisations nécessitent une
phase d'estimation (par exemple toutes les méthodes utilisant
des distributions). Là encore les informations supplémentaires La fusion en TDSI a des spécificités qui doivent être prises en
peuvent intervenir. compte à toutes les étapes de la construction d’un processus de
3. Combinaison : cette étape concerne le choix d'un opérateur, fusion. Ces spécificités nécessitent également de modifier et de
compatible avec le formalisme de modélisation retenu, et guidé complexifier certains outils théoriques, souvent issus d’autres
par les informations supplémentaires. domaines. C’est typiquement le cas de l’information spatiale en
4. Décision : c'est l'étape ultime de la fusion, qui permet de fusion d’images ou en robotique. Ces spécificités seront détaillées
passer des informations fournies par les sources au choix d'une pour le cas de la fusion en image dans le paragraphe 2.
décision d i .
La quantité des données à traiter et leur hétérogénéité sont sou-
vent plus importantes que dans d’autres domaines (problèmes de
Nous ne donnons pas plus de détails sur ces étapes ici, car cela combinaison d’opinions d’experts par exemple). Cela induit un
nécessiterait d'entrer dans les formalismes et les aspects techni- niveau de complexité supplémentaire, à prendre en compte non
ques. Cela fait l'objet des paragraphes 3, 4 et 5. seulement dans la modélisation, mais aussi dans les algorithmes.
■ La manière dont ces étapes sont agencées définit le système de Les données sont surtout objectives (données par des capteurs),
fusion et son architecture. ce qui les oppose aux données subjectives telles qu’elles peuvent
● Dans le cas idéal la décision est prise à partir de tous les M i ,
j être données par des individus. Elles contiennent cependant une
pour toutes les sources et toutes les décisions. C'est ce qu'on certaine part de subjectivité (par exemple dans le choix des capteurs
appelle la fusion globale. Dans ce modèle global, aucune informa- ou des sources d’informations, ou encore des paramètres d’acquisi-
tion n'est négligée. La complexité de ce modèle et de sa mise en tion). La subjectivité peut également intervenir dans l’expression
œuvre a conduit à développer des systèmes simplifiés, mais aux des buts. Les données objectives sont en général dégradées, soit à
performances plus limitées [27]. cause de l’imperfection des systèmes d’acquisition, soit à cause des
traitements qui leur sont appliqués.
● Un deuxième modèle consiste ainsi à prendre d'abord des déci-
sions locales au niveau de chaque source séparément. Dans ce cas, En fait, une des difficultés principales vient du fait que les types de
une décision d ( j ) est prise à partir de toutes les informations issues connaissances manipulées sont très hétérogènes. Il ne s’agit donc
de la source S j seulement. Cette décision est dite décentralisée. pas que de mesures et d’observations (qui elles-mêmes peuvent
Puis, dans une deuxième étape, ces décisions locales sont fusion- être hétérogènes), mais aussi de cas généraux, d’exemple typiques,
nées en une décision globale. Ce modèle s'impose lorsque les sour- de modèles génériques, etc.

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
© Techniques de l’Ingénieur, traité Télécoms TE 5 230 − 5
FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES __________________________________________________________________

Les différences principales par rapport à d’autres domaines Exemples

d’application de la fusion d’informations viennent tout d’abord du • L'observation de la Terre par satellites croît selon deux tendan-
fait que la question essentielle qui est posée (donc le but de la fusion) ces : la première nous donne des images dont la résolution est de plus
n’est pas la même. En TDSI, il s’agit essentiellement, selon la défini- en plus fine et la cadence de plus en plus élevée ; la seconde propose
tion 1, d’améliorer la connaissance du monde (tel qu’il est). Cela sup- des signaux de plus en plus variés : à la profusion des canaux visibles
pose la notion d’existence d’une vérité, même si l’on n’en a qu’une spectrométriques répond la variété des bandes radar (L, C, X, P avec
vision partielle et déformée, ou difficile d’accès. Cela diffère de la leurs diverses polarisations) et des bandes infrarouges. S'ajoutent, lors
fusion de préférences (comment on veut que le monde soit), de la de l'exploitation de ces données, les informations collectées au sol et
fusion de réglementations (comment le monde devrait être), de pro- disponibles à travers les systèmes d'information géographique (cartes,
blèmes de vote, où typiquement la vérité n’existe pas, etc. [26]. cadastres, plans d'occupation des sols, relevés géologiques ou agrono-
miques, modèles altimétriques, etc.). Les décisions du photo-inter-
prète relèvent de l'ensemble de ces sources. Son expertise, acquise
par de longues études relayées par de multiples expériences, permet
2. Spécificités d'associer de façon très efficace l'indice détecté dans une image et sa
confirmation dans une seconde s'il sait « lire » cette seconde et
de la fusion d’informations « rapprocher » les deux événements. La prolifération des images rend
ces deux tâches de plus en plus difficiles par la création d'une combi-
en traitement des images natoire galopante, et par l'impossibilité d'acquérir une expertise réelle
dans toutes les modalités disponibles.
• Une situation assez semblable apparaît en imagerie médicale.
Nous décrivons ici les spécificités de la fusion en traitement Les techniques d'imagerie se diversifient : rayons X, résonance
d'images. Les définitions générales proposées dans le paragraphe 1 magnétique, imagerie nucléaire, imagerie ultrasonore, chacune pou-
sont précisées et illustrées dans ce cadre particulier. Nous insiste- vant se décliner selon des modalités diverses en fonction des protoco-
rons sur la spécificité des images et de leur représentation par rap- les d'acquisition. Selon une pratique ancienne, le milieu médical confie
port aux problèmes de fusion, ce qui les distingue de la plupart des chaque type d'image à un expert qui porte un diagnostic partiel sur la
autres domaines d'application de la fusion. modalité de sa spécialité, puis les spécialistes échangent leurs expé-
Nota : pour un panorama des différents domaines, on pourra se référer à [119], étude riences et de cette confrontation naît le diagnostic final. Le souci de
bibliographique présentée sous forme d'analyse statistique, qui présente les développe- regrouper toutes les sources d'images sur une même console conduit
ments effectués de 1997 à 1999 selon le domaine d'application, les objectifs de la fusion, à l'introduction progressive des systèmes d'archivage et de consul-
l'architecture des systèmes et le cadre mathématique.
tation intégrés à l'hôpital (les PACS des anglo-saxons [Picture Archiving
and Communication Systems : systèmes d’archivage et d’échange
d’images]). Mais sans les outils d'aide à la décision associés à ces sys-
2.1 Objectifs de la fusion en traitement tèmes, ces autoroutes informatiques et ces bases de données spécia-
des images lisées demeurent encore d'une pratique modeste, tant l'exploitation de
nombreuses images variées est une tâche difficile pour un seul expert.
■ Les premières applications dans lesquelles sont apparues des
images dans les systèmes de fusion concernent des modèles fonc- Nous voyons sur ces deux exemples les raisons profondes de
tionnels, hérités de ceux développés pour la fusion de mesures en la nécessité de la fusion de données : apporter des outils d'aide
contrôle de processus, pour expliquer ou prédire des systèmes plus à la décision capables d'intégrer, au fur et à mesure de leur mise
complexes, tels que des configurations météréologiques ou des au point, des modes d'imagerie nouveaux, en préparant et en
systèmes écologiques. Ces modèles, souvent d'une très grande raccourcissant l'étape d'élaboration de l'expertise humaine,
complexité, relient des contributions très différentes telles que des gérer une profusion grandissante d'images sans sacrifier les
observations à échelle microscopique (évapo-transpiration par apports potentiels d'une combinatoire complexe, c'est-à-dire
exemple) ou macroscopique (variations saisonnières par exemple). extraire de chaque image toute l'information qu'elle peut appor-
La fusion des informations est alors effectuée essentiellement au ter au-delà même de ce que les experts humains savent
niveau des modèles physiques. Certaines des mesures impliquées aujourd'hui en tirer.
peuvent être des images (par exemple une image radar pour esti-
mer les zones d'eau). ■ Dans ce contexte, qu'appelle-t-on plus précisément la décision en
fusion d'images, et quelles formes peut-elle prendre ? Tout d'abord,
Puis les images ont pris une place de plus en plus importante
précisons que nous excluons ici tout ce qui concerne le recalage, la
dans des problèmes de fusion en vision robotique, pour le guidage
composition colorée d'images multisources, la visualisation, et les cas
des véhicules, ou pour la surveillance. Le but est alors de fournir une
simples où il existe une métrique sur l'espace des données multisour-
description précise de l'espace en termes de géométrie et de mou-
vement, pour garantir un suivi 3D parfait de tout objet entrant dans ces, même si ces problèmes sont importants, et souvent indispen-
le champ de vision d'un capteur, et prédire sa trajectoire. La théorie sables en tant qu'étape préliminaire à la fusion (comme le recalage
du contrôle reste encore à la base de ces systèmes, et le traitement dans certains cas). L'objectif du recalage est de superposer exacte-
des images n'est pas la composante essentielle. ment les pixels correspondant à un même objet observé dans les
diverses modalités. Cette étape peut être facilitée s'il existe un référen-
La fusion réelle d'images est apparue plus tard, depuis une tiel absolu reconnu pour décrire la scène. Les techniques de recalage
dizaine d'années. Ses objectifs principaux sont d'utiliser plusieurs sont nombreuses et utilisent des principes variés (on pourra consulter
images de la même scène, obtenues par des capteurs différents, [79] et [83] pour une synthèse des méthodes en imagerie aérienne et
pour fournir une description et une compréhension complètes de la satellitaire et en imagerie médicale respectivement). Elles sont bien
scène, pas seulement en termes de position et de géométrie, mais maîtrisées dans de nombreux cas, mais il demeure des domaines
surtout en termes de sémantique et d'interprétation. reconnus où le recalage automatique est peu fiable. C'est le cas lors-
La fusion d'images n'est pas un avatar des modes qui secouent le que les capteurs sont très hétérogènes et que les déformations géo-
traitement de l'information depuis vingt ans, c'est la réponse natu- métriques qui affectent les images sont complexes. Si le recalage
relle des utilisateurs à la profusion des images produites par les sys- géométrique des images est universellement pratiqué aujourd'hui
tèmes contemporains d'investigation, que ce soit en imagerie avant toute étape de fusion, il n'est pas clair que ce soit une étape
aérienne et satellitaire ou en génie biologique et médical [27]. Pre- nécessaire ni même souhaitable. En fait, l'utilisateur n'a jamais besoin
nons deux exemples (il en existe bien sûr de similaires dans que de connaître l'application d'une image dans l'autre ; mettre en
d'autres applications). œuvre cette application au moyen d'un rééchantillonnage et de

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
TE 5 230 − 6 © Techniques de l’Ingénieur, traité Télécoms
_________________________________________________________________ FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES

filtrage dégrade généralement les signaux sans autre bénéfice que Parmi ces types de décision, certains se retrouvent dans d'autres
d'autoriser un contrôle visuel de la superposition des images. Si domaines. Par exemple les tests d'hypothèses se retrouvent en
l'étape de recalage semble donc généralement échapper à la fusion fusion en traitement du signal, la mise à jour des connaissances et
d'images (puisqu'il peut être fait auparavant de façon totalement indé- la détection en robotique, etc.
pendante), il demeure des circonstances où ce recalage doit être
conçu dans la phase de fusion, c'est en particulier le cas du recalage Parmi ces différents problèmes de décision, certains sont proches
symbolique où l'on associe à une image des descriptions de haut de la combinaison d'experts. En effet, chaque image peut être
niveau des objets qui la composent : une ville dans l'association considérée comme un expert donnant son opinion selon ses com-
carte – image satellitaire, ou une aire fonctionnelle du cerveau dans pétences. Mais en général l'information dans les problèmes de
l'association atlas – image de résonance magnétique. Dans cette fusion d'experts est plus éparse qu'en image. L'apprentissage est
situation, on ne conçoit pas aujourd'hui de mise en correspondance donc plus difficile car les données sont moins nombreuses, mais en
pixel par pixel, mais une association entre représentations de niveau revanche l'utilisateur a souvent moins de contraintes sur les coûts
élevé qui passe alors par les étapes de modélisation, puis de décision algorithmiques des méthodes. En image, la quantité des données à
qui sont les composants de la fusion. Dans la suite, nous supposerons fusionner est à la fois un avantage pour l'apprentissage et un in-
que le recalage a été mené à son terme. convénient pour les charges de calcul.
Citons les exemples de décision les plus typiques en fusion d'images : Par rapport aux problèmes de fusion portant sur l'agrégation et
● Test ou évaluation d'une hypothèse : il peut s'agir par exemple l'optimisation multicritère, une différence essentielle est que ces
de la présence ou non d'un objet donné dans une image (par exem- problèmes cherchent une solution qui satisfasse au mieux un
ple un véhicule sur une route, une sténose dans un vaisseau). Ces ensemble de contraintes plus ou moins souples. Au contraire, les
objectifs de détection sont parfois combinés avec le suivi des objets images procurent (de manière plus ou moins explicite) un degré de
détectés, et on se rapproche alors des problèmes de suivi traités en satisfaction (de l'appartenance à une classe par exemple, qui peut
signal et en robotique. alors être considérée comme un critère) et la décision consiste plu-
tôt à choisir la meilleure (meilleure classe par exemple).
● Classification : la classification multisources est certainement
l'application la plus courante en fusion d'images, que ce soit en ima-
gerie aérienne et satellitaire ou en imagerie médicale. La décision
consiste à attribuer à une classe chaque élément sur lequel on rai- 2.2 Les situations de fusion
sonne, qu'il s'agisse du pixel au niveau le plus bas, de régions ou
d'objets à des niveaux plus élevés, en fonction des informations
fournies par toutes les sources sur cet élément. Selon les applications, les problèmes de fusion peuvent se pro-
duire dans des situations différentes, dans lesquelles les types
● Segmentation : il s'agit là d'un objectif plus focalisé que la clas- d'informations ne sont pas les mêmes. Les principales situations de
sification, en cherchant à extraire le plus précisément possible des fusion en traitement d'images sont les suivantes.
objets déterminés. Il peut s'agir par exemple de la détermination du
réseau routier, en fusionnant le tracé précis fourni par une image ● Plusieurs images du même capteur : il s'agit par exemple de
aérienne, et la structure topologique du réseau et sa géométrie plusieurs canaux du même satellite, d'images multiéchos en IRM,
approximative fournies par une carte. ou encore de séquences d'images pour des scènes en mouvement.
Les données sont alors relativement homogènes car elles corres-
● Reconnaissance d'objets : par exemple la reconnaissance d'une
pondent à des mesures physiques similaires.
zone d'activation fonctionnelle en imagerie cérébrale peut être obte-
nue par fusion d'images fonctionnelles (TEP ou IRM fonctionnelle) ● Plusieurs images de capteurs différents : c'est le cas le plus fré-
et d'images anatomiques (IRM) permettant de restreindre la zone de quent, où les principes physiques différents des capteurs permet-
recherche au cortex par exemple. Cette focalisation permet d'une tent d'avoir des points de vue complémentaires sur la scène. Il peut
part de guider la reconnaissance, et d'autre part de préciser la loca- s'agir d'images ERS et SPOT, d'images IRM et ultrasonores, etc.
lisation anatomique de la zone activée. Le résultat de la reconnais- L'hétérogénéité est alors beaucoup plus importante, les différents
sance contient alors à la fois une composante fonctionnelle et une capteurs ne parlant pas du même aspect du phénomène. Les ima-
composante anatomique. ges donnent chacune une vision partielle et ne sont pas informati-
TEP : tomographie par émission de positons ; IRM : imagerie par résonance magnétique ves sur les caractéristiques auxquelles elles ne sont pas dédiées (par
● Interprétation de scène : ce type d'objectif regroupe les précé- exemple une IRM anatomique ne donne pas d'information fonction-
dents en cherchant non seulement à classifier, segmenter et recon- nelle, et une image TEP a une résolution trop limitée pour que l'ana-
naître les différentes structures présentes dans la scène, mais aussi tomie y soit vue de manière suffisamment précise).
leurs relations, interactions, permettant d'avoir une vision de la ERS : European Remote Sensing Satellite ; SPOT : satellite pour l’observation de la Terre
structure globale de la scène.
● Plusieurs informations extraites d'une même image : il s'agit de
● Reconstruction 3D : il peut s'agir par exemple de la fusion de situations dans lesquelles on extrait divers types d'informations d'une
modalités complémentaires telles que l'échographie endovascu- image à l'aide de plusieurs détecteurs, opérateurs, classifieurs, etc.,
laire et les angiographies X pour reconstruire la géométrie et la mor- qui s'appuient sur des caractéristiques différentes des données, cher-
phologie 3D de segments vasculaires, ou encore de la fusion de chent à extraire des objets différents, rendant ainsi les informations à
données laser et d'images stéréoscopiques pour la reconstruction fusionner souvent très hétérogènes. Les informations extraites peu-
3D d'une ville ou de bâtiments. vent concerner le même objet (fusion de détecteurs de contours par
● Détection de changements : ce type de décision concerne typi- exemple) ou des objets différents et on cherche alors une interpréta-
quement les images acquises à des dates différentes, qu'il s'agisse tion globale de la scène et une cohérence entre les objets. Elles peu-
d'une carte et d'une image, ou d'images multidates pour le suivi des vent être de niveaux différents (très locales ou plus structurelles
cultures ou le suivi d'une pathologie. Il peut s'agir également de quand on s'intéresse aux relations spatiales entre objets).
séquences d'images multisources (de cadence plus élevée que les ● Images et autre source d'information : par autre source d'infor-
images multidates). mation, on entend par exemple un modèle, qui peut être soit parti-
● Mise à jour de la connaissance sur un phénomène ou une scène : culier comme une carte, soit générique comme un atlas
contrairement au cas précédent, ici la décision consiste à utiliser les anatomique, des bases de connaissances, des règles, des informa-
informations provenant de différentes sources (éventuellement multi- tions issues d'experts, etc. Les informations sont à nouveau de
dates) pour modifier ou compléter une connaissance précédente, par types très différents, à la fois dans leur nature, et dans leur représen-
exemple compléter un réseau routier avec les nouveaux ronds-points tation initiale (images quand il s'agit d'une carte ou d'un atlas numé-
pour mettre à jour une carte. risé, mais aussi descriptions linguistiques, bases de données, etc.).

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
© Techniques de l’Ingénieur, traité Télécoms TE 5 230 − 7
FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES __________________________________________________________________

2.3 Caractéristiques des données Exemples

en fusion d’images • La transition douce entre tissus sains et pathologiques est une
imprécision due au phénomène physiologique. De la même façon, des
caractéristiques similaires entre deux tissus différents se retrouvent sur
Les spécificités de la fusion en traitement d'images ne permettent les images mesurant ce type de caractéristique et se traduisent par une
que difficilement d'exploiter les progrès réalisés dans d'autres incertitude sur l'appartenance d'un point particulier à un tissu ou à
domaines de la fusion d'informations. l'autre, cette incertitude étant due à la fois au phénomène et au capteur.
■ Une des raisons est la complexité des données et des connaissan- • La délocalisation de l'information spatiale, due au regroupement en
ces, qui rendent impossible la recherche d'un système global pour un même pixel de l'information contenue dans tout un volume, est due
regrouper en une relation unique toutes les composantes de l'image. au capteur et à sa résolution, et constitue une imprécision sur la loca-
lisation de l'information sur l'image (effet de volume partiel).
La complexité vient d'une part du volume d'informations à traiter
(par exemple, une seule image IRM du cerveau occupe un volume • Les phénomèmes de Gibbs au niveau des transitions nettes, qui
de 8 à 16 megaoctets). Ces gros volumes de donnés, sur lesquels apparaissent en IRM ou en imagerie radar par exemple, sont des sour-
des apprentissages statistiques sont souvent possibles, sont une ces d'imprécisions dues aux algorithmes de reconstruction numéri-
des raisons qui expliquent la large utilisation de méthodes probabi- que des images.
listes et statistiques en fusion d'images. • La représentation d'informations (symboliques) sous forme sché-
La complexité vient d'autre part de la forte hétérogénéité des matique (par des cartes ou des atlas) est source à la fois d'imprécision
informations à combiner, qu'il s'agisse d'images issues de capteurs et d'incertitude.
différents, d'images et de modèles, ou de caractéristiques différen- Imprécisions et incertitudes sont ensuite renforcées dans les pri-
tes extraites d'une ou plusieurs images. Cette hétérogénéité est pré- mitives extraites des images et sur lesquelles s'appuie la fusion.
sente à la fois dans la nature des informations et dans leur L'exemple le plus familier est celui de la détection de contours par
représentation. Les données peuvent être fréquentes, par exemple des filtrages gaussiens à différentes échelles : en augmentant
lorsqu'il s'agit des cas typiques rencontrés dans une application l'écart-type de la gaussienne, on gagne en certitude sur la présence
donnée, pour lesquels il est possible d'avoir des données statisti- de contours mais on perd en précision sur leur localisation. Cet
ques par exemple. Elles peuvent aussi être rares (par exemple des antagonisme entre précision et certitude a bien été identifié comme
images pathologiques) et dans ce cas il est beaucoup plus difficile un trait caractéristique de la démarche en reconnaissance des
de les modéliser de manière statistique. La combinaison des deux formes [110]. De cet antagonisme naissent souvent des contradic-
types de données est fréquemment rencontrée en traitement d'ima- tions en fusion d'images puisque l'on dispose de plusieurs mesures
ges. De plus, elles peuvent être soit factuelles (typiquement, une sur un même événement : si ces données sont précises, alors elles
photographie d'une scène à un instant donné) ou génériques sont probablement incertaines, et elles risquent donc d'être en
(modèle, règles, connaissances générales sur l'application). Combi- contradiction les unes avec les autres ; si l'on renforce leur certitude,
ner des informations de spécificités différentes pose souvent des cela se fait souvent au prix de plus d'imprécision, rendant les don-
problèmes de conflit à résoudre. En traitement d'images, ce n'est nées peu informatives si cette imprécision devient trop importante.
pas une tâche facile, car l'information factuelle n'est pas toujours Il conviendra donc qu'un système de décision en fusion gère expli-
suffisamment sûre et précise pour qu'on puisse systématiquement citement incertitude et imprécision pour éviter les incohérences.
lui donner la priorité sur des informations moins spécifiques et plus L'imprécision n'est pas une caractéristique propre aux données,
génériques qui peuvent admettre des exceptions. mais elle peut également être attachée aux objectifs et aux buts, en
La combinaison des informations est souvent guidée ou particulier lorsqu'ils sont exprimés sous forme linguistique vague.
contrainte par des informations supplémentaires (sur l'information ■ Enfin, le caractère spatial de l'information, spécifique au traite-
à combiner, sur le contexte et le domaine d'application). C'est aussi ment d'images, mérite une attention particulière. Son introduction
une source de forte hétérogénéité. Parmi les exemples d'informa- dans les méthodes de fusion, souvent inspirées d'autres domaines
tions supplémentaires sur l'information, on peut citer la fiabilité dans lesquels ne figure pas ce caractère spatial, n'est pas immédiate
d'une source, soit globale, soit conditionnelle aux objets observés. mais pourtant nécessaire afin de garantir la cohérence spatiale des
Ce cas est très souvent rencontré en classification d'images multi- résulats. L'imprécision est également présente à ce niveau. À bas
sources, où une image peut être fiable pour une classe mais pas niveau, il s'agit de problèmes de recalage, ou de volume partiel par
pour une autre. Donnons maintenant quelques exemples d'informa- exemple. À plus haut niveau, il s'agit par exemple de relations entre
tions supplémentaires sur le domaine et le contexte : objets qui peuvent être intrinséquement vagues et mal définies
— les fleuves sont sombres dans le canal XS3 de SPOT (informa- (relations du type « à gauche de » par exemple).
tion liant le type d'acquisition à une observation) ;
— le LCR (liquide céphalorachidien) est sombre dans les images ■ Comme dans les autres applications de la fusion, la redondance
IRM en T1 ; et la complémentarité entre les images à fusionner sont des atouts
— les routes se croisent pour former des carrefours (contrainte pour réduire les imperfections telles que l'incertitude et l'impréci-
d'intégrité). sion, pour lever des ambiguïtés, pour compléter l'information, pour
résoudre des conflits.
Ces informations génériques sont utilisées pour guider le proces-
sus de fusion. Le dernier exemple est un cas typique de règle avec Voici quelques exemples de complémentarité en fusion d'images.
exception. La règle donne le cas le plus général, mais elle n'est plus • Sur l'information elle-même : parties cachées qui peuvent être
vraie dans le cas d'impasses par exemple. différentes dans des images de profondeur ou des images aériennes.
La fusion active est un des moyens pour réduire la complexité en • Sur le type d'information : information anatomique ou information
choisissant à chaque instant les meilleures informations à fusion- fonctionnelle pour le même sujet dans des modalités d'imagerie différentes.
ner. Ce choix peut être effectué en fonction d'un résultat partiel de • Sur la qualité de l'information : deux images de même type mais
fusion obtenu dans une étape antérieure, de mesures d'informa- avec des paramètres d'acquisition différents qui peuvent donner des
tions, d'informations externes susceptibles de guider la fusion, de informations de qualités différentes pour différentes structures.
l'identification d'ambiguïtés à lever, etc.
La redondance provient de manière plus évidente du fait que ce
■ Les informations fusionnées en traitement d'images sont forte- sont des images de la même scène que l'on cherche à combiner.
ment entachées d'imperfections (incertitude, imprécision, incomplé- Pour certains problèmes de fusion, comme les études de groupe en
tude, ambiguïté, conflit, etc., selon la distinction proposée dans le imagerie fonctionnelle, la redondance (quelles sont les zones acti-
paragraphe 1.2). Ces imperfections trouvent leur origine à différents vées chez tous les sujets ?) et la complémentarité (où sont les
niveaux, depuis les phénomènes observés jusqu'aux traitements. différences ?) sont elles-mêmes sujet d'étude.

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
TE 5 230 − 8 © Techniques de l’Ingénieur, traité Télécoms
_________________________________________________________________ FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES

■ Le conflit est un problème très délicat, comme dans d'autres 2.5 Aspects numériques et symboliques
applications de la fusion d'informations, comme cela a été discuté
dans le paragraphe 1.2. En image, les exemples de conflit qui ne en fusion d’images
sont qu'apparents et facilement confondus avec la complémentarité
se trouvent dans les cas où une image n'est pas capable de différen-
cier deux classes alors qu'une autre les distingue. Les imprécisions Si le côté numérique de l'information manipulée en traitement
et incertitudes sont également sources de conflit. Par exemple la d'images est évident, le côté symbolique mérite qu'on s'y arrête un
mauvaise localisation d'un contour peut provoquer un conflit entre peu plus.
plusieurs détecteurs de contours. Les conflits dus à des spécificités Les informations symboliques peuvent être attachées aux don-
différentes des informations à combiner sont fréquents dans les nées à fusionner (par exemple une information graphique dans une
applications de fusion d'images et de modèles. carte ou un atlas anatomique, des attributs calculés sur les données
Exemples ou sur des objets extraits préalablement des données), ou attachées
à la connaissance du domaine. Typiquement, les informations sur le
• La reconnaissance de structures cérébrales par fusion d'images
domaine sont souvent représentées par des règles, des représenta-
IRM et de données issues d'un atlas anatomique doit faire face à la
tions structurelles telles que des graphes, souvent utilisés en recon-
variabilité entre les individus, souvent non représentée dans l'atlas, ou
naissance des formes dans les images, des contraintes à prendre en
encore à la présence possible de pathologies dans des images de
compte dans les algorithmes. Une information structurelle peut par
patients, non présentes dans le modèle générique.
exemple spécifier qu'un réseau routier peut être représenté par un
• Des problèmes similaires se rencontrent dans les problèmes de graphe en utilisant des routes et des carrefours, ou exprimer sous
fusion d'images aériennes et satellitaires et de cartes numériques. Ici forme propositionnelle des règles générales sur la scène telles que
les conflits peuvent provenir du tracé imprécis de la carte, de modifica- « les ventricules cérébraux sont toujours à l'intérieur de la matière
tions dans la scène non portées sur une carte plus ancienne, etc. blanche », etc. Les informations structurelles peuvent également
être représentées de manière iconique, donc proche des données
images, par exemple dans le cas de cartes numérisées ou d'atlas
2.4 Contraintes anatomiques. On combine alors la représentation géométrique des
structures et la nature ou la sémantique de ces structures. Mais les
informations sur le domaine peuvent être également purement
Les contraintes spécifiques au traitement d'images à prendre en
numériques quand il s'agit par exemple de caractéristiques de
compte dans un processus de fusion sont de plusieurs ordres.
l'acquisition comme les longueurs d'onde utilisées en imagerie
Du point de vue de l'architecture du système de fusion, il est rare satellitaire, ou les temps d'acquisition en imagerie médicale. Des
que les systèmes décentralisés soient imposés. Le cas le plus fré- représentations hybrides, dans lesquelles des nombres sont traités
quent est celui de la fusion off-line où l'on dispose simultanément comme des symboles avec une quantification, sont utilisées en
de toutes les informations. Des systèmes centralisés peuvent alors fusion d'images, pour quantifier la qualité d'un détecteur, pour éva-
être utilisés. luer une donnée symbolique ou la confiance dans une mesure, la
Les contraintes de temps réel sont assez peu fréquentes, sauf fiabilité d'une image pour certaines classes ou structures, etc. Du
dans les applications de surveillance ou multimédias, dans lesquel- point de vue des traitements, cet aspect hybride se manifeste par
les elles sont amenées à prendre une place grandissante. Notons exemple lorsqu'une proposition établissant que la reconnaissance
que ces contraintes sont beaucoup plus fortes dans d'autres domai- d'une structure ne dépend que du contexte local conduit à une
nes, en robotique par exemple. modélisation appropriée dans un cadre markovien. Les représenta-
tions symboliques sont ainsi utilisées en tant que connaissance a
En revanche, les contraintes de cohérence spatiale sont très for-
priori ou connaissance contextuelle ou générique pour guider un
tes et constituent un point important des recherches en fusion
traitement numérique. Elles servent aussi de support structurel par
d'images. De plus en plus de travaux sont donc consacrés à la prise
exemple en fusion d'images et de cartes [92].
en compte de l'information spatiale, soit au niveau local via le
contexte spatial, soit à un niveau plus structurel via des relations
spatiales entre les structures ou les objets de la scène.
Le fait que les données soient volumineuses peut imposer des
contraintes de temps de calcul. Ainsi les manipulations au niveau
des pixels sont limitées à des opérations simples. Des opérations
3. Fusion probabiliste
plus sophistiquées nécessitent souvent l'introduction d'informa-
tions de plus haut niveau, et une représentation plus structurelle de
et bayésienne
l'information.
La complexité et la quantité des données à manipuler impose
souvent que soit effectué un choix dans les informations et les 3.1 Mesures d’information
connaissances à fusionner. Ce choix est bien sûr guidé principalement
par des critères de pertinence par rapport aux objectifs de décision,
mais aussi par des critères portant sur la facilité d'accès et de repré-
sentation des informations et des connaissances, et sur leur qualité. Lorsqu'on dispose d'un ensemble de  images I j , une première
tâche consiste souvent à le transformer en un sous-ensemble plus
Enfin, un problème crucial est celui de l'évaluation. Dans les pro- réduit, donc de traitement plus simple, sans perdre d'information.
blèmes de fusion d'images, la « vérité » ou la « bonne » solution
existe en général plus ou moins, mais elle est le plus souvent diffi- L'approche de l'analyse en composantes principales est souvent
cile d'accès. Ainsi l'évaluation et la validation d'une méthode de employée, qui projette chaque image sur les vecteurs propres de la
fusion ne peut se faire que sur des simulations, des acquisitions sur matrice de corrélation, et permet ainsi d'obtenir  nouvelles images
fantômes (*), ou par comparaison avec une décision manuelle. décorrélées, classées par ordre décroissant d'énergie. Une tronca-
Cette situation s'oppose à celle rencontrée dans les problèmes de ture aux  ′ (  >  ′ ) premières images permet souvent de conser-
vote ou de choix social, dans lesquels la vérité n'existe pas, mais où ver l'essentiel de l'énergie de l'ensemble d'origine.
on cherche à trouver une « meilleure » solution au sens d'un com- Mais, en pratique, cette méthode montre très vite ses limites en
promis, ou de critères d'équité et d'éthique. traitement d'images car elle ne permet de prendre en compte ni les
(*) Un fantôme est une maquette utilisée pour remplacer l’être humain lors de la mise dépendances complexes entre images, ni les variations spatiales de
au point des systèmes d’imagerie médicale. dépendance.

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
© Techniques de l’Ingénieur, traité Télécoms TE 5 230 − 9
FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES __________________________________________________________________

Pour exprimer l'apport d'information dû à l'ajout d'une nouvelle Cette probabilité est calculée à partir de caractéristiques f j ( x ) de
image I  + 1 à un ensemble déjà connu { I 1, …, I  } , on préfère l'information extraites des images. Il peut s'agir, dans les cas les
l'approche proposée par Shannon et reposant sur les notions plus simples, du niveau de gris du pixel considéré, ou d'informa-
d'information et d'entropie [73][80][81]. tions plus complexes nécessitant des traitements préliminaires.
À partir de la probabilité jointe des  premières images L'équation (6) ne dépend alors plus de toute l'image I j mais s'écrit
p ( I 1, …, I  ) (estimée le plus souvent par dénombrement, par exem- sous la forme simplifiée :
ple à partir de l'histogramme multidimensionnel des niveaux de gris j
Mi ( x ) = p ( x ∈ Ci fj ( x ) ) (7)
des images), on définit l'entropie (ou information moyenne par
pixel) des  premières images par : En traitement des images, en l'absence de modélisations fonc-
H ( I 1, …, I  ) = – ∑ p ( I 1, …, I  ) ln p ( I 1, …, I  )
tionnelles fortes des phénomènes observés, les probabilités
(1)
p ( f j ( x ) x ∈ C i ) , ou plus généralement p ( I j x ∈ C i ) (qui représente
et l'entropie apportée par la (  + 1 )e image s'exprime, soit en fonc- la probabilité, conditionnelle à la classe C i , de l'information fournie
tion des entropies, soit en fonction des probabilités par : par l'image I j ), sont apprises par dénombrement sur des zones de
test (ou par apprentissage sur ces zones des paramètres d'une loi
H ( I +1 I 1, …, I  ) = H ( I 1, …, I  + 1) – H ( I 1, …, I  ) donnée) et on en déduit les probabilités des équations (6) et (7) par
(2)
= – ∑ p ( I 1, …, I 
application de la règle de Bayes.
+ 1 ) ln p ( I  + 1 I 1, …, I  )
L'avantage essentiel des méthodes probabilistes vient de ce
Pour deux images, on définit ainsi la redondance entre elles par : qu'elles reposent sur une base mathématique solide et ont été
l'objet de nombreux travaux. Elles proposent donc un éventail
R ( I 1, I 2 ) = H ( I 1 ) + H ( I 2 ) – H ( I 1, I 2 ) (3)
d'outils très riche permettant aussi bien la modélisation (par exem-
Nota : cette redondance ne peut malheureusement pas être étendue à plus de deux ima- ple par des familles de lois paramétriques aux propriétés bien étu-
ges sans perdre potentiellement sa propriété de positivité. diées) que l'apprentissage des modèles (pour des lois paramé-
On définit, de même la complémentarité de l'image I 2 par rap- triques ou non paramétriques) (voir par exemple [34][74][78]). Elles
port à l'image I 1 , c'est-à-dire la quantité moyenne d'information proposent également des règles d'usage soit théoriques (bornes,
qu'il faut ajouter à I 2 pour retrouver I 1 : valeurs asymptotiques) soit heuristiques (tests d'hypothèses, critè-
C ( I1 I2 ) = H ( I1 I2 ) (4) res de validité, tables de confiance). Enfin la modélisation probabi-
liste, soutenue par l'interprétation fréquenciste largement répandue
ce qui conduit à la relation : dans le monde de la physique et du traitement du signal, est actuel-
lement un concept universellement partagé qui sert naturellement
H ( I 1 ) = R ( I 1, I 2 ) + C ( I 1 I 2 ) (5) de base de comparaison aux autres modélisations.
Mais les méthodes probabilistes sont également l'objet de criti-
Des approches analogues peuvent être envisagées dans un cadre ques. Tout d'abord, si elles représentent bien l'incertain qui entache
non probabiliste, en s'appuyant par exemple sur l'entropie floue [77]. l'information, elles ne permettent pas aisément de représenter son
Le formalisme est pour l'instant moins développé dans cette direction. imprécision, et elles conduisent souvent à confondre ces deux
En fusion d'images, on utilisera des images fortement redondan- notions. Ensuite, elles nécessitent que, lors de l'apprentissage, des
tes pour confirmer une décision incertaine et des images complé- contraintes très strictes soient vérifiées par les mesures (imposées
mentaires pour élargir le champ des décisions. Des images par les axiomes de base des probabilités) et par l'ensemble de clas-
complémentaires peuvent conduire soit à des décisions conflictuel- ses considéré (exhaustivité). Ces contraintes peuvent rendre
les soit à des décisions consensuelles. l'apprentissage très délicat [comment caractériser des zones qui ne
soient pas du blé en imagerie aérienne ? (ce problème est un exem-
En traitement d'images, la notion d'entropie a été élargie pour
ple du problème plus général que l'on rencontre en classification et
caractériser non seulement la dispersion des mesures sur l'espace
en reconnaissance de formes : en général le complémentaire d'une
de mesure, mais également la cohérence spatiale des mesures en
classe n'est pas une classe)], ou, si le problème à traiter est com-
prenant en compte des probabilités d'occurrence de configurations
plexe, conduire pratiquement à des incohérences car l'utilisateur ne
particulières de pixels, soit dans le cadre de classifications [81][82],
peut alors prendre en compte tout le réseau des dépendances pro-
soit dans celui de champs markoviens [118][121].
babilistes (cas des boucles logiques [96]). L'apprentissage de lois de
La notion d'entropie globale n’est pas toujours bien adaptée aux probabilités nécessite, outre la vérification d’hypothèses contrai-
problèmes de fusion, et la notion d'entropie conditionnelle aux clas- gnantes, un nombre de données important. Typiquement l'appren-
ses à reconnaître, par exemple, est souvent préférable : elle permet tissage non paramétrique d'une loi multidimensionnelle dans des
une analyse plus fine de l'information qu'apporte chaque image images ou des zones de taille limitée n'est souvent pas pertinent car
pour chaque classe et est donc mieux adaptée aux problèmes pour les grandeurs à déterminer peuvent être plus nombreuses que les
lesquels une source est meilleure pour certaines classes et moins mesures, et on se tourne alors vers des modèles paramétriques, qui
bonne pour d'autres. Bien que la définition formelle de tels concepts à leur tour nécessitent des hypothèses sur la forme des lois.
ne pose pas de difficulté particulière, ils ne sont pas encore beau-
coup utilisés en fusion et c'est vraisemblablement un point qui méri-
terait d'être approfondi. 3.3 Combinaison dans un cadre bayésien
Dans le modèle bayésien, la fusion peut être effectuée de manière
3.2 Modélisation et estimation équivalente à deux niveaux :
— soit au niveau de la modélisation, et on calcule alors des pro-
babilités de la forme :
La théorie la plus exploitée dans la littérature est de loin la théorie
des probabilités, associée à la théorie bayésienne de la décision p ( x ∈ C i I 1, …, I  ) (8)
[57]. L'information y est modélisée par une probabilité condition-
à l'aide de la règle de Bayes :
nelle, par exemple, la probabilité pour qu'un pixel appartienne à une
classe particulière, étant donné les images disponibles. Ainsi, la p ( I 1, …, I  x ∈ C i )p ( x ∈ C i )
mesure introduite dans le paragraphe 1.4 s'écrit-elle sous la forme : p ( x ∈ C i I 1, …, I  ) = --------------------------------------------------------------------------- (9)
p ( I 1, …, I  )
j
Mi ( x ) = p ( x ∈ Ci Ij ) (6)
où les différents termes sont estimés par apprentissage ;

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
TE 5 230 − 10 © Techniques de l’Ingénieur, traité Télécoms
_________________________________________________________________ FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES

— soit par la règle de Bayes elle-même, où l'information issue 3.5 Décision

d'un capteur vient mettre à jour l'information sur x estimée d'après
les capteurs précédents (c'est la seule forme utilisable si les infor-
mations sont disponibles successivement et non simultanément) : La dernière étape concerne la décision, par exemple le choix de la
classe à laquelle appartient un point. Cette décision binaire peut être
p ( x ∈ C i I 1, …, I  ) =
assortie d'une mesure de la qualité de cette décision, pouvant éven-
p ( I 1 x ∈ C i )p ( I 2 x ∈ C i , I 1 )…p ( I  x ∈ C i , I 1, …, I  – 1 )p ( x ∈ C i ) (10) tuellement conduire à la rejeter. La règle la plus utilisée pour la déci-
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------- sion probabiliste et bayésienne est le maximum a posteriori :
p ( I 1 )p ( I 2 I 1 )…p ( I  I 1, …, I  – 1 )
x ∈C i si p ( x ∈C i I 1, …, I  ) = max { p ( x ∈C k I 1, …, I  ), 1  k  n } (12)
Très souvent, étant donné la complexité de l'apprentissage à partir
de plusieurs capteurs et la difficulté d'obtenir des statistiques suffi- mais de très nombreux autres critères ont été développés par les
santes, ces équations sont simplifiées sous l'hypothèse d'indépen- probabilistes et les statisticiens, pour qu'ils s'adaptent au mieux aux
dance. Là encore, des critères ont été proposés pour vérifier la vali- besoins de l'utilisateur et au contexte de sa décision : maximum de
dité de cette hypothèse. Les formules précédentes deviennent alors : vraisemblance, maximum d'entropie, marginale maximale, espé-

rance maximale, risque minimal, etc. Cependant, la grande variété
de ces critères laisse l'utilisateur à nouveau démuni devant la justi-
∏ p ( Ij x ∈ Ci )p ( x ∈ Ci ) fication d'un choix et l'éloigne de l'objectivité recherchéee initiale-
p ( x ∈ C i I 1, …, I  ) = -----------------------------------------------------------------
j=1
- (11) ment par ces méthodes.
p ( I 1, …, I  )

Cette équation fait apparaître clairement le type de combinaison

des informations, sous la forme d'un produit, donc une fusion
conjonctive. Il est notable que la probabilité a priori joue exactement 4. Fusion dans la théorie
le même rôle dans la combinaison que chacune des sources, aux-
quelles elle est combinée également par un produit.
des fonctions de croyance
L'avantage de cette théorie, du point de vue de la combinaison,
est qu'elle repose sur de solides bases mathématiques, et peut être
utilisée pour la mise à jour de réseaux complexes de connaissances La théorie des fonctions de croyance (ou théorie de Dempster-
[96][97]. Elle permet d'introduire des informations qui s'expriment Shafer) date des années 1970 mais son utilisation en fusion d'ima-
facilement sous forme de probabilités, telles que le contexte spatial ges est relativement récente. Pourtant les premières applications
dans le cadre des champs de Markov (voir § 6) ou la qualité des sont prometteuses, et nous montrons dans ce paragraphe quelles
informations exprimée comme la probabilité pour qu'une mesure sont les caractéristiques de cette théorie qui justifient que l'on s'y
soit fiable [65]. intéresse, aussi bien du point de vue de la représentation des
connaissances et de leurs imperfections (imprécision, incertitude,
Cependant, elle est contrainte, comme pour la modélisation, par ambiguïté, ignorance, conflit) que de leur combinaison.
les axiomes des probabilités, et son utilisation en pratique nécessite
souvent des hypothèses simplificatrices (comme l'indépendance)
rarement vérifiées. Elle nécessite de plus l'estimation des probabili-
tés a priori p ( x ∈ C i ) , qui est souvent délicate et est primordiale 4.1 Modélisation
dans les cas où l'on a peu d'informations (distributions très plates
des probabilités conditionnelles). Si, dans le cas du traitement
d'images, les probabilités conditionnelles peuvent être souvent bien La théorie des fonctions de croyance permet, de manière analo-
estimées par apprentissage à partir de fréquences d'occurrence, ce gue à la théorie des possibilités comme nous le verrons dans le
n'est en général pas le cas des probabilités a priori. Leur évaluation paragraphe 5, de représenter à la fois l'imprécision et l'incertitude,
sort du cadre des probabilités fréquencistes et fait souvent appel à à l'aide de fonctions de masse m, de plausibilité Pls et de croyance
des concepts plus subjectifs. La forme conjonctive de la fusion bayé- Bel [66][108][112]. Les fonctions de masse sont définies sur tous les
sienne conduit souvent en pratique à un effondrement des probabi- sous-ensembles de l'espace de discernement D (contenant par
lités des événements qui sont déduits d'une longue chaîne de exemple les classes auxquelles on s'intéresse) et pas simplement
déduction. Enfin, elle ne permet pas de modéliser l'ignorance pour sur les singletons comme les probabilités qui ne mesurent que la
la prendre en compte dans la combinaison. probabilité d'appartenance à une classe donnée.
Posons D = { C 1, C 2, …, C n } où chaque C i désigne une hypo-
thèse en faveur de laquelle une décision peut être prise (typique-
ment une classe dans un problème de classification multisources).
3.4 Combinaison vue comme un problème
d’estimation ■ Une fonction de masse est définie comme une fonction de 2 D
(ensemble des parties de D) dans [0, 1]. En général on impose
m ( 0 ) = 0 , et une normalisation de la forme :
Une autre manière de voir la fusion probabiliste consiste à consi-
dérer que chaque source donne une probabilité (d'appartenance à ∑ m(A) = 1 (13)
une classe) par exemple, et que la fusion consiste à combiner ces A⊂D
probabilités pour trouver la probabilité globale d'appartenance à la
classe. Cette vision revient à considérer la fusion comme un pro- qui garantit une sorte de commensurabilité entre plusieurs jeux de
blème d'estimation, et permet d'utiliser des opérateurs de combinai- masse.
son différents du produit. En particulier les méthodes de moyenne La contrainte m ( 0 ) = 0 correspond à une hypothèse de monde
ou moyenne pondérée, de médiane, de consensus sont souvent clos, dans lequel toutes les solutions possibles sont effectivement
employées [38][39][58]. Des estimateurs robustes peuvent égale- représentées dans D (ce qui suppose que l'on est capable de les
ment être employés, afin de limiter ou supprimer l'influence des énumérer). Si l'on relâche cette contrainte et que l'on accepte
valeurs aberrantes (outliers). Enfin, des méthodes issues de la théo- d'avoir une masse strictement positive sur 0 , cela correspond alors
rie des variables régionalisées [87], telles que le krigeage ou le kri- à une hypothèse de monde ouvert, dans lequel des solutions hors
geage universel, pourraient également être utilisées dans ce cadre. de D sont envisageables.

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
© Techniques de l’Ingénieur, traité Télécoms TE 5 230 − 11
FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES __________________________________________________________________

Un élément focal est un sous-ensemble A de D tel que m ( A ) > 0 . ■ Citons quelques exemples de situations dans lesquelles la fusion
La réunion des éléments focaux est appelée noyau. par la théorie des fonctions de croyance peut être employée :
■ Une fonction de croyance Bel est une fonction totalement crois- — dans les cas limites (que l'on peut considérer comme idéaux)
sante définie de 2 D dans [0, 1] : où l'on connaît toute l'information sur le problème à traiter ;
— lorsqu'une source donne des informations seulement sur cer-
∀A 1 ∈ 2 D, …, A k ∈ 2 D, taines classes : par exemple certaines images TEP donnent des
(14) informations sur les limites du cerveau mais pas de la tête ;
∑
I +1
Bel ( L i = 1…k A i )  ( –1 ) Bel ( l i ∈ I A i ) — lorsqu'une source n'est pas capable de différencier deux clas-
I ⊂ { 1…k }, I ≠ 0 ses : la théorie des fonctions de croyance permet alors de considérer
la disjonction de ces deux classes, sans introduire d'information
où I désigne le cardinal de I, et telle que Bel ( 0 ) = 0 , Bel ( D ) = 1 . arbitraire forçant leur séparation ;
Étant donné une fonction de masse m, la fonction Bel définie par : — lorsque l'on veut modéliser les effets de volume partiel, donc
typiquement représenter l'appartenance d'un pixel ou d’un voxel à
∀A ∈ 2 D, Bel ( A ) = ∑ m(B ) (15) plusieurs classes ;
— lorsque l'on veut représenter la fiabilité globale d'une source :
B ⊂ A, B ≠ 0
cela peut être réalisé en affectant une masse non nulle à D ;
est une fonction de croyance. Inversement, à partir d'une fonction — dans les cas où la fiabilité d'une source dépend des classes
de croyance définie comme une fonction totalement croissante [iné- (par exemple des images cérébrales fonctionnelles ne donnent pas
galité (14)] telle que Bel ( 0 ) = 0 , Bel ( D ) = 1 , on peut définir une d'informations très fiables sur l'anatomie, alors qu'au contraire les
fonction de masse par : images IRM sont très fiables pour ce type de classe) ;
— dans les cas où l'on veut introduire des informations a priori :
∑
A–B
∀A ∈ 2 D, m ( A ) = ( –1 ) Bel ( B ) (16) même si ces informations ne sont pas représentables facilement par
B⊂A
des probabilités, elles peuvent être introduites si elles induisent un
Cette fonction de masse vérifie alors l'équation (15). moyen de choisir les éléments focaux (en particulier les disjonctions
La fonction de croyance mesure la confiance totale que l'on a d'hypothèses), de définir ou de modifier les fonctions de masse.
dans un sous-ensemble A.
■ Une fonction de plausibilité Pls est également une fonction de
2 D dans [0, 1] définie par : 4.2 Estimation de fonctions de masse
∀A ∈ 2 D, Pls ( A ) = ∑ m(B ) = 1 – Bel ( AC ) (17)
BlA ≠ 0
L'estimation des fonctions de masse est un problème difficile, qui
La plausibilité mesure la confiance maximale que l'on peut avoir n'a pas de solution universelle. La difficulté est augmentée ici si l'on
dans A. Cette fonction a une interprétation naturelle dans le modèle veut affecter des masses aux hypothèses composées [60][76]. En
des croyances transférables [112] où l'on considère que l'apport TDSI, on peut les construire à trois niveaux : au niveau le plus haut
d'information peut permettre de transférer des croyances sur des (souvent abstrait et symbolique), la représentation de l'information
sous-ensembles plus précis. La plausibilité représente alors la est utilisée d'une manière similaire à ce qui est fait en intelligence
croyance maximale que l'on pourrait potentiellement affecter à un artificielle et les masses sont affectées à des propositions, et sou-
sous-ensemble A si l'on apprend par exemple que la solution se vent données par des experts [6][63][94]. Ce type d'information
trouve dans A (toute la confiance mise dans un sous-ensemble B n'est le plus souvent pas directement dérivé de mesures dans les
intersectant A est alors transférée sur A afin de mettre à 0 la images, et les méthodes correspondantes ne sont donc pas spécifi-
confiance sur AC ). ques du TDSI. À un niveau intermédiaire, les masses sont calculées
à partir d'attributs et peuvent s'appuyer par exemple sur des modè-
■ On a les propriétés suivantes : les géométriques [2][35][41][120]. Ce niveau est bien adapté à des
problèmes de reconnaissance des formes à partir de modèles mais
∀A ∈ 2 D, Pls ( A )  Bel ( A ) (18) il est difficile de l'utiliser pour des problèmes de fusion sur des
structures complexes sans modèle. Au niveau du pixel, beaucoup
∀A ∈ 2 D, Bel ( A ) + Bel ( AC )  1 (19) de méthodes sont envisageables, et la plupart s'appuient sur des
méthodes de reconnaissance des formes statistique.
∀A ∈ 2 D, Pls ( A ) + Pls ( AC )  1 (20) La manière la plus simple que l'on puisse imaginer consiste à cal-
culer les masses sur les singletons dans une image I j par :
∀A ∈ 2 D, Bel ( A ) + Bel ( AC ) = 1 – Bel ( A ) = Pls ( A ) (21)
j
mj ( { Ci } ) ( x ) = Mi ( x ) (22)
L'intervalle [ Bel ( A ), Pls ( A ) ] est appelé intervalle de confiance et sa
longueur est une mesure de l'ignorance que l'on a sur un événe- j
ment A et son complémentaire. où M i ( x ) est estimée le plus souvent comme une probabilité. Les
masses sur tous les autres sous-ensembles de D sont alors nulles. Il
Si l'on affecte des masses uniquement aux hypothèses simples est clair que ce modèle est très réducteur et n'exploite pas les carac-
( m ( A ) = 0 pour A > 1 ), alors les trois fonctions m, Bel et Pls sont téristiques intéressantes de la théorie des fonctions de croyance.
égales et sont une probabilité. Dans les cas plus complexes, ce n'est Beaucoup d'approches s'appuient toutefois sur un tel modèle initial,
pas le cas et il n'y a pas d'équivalence directe avec des probabilités. puis répartissent les masses sur l'ensemble des hypothèses compo-
L'analogue des fonctions de crédibilité et de plausibilité pourrait sées, ou n'utilisent que certaines hypothèses composées, dans une
être obtenue par exemple à partir de probabilités conditionnelles à démarche simplificatrice et souvent très heuristique [74][102][120]
des comportements pessimistes et optimistes respectivement, mais [132]. Mais d'autres approches peuvent également être envisagées.
leur formalisation serait beaucoup plus délicate que ce que propose Dans la suite, nous présentons quelques modèles de la littérature.
la théorie des fonctions de croyance.
La possibilité d'affecter des masses aux hypothèses composées, et ■ Modification de modèles probabilistes
donc de travailler sur 2 D plutôt que sur D constitue un des avantages ● Le modèle le plus simple et le plus souvent utilisé consiste à uti-
de cette théorie. Elle permet en effet une modélisation très souple et liser la technique d'affaiblissement [108]. Les nouvelles masses m′
très riche, en particulier de l'ambiguïté ou de l'hésitation entre classes. sont calculées à partir des masses initiales m de la manière suivante

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
TE 5 230 − 12 © Techniques de l’Ingénieur, traité Télécoms
_________________________________________________________________ FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES

(l'indice j représentant la source d'information ainsi que l'élément x ● Dans [49], les disjonctions sont définies en fonction d'un critère
sur lequel on raisonne sont omis ici) : de significativité des probabilités conditionnelles. Si une seule pro-
babilité p ( x C i ) est significative (ce qui nécessite de définir des
m′ ( { C i } ) = α m ( { C i } ) (23) seuils), alors un modèle simple de masse portant sur les singletons
est utilisé. Si plusieurs probabilités sont significatives, les disjonc-
m′ ( D ) = 1 – α + α m ( D ) (24) tions des hypothèses correspondantes sont également prises en
compte. Par exemple si trois valeurs sont significatives, et telles que
où α ∈ [ 0, 1 ] est le coefficient d'affaiblissement. Dans le cas où les p ( x C i ) > p ( x C j ) > p ( x C k ) , la fonction de masse est construite par :
masses initiales sont apprises sur les singletons seulement, par
exemple à partir de probabilités, alors m ( D ) = 0 et m′ ( D ) = 1 – α . m ( { Ci } ) ( x ) = p ( x Ci ) – p ( x Cj ) (31)
Cette technique est souvent utilisée pour affaiblir une source en
fonction de sa fiabilité, et permet d'affecter une masse à D qui sera
m ( { C i LC j } ) ( x ) = p ( x C j ) – p ( x C k ) (32)
faible si la source est fiable et importante si la source ne l'est pas.
Dans les cas extrêmes, la valeur α = 0 est utilisée pour une source
qui n'est pas fiable du tout, et toute la masse est alors affectée à D, m ( { C i LC j LC k } ) ( x ) = p ( x C k ) (33)
ce qui représente l'ignorance totale. La valeur α = 1 est utilisée
pour une source fiable dans laquelle toute la masse est affectée aux puis les masses sont normalisées. Si aucune probabilité n'est signi-
singletons et où il n'y a aucune ambiguïté entre classes. ficative, la masse porte entièrement sur D.
Ce type de modèle est très simple. L'apprentissage des masses
sur les singletons peut bénéficier des techniques classiques ■ Modification de modèles de distances
d'apprentissage statistique. Cependant les disjonctions d'hypothè- Une approche de type reconnaissance des formes est proposée
ses ne sont pas modélisées, ce qui limite beaucoup la portée de ce dans [45]. Si chaque classe C i est représentée par un prototype (ou
modèle. un centre) x i , une fonction de masse associée à chaque classe peut-
● Deux modèles d'inspiration probabiliste ont été proposés par être définie, dans laquelle C i et D sont les seuls éléments focaux :
A. Appriou [4], et prennent en compte d'autres disjonctions que D.
Ces modèles supposent une estimation initiale de probabilités i 2
m ( { C i } ) ( x ) = α exp [ – γ d ( x, x i ) ] (34)
conditionnelles p ( f ( x ) C i ) (où f ( x ) désigne les caractéristiques de
x extraites de la source et sur lesquelles s'appuie la fusion), notées
plus simplement p ( x C i ) . La fonction de masse associée à une i 2
m ( D ) ( x ) = 1 – α exp [ – γ d ( x, x i ) ] (35)
source est calculée par combinaison de fonctions de masse asso-
ciées à chaque singleton, définies dans le premier modèle par :
Les paramètres α et γ permettent de jouer sur la quantité d'igno-
α i Rp ( x C i ) rance et la forme des fonctions de masse. La distance d 2 ( x, x i ) per-
i
m ( { C i } ) ( x ) = ---------------------------------
- (25) met d'affecter une masse d'autant plus importante que x
1 + Rp ( x C i ) « ressemble » à la classe C i . Les m i sont ensuite combinées selon
la règle de Demspter pour avoir une masse prenant en compte
i αi l'information sur toutes les classes.
m ( D \ { C i } ) ( x ) = ---------------------------------
- (26)
1 + Rp ( x C i ) Cette approche peut également être appliquée aux k plus proches
voisins. La distance est alors la distance de x à l'un de ses voisins, et
i
m ( D ) ( x ) = 1 – αi (27) la masse est affectée selon le modèle précédent à la classe à
laquelle appartient ce voisin et à D. Les fonctions calculées pour
où α i est un coefficient d'affaiblissement lié à la classe C i , qui per- chacun des voisins de x sont ensuite combinées par la règle de
met de prendre en compte la fiabilité de la source pour cette classe Dempster.
en particulier (et non plus globale comme dans le modèle précé-
dent), et R est un coefficient de pondération des probabilités. Si ■ A priori sur les éléments focaux composés (disjonctions)
R = 0 , seule la fiabilité de la source est prise en compte, sinon les Dans de nombreuses applications, il est possible de disposer
données sont également prises en compte. d'informations a priori qui permettent de déterminer de manière
supervisée quels sont les éléments focaux à prendre en compte. Ces
Dans le deuxième modèle, les masses associées à chaque single-
méthodes ont été utilisées par exemple dans [17][90][91][116]. Dans
ton sont définies par :
[17], des images du cerveau sont combinées pour détecter des
i pathologies. Les fonctions de masse sont estimées à partir des
m ( { Ci } ) ( x ) = 0 (28) niveaux de gris [25] et les classes non distinguées dans certaines
images par leurs niveaux de gris sont regroupées en disjonctions.
i
m ( D \ { C i } ) ( x ) = α i ( 1 – Rp ( x C i ) ) (29) Dans [116], les résultats de détecteurs de plusieurs structures sont
fusionnés pour interpréter une image radar. Ce sont alors les capa-
i cités des détecteurs à différencier ou non différentes classes de
m ( D ) ( x ) = 1 – α i + α i Rp ( x C i ) (30) structures qui permettent de définir les éléments focaux et les dis-
jonctions de classes à prendre en compte. Dans [90][91], des attri-
Ce modèle correspond au cas où p ( x C i ) nous donne une informa- buts extraits d'images de différents capteurs sont combinés pour
tion essentiellement sur ce qui n'est pas C i . différencier des mines d'objets inoffensifs, dans un programme de
La masse associée à la source est ensuite calculée comme 1i m i , déminage humanitaire. Les mesures à combiner peuvent être carac-
où 1 est la somme orthogonale de Dempster (voir § 4.3). Ce modèle téristiques d'une classe ou de l'espace de discernement complet.
est bien adapté dans les cas où l'on apprend facilement une classe Par exemple, la profondeur des objets permet d'affecter une masse
contre toutes les autres, ce qui est fréquent en reconnaissance des aux objets inoffensifs si elle est importante, mais ne permet pas de
formes dans les images, ou dans les cas où chaque classe est déter- distinguer les types d'objets si elle est faible et la masse est alors
minée à partir d'un détecteur adapté (par exemple un détecteur de affectée à D.
routes dans une image aérienne permet de définir la probabilité Ce type d'approche est très efficace si l'on dispose de telles infor-
d'appartenance à la route par rapport à celle des toutes les autres mations, mais elle reste supervisée, et donc applicable à des problè-
classes, mais n'est pas capable de distinguer ces autres classes). mes où le cardinal de D reste raisonnable.

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
© Techniques de l’Ingénieur, traité Télécoms TE 5 230 − 13
FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES __________________________________________________________________

■ Apprentissage des éléments focaux composés premier cas, il est acceptable de combiner les sources, et une solu-
Les méthodes d'apprentissage des éléments focaux s'appuient tion pour prendre en compte le conflit est d'affaiblir les sources en
souvent sur des classifications préalables effectuées dans chaque fonction de leur fiabilité. Dans le deuxième cas, la combinaison n'a
source séparément. Typiquement, de matrices de confusion peu- pas de sens. Des méthodes de regroupement des sources selon les
vent être extraites les classes confondues selon une source, dont la phénomènes qu'elles observent ont été proposées, visant à combi-
réunion constituera un élément focal de la fonction de masse atta- ner les sources à l'intérieur de chaque groupe uniquement. Ces
chée à cette source. groupes sont calculés de sorte à minimiser le conflit dans chaque
groupe [90][106].
De manière complètement non supervisée, les intersections entre
les classes détectées dans une source et celles détectées dans une
autre source peuvent définir les singletons de l'espace de discerne- ■ Dans une hypothèse de monde ouvert, une masse non nulle sur
ment, les classes détectées dans chaque source devenant alors des l'ensemble vide peut également représenter une solution non pré-
disjonctions [86]. vue dans D. Sous l'hypothèse du monde fermé, où tout ce qui est
possible est représenté dans D, cette interprétation n'est pas accep-
Des mesures de dissonance et consonance sont proposées dans table, ce qui conduit à normaliser le résultat de la combinaison sous
[88]. L'idée consiste à modifier une fonction de masse initiale por- la forme :
tant uniquement sur les singletons en affaiblissant les masses sur
les singletons en fonction du degré de consonance de ceux-ci, et en
créant des masses sur des disjonctions de deux classes en fonction ∑ m1 ( B1 )m2 ( B2 )…m ( B ) 
du degré de dissonance entre ces classes. Cette méthode a été B 1 l…lB  = A
( m 1 1m 2 1…1m  ) ( A ) = --------------------------------------------------------------------------------------------------- 
appliquée à la fusion de plusieurs classifieurs. La consonance d'une 1 – ∑ m 1 ( B 1 )m 2 ( B 2 )…m  ( B  ) (37)
classe est calculée d'après le nombre d'éléments affectés à cette et B 1 l…lB  = 0 
classe par tous les classifieurs, et la dissonance d'après le nombre 
d'éléments classés différemment. ( m 1 1m 2 1…1m  ) ( 0 ) = 0 
Dans le cas où les éléments sont caractérisés par une mesure
dans un espace à une dimension (typiquement représentés par un si le dénominateur de l'équation (38) est non nul, c'est-à-dire si :
histogramme), les masses sur les hypothèses composées peuvent
être définies dans les zones de recouvrement ou d'ambiguïté entre
deux classes voisines. Une autre méthode, s'inspirant des métho- k = ∑ m 1 ( B 1 )m 2 ( B 2 )…m  ( B  ) < 1 (38)
B 1 l…lB  = 0
des de seuillage hiérarchique, est proposée dans [103], où chaque
pic de l'histogramme correspond à un singleton. Puis l'histo-
gramme est progressivement seuillé à des hauteurs décroissantes, Cette quantité (qui mesure le conflit entre les sources) est donc
et des disjonctions sont créées lorsque des maxima se regroupent. directement prise en compte dans la combinaison sous forme de
Cette méthode est à rapprocher des arbres de composantes utilisés facteur de normalisation. Elle représente la masse qui serait affec-
par exemple en morphologie mathématique avec le concept de tée à l'ensemble vide si l'on n'avait pas cette normalisation
topologie des coupes, ainsi que des intervalles de confiance et de (équation (37)). Il est important de prendre en compte cette valeur
leurs liens avec les distributions de possibilité. pour juger de la qualité de la combinaison : celle-ci peut ne pas
avoir grand sens en cas de fort conflit et conduire à des décisions
■ Introduction de disjonctions par morphologie mathématique criticables.
Sans se restreindre à des espaces de représentation de dimension
1, la méthode proposée dans [18] permet de calculer des masses sur Prenons un exemple simple où D = { C 1, C 2, C 3 } et deux fonctions
des disjonctions par érosions et dilatations de masses définies dans de masse n'ayant que les singletons comme éléments focaux et les
un premier temps sur des singletons. Les propriétés de ces opéra- valeurs suivantes :
tions morphologiques permettent de les interpréter comme des
m 1 ( C 1 ) = 0, 9 m 1 ( C 2 ) = 0, 0 m 1 ( C 3 ) = 0, 1
croyances et plausibilités, dont les masses sont ensuite déduites.
m 2 ( C 1 ) = 0, 0 m 2 ( C 2 ) = 0, 9 m 2 ( C 3 ) = 0, 1

4.3 Combinaison conjonctive Leur fusion non normalisée donne :

m 1 1m 2 ( C 1 ) = 0, 0
■ Soit m j ( j = 1…  ) la fonction de masse définie pour l'image (ou
de manière plus générale la source) j. La combinaison conjonctive m 1 1m 2 ( C 2 ) = 0, 0
des fonctions de masse est effectuée selon la règle orthogonale de m 1 1m 2 ( C 3 ) = 0, 01
Dempster [108] :
m 1 1m 2 ( 0 ) = 0, 99
∀A ⊂ D, ( m 1 1m 2 1…1m  ) ( A ) =
(36) En normalisant, on obtient :
∑ m 1 ( B 1 )m 2 ( B 2 )…m  ( B  )
B 1 l…lB  = A m 1 1m 2 ( C 1 ) = 0, 0
Des justifications axiomatiques de cette règle peuvent être trouvées m 1 1m 2 ( C 2 ) = 0, 0
dans [112]. Les différences entre ces axiomes et ceux de Cox [40] m 1 1m 2 ( C 3 ) = 1, 0
(qui permettent de justifier les règles des probabilités) expliquent
les origines des différences entre les deux théories [13]. Toute la masse est alors focalisée sur C 3 qui est la seule classe où les
Dans cette équation non normalisée, la masse affectée par la deux sources sont d'accord, mais pour dire que ce n'est pas une solu-
combinaison à l'ensemble vide est en général non nulle. Elle s'inter- tion plausible. La normalisation a masqué le conflit. La forme non nor-
prète souvent comme le conflit entre les sources. Notons que cette malisée est le plus souvent préférable en cas de conflit. Ici, elle permet
mesure de conflit n'est pas une mesure absolue mais dépend de la d'affecter la masse essentiellement à l'ensemble vide. Dans cet exem-
modélisation effectuée (en particulier de la répartition des masses ple, l'origine du conflit peut venir de l'hypothèse de monde ouvert,
sur les différents sous-ensembles de D). Le conflit peut avoir deux d'une faible fiabilité d'au moins une des deux sources, ou du fait
sources essentielles : soit les sources ne sont pas fiables, soit elles qu'une source voit un objet dans la classe C 1 et la seconde source voit
donnent des informations sur des phénomènes différents. Dans le un autre objet dans la classe C 2 .

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
TE 5 230 − 14 © Techniques de l’Ingénieur, traité Télécoms
_________________________________________________________________ FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES

■ D'autres méthodes que la normalisation ont été proposées pour Lorsque les fonctions m, Bel, et Pls sont des probabilités (c'est-à-
éliminer la masse sur l'ensemble vide. Par exemple, cette masse est dire lorsque les seuls éléments focaux sont des singletons), la loi de
affectée à D dans [124]. Dans [54], une méthode plus fine est propo- combinaison de Dempster est cohérente avec les lois classiques des
sée : par exemple si les éléments focaux A 1 et A 2 de deux sources probabilités. Cela fait donc apparaître les probabilités comme la
sont en conflit ( A 1 lA 2 = 0 ), alors le produit m 1 ( A 1 )m 2 ( A 2 ) est limite de la théorie des croyances lorsqu'il n'y a pas d'ambiguïté ni
affecté à m ( A 1 LA 2 ) . Cela suppose qu'au moins une des deux sour- d'imprécision et que seule l'incertitude des données doit être prise
ces est fiable mais qu'on ne sait pas laquelle, et la forme disjonctive en compte.
du résultat est l'attitude la plus prudente.
La règle de Demspter a un comportement conjonctif, puisqu'elle
donne des éléments focaux qui sont les intersections des éléments
■ Examinons maintenant les propriétés de la règle de combinai-
focaux des fonctions de masse initiales. Elle renforce donc la focali-
son. Elle est commutative et associative. La fonction de masse défi-
sation, et diminue la longueur des intervalles de confiance
nie par :
[ Bel, Pls ] .
m 0 ( D ) = 1 et ∀A ⊂ D, A ≠ D, m 0 ( A ) = 0 (39) ■ En pratique, le calcul de la combinaison s'effectue en établissant
la table d'intersection des éléments focaux. Par exemple, si m 1
est élément neutre pour la combinaison. Cette masse représente porte sur C 1 LC 2 (typiquement dans le cas d'une image qui n'est
une source complètement non informative, qui ne distingue aucun pas capable de différencier ces deux classes) et C 3 , et m 2 sur C 1 et
élément de D. Qu'elle ne joue aucun rôle dans la combinaison cor- C 2 LC 3 , les éléments focaux de m 1 1m 2 sont donnés par la table
respond donc bien à l'intuition. La définition de cette fonction de d'intersection suivante : (0)
masse remplace le principe d'indifférence utilisé en probabilités
(équirépartition des probabilités sur tous les éléments), et repré-
sente mieux l'absence d'information. C 1 LC 2 C3
La loi 1 n'est pas idempotente. C1 C1 0
Considérons à nouveau l'exemple précédent, mais avec cette fois C 2 LC 3 C2 C3
les fonctions de masse suivantes :

m 1 ( C 1 ) = 0, 7 m 1 ( C 2 ) = 0, 2 m 1 ( C 3 ) = 0, 1 Les éléments focaux ne sont alors plus que les singletons et

l'ensemble vide. Cet exemple illustre comment la combinaison
m 2 ( C 1 ) = 0, 7 m 2 ( C 2 ) = 0, 2 m 2 ( C 3 ) = 0, 1 conjonctive réduit l'imprécision et résout (ou diminue en général)
l'ambiguïté de chaque source.
Leur fusion non normalisée donne : Supposons maintenant que la modélisation inclut une part
d'ignorance et qu'une masse non nulle soit affectée à D dans les
m 1 1m 2 ( C 1 ) = 0, 49 deux sources. La table d'intersection donne alors : (0)
m 1 1m 2 ( C 2 ) = 0, 04
m 1 1m 2 ( C 3 ) = 0, 01 C 1 LC 2 C3 D
m 1 1m 2 ( 0 ) = 0, 46 C1 C1 0 C1
En normalisant, on obtient : C 2 LC 3 C2 C3 C 2 LC 3
D C 1 LC 2 C3 D
m 1 1m 2 ( C 1 ) = 0, 91
m 1 1m 2 ( C 2 ) = 0, 07
m 1 1m 2 ( C 3 ) = 0, 02 Cette fois, l'ambiguïté n'est que partiellement réduite, et il reste
une masse non nulle sur les éléments imprécis (disjonctions de clas-
Cet exemple illustre la non-idempotence de la règle de combinai- ses). Le conflit en revanche diminue, ce qui est une propriété géné-
son. Les valeurs les plus fortes sont renforcées et les plus faibles rale de la combinaison de masses affaiblies en renforçant D.
diminuées. Il est important également de noter que le conflit entre Prenons maintenant le cas particulier d'une source qui donne une
deux fonctions de masse identiques est non nul, et qu'il est d'autant information certaine sur un sous-ensemble B de D. Cette informa-
plus fort que la masse est répartie sur les singletons. tion se modélise de la manière suivante :
À l'origine, cette règle de combinaison était réputée applicable
seulement sous l'hypothèse d'indépendance des sources. Il a été m B ( B ) = 1 et ∀A ⊂ D, A ≠ B, m B ( A ) = 0 (40)
montré [100][101] que la règle est encore applicable sans cette
hypothèse, en s'appuyant sur l'analogie avec les ensembles fermés Toutes les sources doivent alors être « conditionnées » par m B , afin
aléatoires. De manière moins technique et plus philosophique, de prendre en compte que la vérité ne peut être que dans B. Le
l'indépendance dans le cadre des fonctions de croyance ne doit pas conditionnement se fait simplement en combinant une fonction de
être comprise au sens statistique, mais dans un sens plus masse m avec m B :
« cognitif » [114]. Imaginons par exemple des experts dont on veut
∑
combiner les opinions. Ils ne sont vraisemblablement pas indépen-
∀A ⊂ D, m1m B ( A ) = m(C) (41)
dants statistiquement (s'ils sont experts du même domaine), mais A = BlC
on peut attendre d'eux qu'ils le soit cognitivement, c'est-à-dire que
chacun se forge une opinion sans consulter les autres. C'est à ce qui s'écrit également :
type d'indépendance que s'applique la règle de Dempster, ce qui se
traduit par la non-idempotence de la règle, conduisant à un renfor- ∀A ⊂ D, A ⊄ B, m1m B ( A ) = 0 (42)
cement des fonctions de masse identiques. Sous hypothèse de
dépendance, on souhaiterait au contraire avoir une règle idempo-
tente. Nous reviendrons sur ces considérations dans la théorie des ∀A ⊂ D, A ⊂ B, m1m B ( A ) = ∑ C
m ( ALX ) (43)
ensembles flous. X⊂B

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
© Techniques de l’Ingénieur, traité Télécoms TE 5 230 − 15
FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES __________________________________________________________________

Le conditionnement correspond au modèle de croyances transfé- • Le maximum de crédibilité :

rables [112] : la connaissance de B conduit à transférer toute la
masse sur les sous-ensembles inclus dans B. Ainsi la croyance ini- x ∈ C i si Bel ( C i ) ( x ) = max { Bel ( C k ) ( x ), 1  k  n } (46)
tialement affectée à un sous-ensemble A = A 1 LA 2 (avec A 1 ⊂ B et
A 2 ⊂ B C ) représentait le fait que la vérité pouvait être n'importe où qui est équivalent au critère du maximum de plausibilité dans le cas
dans A. La connaissance de B permet maintenant de préciser l'infor- où le résultat de la combinaison ne porte que sur les singletons.
mation et de réduire A à A 1 . En quelque sorte, la croyance diffuse
dans A est concentrée dans la seule partie qui est incluse dans B. • Le maximum de crédibilité sans recouvrement des intervalles
de confiance (sans risque d'erreur) :
Dans le cas général, ainsi que le montre la formule (36), la combi-
naison est de complexité exponentielle. En pratique, il est rare que x ∈ C i si Bel ( C i ) ( x )  max { Pls ( C k ) ( x ), 1  k  n, k ≠ i } (47)
tous les sous-ensembles de D soient à prendre en compte, et la
complexité reste souvent plus raisonnable. Une complexité linéaire
est obtenue si les masses sont modélisées selon la structure de Bar- cette dernière condition étant particulièrement stricte et pouvant ne
nett [9], c'est-à-dire où les éléments focaux de chaque source sont conduire à aucune décision.
uniquement les singletons et les compléments des singletons. Cette • Le maximum de crédibilité avec rejet [86] :
structure est adaptée à des problèmes de reconnaissance des for-
mes dans lesquels chaque source est un détecteur qui permet de ( x ∈ C i ) si Bel ( C i ) ( x ) = max { Bel ( C k ) ( x ), 1  k  n }
distinguer une classe contre toutes les autres. Mais elle n'est pas C
(48)
générale et ne s'applique pas aux sources qui nécessitent des élé- et Bel ( C i ) ( x )  Bel ( C i )
ments focaux qui soient des disjonctions quelconques.
qui exprime que la décision doit être suffisamment non ambiguë
puisque la condition sera vérifiée si la masse est très focalisée sur
Ci .
4.4 Autres modes de combinaison • Le maximum de probabilité pignistique, celle-ci étant définie par
[113] :
D'autres modes de combinaison, tels que des modes disjonctifs m(A)
ou de compromis, sont possibles, en remplaçant l'intersection dans ∀C j ∈ D , BetP ( C j ) = ∑ ------------------------------------
A (1 – m(0))
(49)
la formule (37) par une autre opération ensembliste. Par exemple, Ci ∈ A
une fusion disjonctive est obtenue en prenant la réunion [114] :
où A désigne le cardinal de A, qui permet de repasser à un
∀A ⊂ D, ( m 1 1 L m 2 1 L …1 L m  ) ( A ) = contexte probabiliste souvent souhaité pour la prise de décision (ou
le pari) ou pour associer cette décision à d'autres critères probabilis-
(44)
∑ m 1 ( B 1 )m 2 ( B 2 )…m  ( B  ) tes, par exemple dans le cadre des champs de Markov pour des cri-
B 1 L…LB  = A tères de régularisation spatiale [116].
Notons que cette combinaison ne peut pas faire apparaître de • Des règles mixtes ont également été proposées, dans lesquelles
conflit. Elle élargit les éléments focaux et fournit donc une informa- la plausibilité est utilisée pour certaines classes et la croyance pour
tion moins précise que chacune des sources. Ce mode de fusion d'autres. Cela permet de favoriser la détection des classes pour les-
peut être intéressant quand on ne sait pas modéliser a priori les fia- quelles on considère la plausibilité [90].
bilités des sources, leurs ambiguïtés et imprécisions. Par exemple, La décision peut également être prise en faveur d'une disjonction.
si une source est focalisée sur A et une autre sur B avec AlB = 0 , Elle est alors imprécise, mais permet de prendre en compte des
une manière de ne pas lever le conflit est de conclure que la vérité mélanges de classes ou des ambiguïtés subsistant après fusion. Ce
est dans ALB , ce que permet la fusion disjonctive. type de décision est intéressant par exemple pour tenir compte de
Toutefois, dans la plupart des applications en fusion d'images, on l'effet de volume partiel, et des voxels qui en sont affectés seront
cherche à obtenir une fonction de masse combinée plus focalisée ainsi classés comme des voxels de mélange, plutôt que comme des
que les fonctions de masse initiales. Ainsi, on préfère la fusion voxels de classes pures, ce qui correspond bien à l'intuition [17]. La
conjonctive, ce qui implique de prendre en compte les imprécisions, décision permet également d'indiquer les éléments pour lesquels la
fiabilités, ambiguïtés de chaque source à l'étape de modélisation. fusion ne suffit pas à lever les ambiguïtés et donc de suggérer
Elle constitue alors l'étape la plus cruciale et qui requiert le plus l'acquisition de nouvelles informations, ainsi que l'exploite la fusion
d'attention. active [59][99].
• Enfin, des règles de décision avec coût ont été proposées [45].
Pour toute fonction f de D dans R , les espérances inférieure et supé-
rieure de f relativement à une fonction de croyance Bel, au sens de
4.5 Décision Dempster, sont définies par :

Une fois calculées les fonctions de masse combinées, les fonc-

tions de croyance et de plausibilité sont déduites par les équations
E* ( f ) = ∑ m ( A ) min f ( C i )
Ci ∈ A
(50)
A⊂D
(15) et (17). La dernière étape est celle de la décision, donc du choix
d'un sous-ensemble de D maximisant un certain critère. Dans la
suite, m, Bel et Pls désignent les fonctions de masse, de croyance et
de plausibilité obtenues après combinaison.
E* ( f ) = ∑ m ( A ) max f ( C i )
Ci ∈ A
(51)
A⊂D
Dans la théorie des fonctions de croyances, plusieurs règles de
décision sont possibles, et la plupart sont appliquées au choix d'un Les règles de décision avec coût s'obtiennent alors en prenant pour
singleton C i . f une fonction qui exprime le coût de l'action α lorsque l'élément
• Le maximum de plausibilité : sur lequel porte la décision appartient à la classe C i . Cette fonction
de coût peut également être introduite dans une règle de décision
x ∈ C i si Pls ( C i ) ( x ) = max { Pls ( C k ) ( x ), 1  k  n } (45) avec coût probabiliste classique, en utilisant la probabilité pignis-
tique. Ainsi la décision peut être optimiste si l'espérance inférieure
cette règle étant optimale au sens de critères d'inspiration probabi- est minimisée, pessimiste si l'espérance supérieure est minimisée,
liste pour des fonctions de masse dérivées de probabilités [3]. ou intermédiaire si la probabilité pignistique est utilisée.

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
TE 5 230 − 16 © Techniques de l’Ingénieur, traité Télécoms
_________________________________________________________________ FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES

tion π s'interprète alors comme la fonction d'appartenance au sous-

5. Fusion floue et possibiliste ensemble flou de S des valeurs possibles pour cette variable. Dans
le cadre de la fusion numérique d'images, une application possible
de cette théorie consiste à prendre S = D (l'ensemble des classes)
j
et à définir la mesure M i par :
5.1 Modélisation
j x
Mi ( x ) = πj ( Ci ) (56)
■ Parmi les techniques non probabilistes qui ont fait leur apparition c'est-à-dire comme le degré de possibilité pour que la classe à
depuis une dizaine d'années en traitement d'images, la théorie des laquelle appartient x prenne la valeur C i , selon l'image I j . On défi-
ensembles flous fournit un très bon outil pour représenter explicite- nit ainsi une distribution de possibilités par image et par élément x.
ment des informations imprécises, sous la forme de fonctions La possibilité et la nécessité pour une classe C i s'écrivent alors :
j
d'appartenance [7][69][129]. La mesure M i ( x ) prend alors la forme :
Π j ( { C i } ) = π j ( C i ) , N j ( { C i } ) = inf { ( 1 – π j ( C k ) ), C k ≠ C i } (57)
j j
Mi ( x ) = µi ( x ) , (52)
Pour un sous-ensemble quelconque A de D, la possibilité et la
j nécessité sont calculées d'après les formules (53) et (54).
où µ i ( x ) désigne par exemple le degré d'appartenance de x à la
classe C i selon l'image I j , ou la traduction d'une information sym- Cette modélisation suppose que les classes sont nettes, alors que
bolique exprimée par une variable linguistique (par exemple [44]). le modèle flou défini par l'équation (52) suppose que les classes
sont floues.
On trouve dans la littérature essentiellement deux approches
pour l'utilisation des ensembles flous en traitement d'image [14] : la ■ De manière plus générale, on trouve dans la littérature trois inter-
première est de type plutôt symbolique et exprime sous forme de prétations pour le flou, en termes de plausibilités, de similarités, de
règles floues l'appartenance de certaines structures à une classe en préférences [56]. On retrouve ces interprétations en fusion d'ima-
fonction des mesures obtenues par traitement d'image ; la ges. L'interprétation en termes de plausibilités se retrouve dans
deuxième utilise les ensembles flous pour représenter directement l'appartenance à une classe, dans la définition d'un objet spatial flou
les classes ou structures dans l'image, recouvrant spatialement les (objet de limites imprécises). L'interprétation en termes de similari-
objets d'une mesure floue. tés est celle de la définition d'une classe floue sur un espace de
Considérons l'exemple de la classe « route » dans une image satel- caractéristiques comme fonction de la distance à un prototype par
litaire. Dans la première approche, on décrira la route sous forme lin- exemple, de variables linguistiques représentant des informations
guistique du type « une route est une structure plutôt allongée ». ou des connaissances sur des objets spatiaux, ou encore de degrés
L'appartenance d'un objet à la classe route sera alors représentée par de satisfaction d'une relation, d'une contrainte. Enfin, les préféren-
une fonction associant à sa longueur un degré dans [0, 1]. Un algo- ces se retrouvent dans l'expression de critères de choix (par exem-
rithme quelconque de détection de contours parallèles permettra alors ple pour des applications de planification en robotique), souvent liés
d'affecter aux objets qu'il détecte un degré d'appartenance à la classe à des contraintes ou des connaissances externes à l'image.
route suivant leur longueur. Dans la deuxième approche, la route sera
directement représentée sur l'image par un ensemble flou, avec des
degrés d'appartenance forts au centre de la chaussée et voisins de 0 5.2 Définition des fonctions
dans les champs ou les forêts. d’appartenance
Ces fonctions ne souffrent pas des contraintes axiomatiques ou des distributions de possibilités
imposées aux probabilités et offrent donc une plus grande sou-
plesse lors de la modélisation. Cette souplesse peut être considérée La construction des fonctions d'appartenance ou distributions de
comme un inconvénient puisqu'elle laisse facilement l'utilisateur possibilités peut être effectuée de plusieurs manières.
démuni pour définir ces fonctions. L'inconvénient des ensembles
Dans la plupart des applications, cette construction est faite soit
flous est qu'ils représentent essentiellement le caractère imprécis
en s'inspirant directement des méthodes d'apprentissage probabi-
des informations, l'incertitude étant représentée de manière impli-
liste, soit par des heuristiques, soit par des méthodes neuro-
cite et n'étant accessible que par déduction à partir des différentes
mimétiques permettant d'apprendre les paramètres de formes
fonctions d'appartenance.
particulières de fonctions d'appartenance, soit enfin par la minimi-
■ La théorie des possibilités [53][130], dérivée des ensembles sation de critères de classification [11]. Décrivons maintenant les
flous, permet de représenter à la fois l'imprécision et l'incertitude, principales méthodes.
par l'intermédiaire de distributions de possibilités π sur un ensem-
■ Une première méthode consiste à définir la fonction d'apparte-
ble S et de deux fonctions caractérisant les événements : la possibi-
nance d'une classe floue à partir de la fonction d'intensité I (les
lité Π et la nécessité N, définies à partir de la distribution de
niveaux de gris) de l'image :
possibilité pour un événement A ⊂ S par :
µi ( x ) = Fi [ I ( x ) ] (58)
Π ( A ) = sup { π ( s ), s ∈ A } (53)
où F i est une fonction à déterminer en fonction du problème.
N ( A ) = inf { ( 1 – π ( s ) ), s ∉ A } = 1 – Π ( AC ) (54)
Les fonctions les plus utilisées sont des fonctions de normalisa-
où AC désigne le complémentaire de A (l'événement contraire). tion ou des fonctions en S [95] (ce qui revient à considérer que les
parties claires de l'image ont une appartenance élevée à la classe),
On introduit parfois une contrainte de normalisation, plus faible
des fonctions Π (monomodales, elles associent la classe à une
que dans les probabilités :
plage de niveaux de gris aux frontières imprécises), ou encore des
sup { π ( x ), x ∈ S } = 1 (55) fonctions multimodales.
Ces fonctions sont souvent déterminées de manière supervisée,
Cette contrainte correspond à une hypothèse de monde clos dans mais elles peuvent également être apprises, par exemple à partir
lequel au moins un élément de S est complètement possible. d'algorithmes de classification automatique tels que les C-moyen-
Une distribution de possibilités s'interprète comme une fonction nes floues [11] ou les C-moyennes possibilistes [72] (voir par exem-
donnant le degré de possibilité pour qu'une variable prenne la ple [12] pour une revue des algorithmes de classification floue
valeur s, S étant le domaine des valeurs de la variable. La distribu- utilisés en traitement d'images). L'inconvénient principal des

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
© Techniques de l’Ingénieur, traité Télécoms TE 5 230 − 17
FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES __________________________________________________________________

C-moyennes floues est que les fonctions d'appartenance ont une ■ D'autres méthodes cherchent à estimer directement les fonctions
forme contre-intuitive : les valeurs d'appartenance à une classe ne d'appartenance à partir de l'histogramme, afin d'optimiser des critè-
sont pas décroissantes en fonction de la distance au centre de la res d'entropie [36], ou de minimum de spécificité et de cohérence
classe. Ce problème est évité avec les C-moyennes possibilistes. [37].
■ D'autres caractéristiques peuvent être utilisées. Par exemple, Dans tous les cas, ces méthodes cherchent une ressemblance
l'ensemble des contours d'une image peut être défini par un ensem- entre l'histogramme et les fonctions d'appartenance ou les distribu-
ble flou spatial dont la fonction d'appartenance est une fonction du tions de possibilités, et ne prennent pas en compte les interprétations
gradient de l'image : spécifiques au flou qui invalident certaines de ces ressemblances.
Par exemple, les queues des histogrammes correspondent aux clas-
µ i ( x ) = F i [ ∇I ( x ) ] , (59) ses peu représentées, donc avec des valeurs qui peuvent être très fai-
bles, même si les points concernés appartiennent bien aux classes
où F est une fonction décroissante du gradient. correspondantes. La méthode proposée dans [25] permet d'éviter ce
Si l'on dispose de détecteurs d'objets particuliers, la fonction problème grâce à un critère combinant la ressemblance des fonc-
d'appartenance à ces objets est alors définie comme une fonction tions d'appartenance et de l'histogramme là où elle a un sens, et une
de la réponse à ces détecteurs (le cas des contours fait partie de forme a priori des fonctions correspondant à l'interprétation recher-
cette catégorie). Par exemple, un détecteur de routes peut fournir chée. Les paramètres des fonctions d'appartenance sont alors esti-
dans une image satellitaire une réponse d'amplitude croissante més pour optimiser ce critère, par une méthode de recuit simulé.
avec l'appartenance à la route.
Dans le cas de variables linguistiques, les formes des fonctions
d'appartenance et leurs paramètres sont souvent définies par l'utili-
sateur. 5.3 Combinaison
L'imprécision spatiale sur la délimitation des classes (si les fonc-
tions d'appartenance sont définies sur l'espace de l'image) peut être
introduite à partir d'une détection préliminaire binaire des classes. Un des intérêts de la théorie des ensembles flous et des possibili-
On construit alors une fonction d'appartenance qui vaut 1 à l'inté- tés, outre qu'elle impose peu de contraintes au niveau de la modéli-
rieur de la région binaire à une certaine distance des bords, 0 à sation, est qu'elle offre une grande variété d'opérateurs de
l'extérieur de cette région également à une certaine distance des combinaison. Nous en présentons les principaux, puis nous don-
bords, et décroissante entre ces deux limites. Par exemple, on peut nons quelques indications permettant de choisir un opérateur de
modéliser une zone d'imprécision au bord de la classe comme la fusion en fonction de ses propriétés et de son comportement.
zone comprise entre l'érodé et le dilaté de cet objet, la taille de ces Une caractéristique importante, commune à toutes les théories,
opérations dépendant de l'extension spatiale de l'imprécision que de ces opérateurs de combinaison est qu'ils fournissent un résultat
n
l'on veut représenter. Si R est la région binaire de départ, E ( R ) son de même nature que les fonctions de départ (propriété de ferme-
m
érodé de taille n et D ( R ) son dilaté de taille m, la fonction d'appar- ture) et qui a donc la même interprétation en termes d'imprécision
tenance à la classe floue peut être définie par : et d'incertitude. Ainsi, ils permettent de ne prendre aucune décision
n
µ ( x ) = 1 si x ∈ E ( R ) , (60) binaire partielle avant la combinaison, ce qui pourrait conduire à
des contradictions difficiles à lever. La décision n'est prise qu'en
µ ( x ) = 0 si x ∈ D ( R )
m C
(61) dernier lieu, sur le résultat de la combinaison.

n
µ ( x ) = F [ d ( x, E ( R ) ) ] sinon (62)
n
où F est une fonction décroissante de la distance de x à E ( R ) . 5.3.1 Opérateurs
■ La construction de distributions de possibilités peut également
être effectuée à partir d'un apprentissage probabiliste, puis par une Dans la théorie des ensembles flous et des possibilités, de multi-
transformation de probabilité en possibilité. Plusieurs méthodes ont ples modes de combinaison sont possibles [52][126]. Parmi les prin-
été proposées pour cela. L'avantage essentiel en traitement d'ima- cipaux opérateurs on trouve en particulier les t-normes, les t-
ges est que l'on dispose souvent d'informations statistiques, en par- conormes [89][107], les moyennes [64][125], les sommes symétri-
ticulier l'histogramme de l'image, qui se prêtent bien à l'emploi de ques, et des opérateurs prenant en compte des mesures de conflit
méthodes d'apprentissage statistiques. On obtient alors des distri- ou encore de fiabilité des sources [47][55]. Rappelons les définitions
butions de probabilités p k . Leur transformation en distributions de de ces opérateurs. Dans ce qui suit, les lettres x, y, etc., désignent les
possibilités π k (les deux distributions sont supposées discrètes, et valeurs à combiner, valeurs dans [0, 1] représentant µ ij ou π j ( C i ) .
1  k  K ) est effectuée en fonction de différents critères [48][51]
[71], tels que la préservation de l'ordre, des contraintes de normali- ■ Normes et conormes triangulaires
sation, la conservation de l'incertain mesuré par l'entropie [71], la ● Une norme triangulaire ou t-norme est une fonction
cohérence p – π , exprimée par [43] : t : [0, 1] × [0, 1] → [0, 1] telle que :
2
∀ k, π k  p k 1. t est commutative : ∀( x, y ) ∈ [ 0, 1 ] , t ( x, y ) = t ( y, x ) ;
3
2. t est associative : ∀( x, y, z ) ∈ [ 0, 1 ] , t [ t ( x, y ), z ] = t [ x, t ( y, z ) ] ;
qui n'est pas très satisfaisante (une classe peu probable peut être
possible), ou [130] : 3. 1 est élément neutre : ∀x ∈ [ 0, 1 ], t ( x, 1 ) = t ( 1, x ) = x ;
K
4. t est croissante par rapport aux deux variables :
∑ pk πk = c
k=1 4
∀( x, x ′, y, y ′ ) ∈ [ 0, 1 ] , ( x  x ′ et y  y ′ ) ⇒ t ( x, y )  t ( x ′, y ′ ) .
où c est une constante dans [0, 1],
ou encore une relation plus générale sur tous les sous-ensembles A De plus, on a : t ( 0, 1 ) = t ( 0, 0 ) = t ( 1, 0 ) = 0 ; t ( 1, 1 ) = 1 et 0 est
[50] : élément absorbant ( ∀x ∈ [ 0, 1 ], t ( x, 0 ) = 0 ) .
N(A)  P(A)  Π(A)
Exemple : les opérateurs min(x, y), xy, max (0, x + y – 1) sont des
Une comparaison de ces approches peut être trouvée dans [71]. t-normes, de loin les plus usitées.

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
TE 5 230 − 18 © Techniques de l’Ingénieur, traité Télécoms
_________________________________________________________________ FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES

● Une complémentation floue est une fonction c de [0, 1] dans Les moyennes qui vérifient cette propriété, qui sont continues et
[0, 1] telle que : strictement croissantes ont la forme générale suivante :
1. c ( 0 ) = 1 ;
–1 k(x) + k(y)
2. c ( 1 ) = 0 ; m ( x, y ) = k -----------------------------
2
3. c est involutive : ∀x ∈ [ 0, 1 ], c ( c ( x ) ) = x ;
où k est une fonction continue strictement croissante de [0, 1] dans
4. c est strictement décroissante.
[0, 1]. La fonction k peut s'interpréter comme un changement
Comme il est difficile de construire directement des fonctions d'échelle ou de dynamique des valeurs à combiner. Celles-ci, une
involutives, il est intéressant de les caractériser par une forme géné- fois transformées par k, sont alors combinées par une simple
rale de construction plus simple. Ainsi, les complémentations conti- moyenne arithmétique, puis on ramène le résultat à l'échelle initiale.
nues ont la forme générale suivante : c ( x ) = ϕ –1 [ 1 – ϕ ( x ) ] avec
α
ϕ : [0, 1] → [0, 1], telle que ϕ ( 0 ) = 0, ϕ ( 1 ) = 1 , ϕ est strictement Les moyennes les plus classiques sont obtenues pour k ( x ) = x . La
croissante. Il existe de multiples fonctions ϕ vérifiant ces propriétés x+y
et il est facile d'en exhiber. moyenne arithmétique ------------- est obtenue pour α = 1 , la moyenne
2
Exemple : l'exemple le plus simple est ϕ (x ) = x n qui permet de 2
x +y
2
2xy
construire la complémentation c (x ) = (1 –x n )1/n. La forme la plus uti- quadratique ------------------ pour α = 2 , la moyenne harmonique -------------
2 x+y
lisée est c (x ) = 1 – x, obtenue pour n = 1
pour α = – 1 , la moyenne géométrique xy pour α = 0 . À la
● Une t-conorme est une fonction T : [0, 1] × [0, 1] → [0, 1] telle limite, quand α tend vers – ∞ ou +∞ , m tend vers le min ou le max.
que :
2
On trouve également dans la classe des opérateurs de moyenne
1. T est commutative : ∀( x, y ) ∈ [ 0, 1 ] , T ( x, y ) = T ( y, x ) ; les moyennes pondéréees, les OWA (ordered weighted average)
3
2. T est associative : ∀( x, y, z ) ∈[ 0, 1 ] , T [ T ( x, y ), z ] = T [ x, T ( y, z ) ] ; [125] et les intégrales floues [64].

3. 0 est élément neutre : ∀x ∈ [ 0, 1 ], T ( x, 0 ) = T ( 0, x ) = x ; ■ Sommes symétriques

4. T est croissante par rapport aux deux variables. Les sommes symétriques sont définies par une propriété d'auto-
dualité, qui correspond à l'invariance du résultat de l'opération par
De plus, on a : T ( 0, 1 ) = T ( 1, 1 ) = T ( 1, 0 ) = 1 ; T ( 0, 0 ) = 0 et
inversion de l'échelle des valeurs à combiner. Plus précisément, une
1 est élément absorbant ( ∀x ∈ [ 0, 1 ], T ( x, 1 ) = 1 ) .
somme symétrique est une fonction σ : [0, 1] × [0, 1] → [0, 1] telle
Exemples : les plus classiques sont : que :
max(x, y), x + y – xy, min(1, x + y) 1. σ ( 0, 0 ) = 0 ;

● Une propriété importante est la dualité entre les t-normes et les 2. σ est commutative ;
t-conormes par rapport à la complémentation : pour toute t-norme 3. σ est croissante par rapport à deux variables ;
t (respectivement t-conorme T), on peut construire une t-conorme T 2
(respectivement t-norme t) par l'équation de la dualité 4. σ est autoduale : ∀( x, y ) ∈ [ 0, 1 ] , σ ( x, y ) = 1 – σ ( 1 – x, 1 – y )
2
On a de plus σ ( 1, 1 ) = 1 .
∀ ( x, y ) ∈ [ 0, 1 ] , T [ c ( x ) , c ( y ) ] = c [ t ( x , y ) ]
Notons que l'autodualité s'oppose à la dualité mentionnée entre
Ainsi le min et le max sont des opérateurs duaux par exemple. les t-normes et les t-conormes. Pour ces opérateurs, inverser
l'échelle entraîne le changement de type d'opérateur.
Il existe des formes génériques pour des t-normes et des t-conor-
mes ayant des propriétés particulières, que nous ne détaillons pas La forme générale des sommes symétriques est donnée par :
ici.
g ( x, y )
σ ( x, y ) = --------------------------------------------------------------
■ Opérateurs de moyenne g ( x , y ) + g ( 1 – x, 1 – y )
Un opérateur de moyenne est une fonction m : [0, 1] × [0, 1] → [0, 1]
telle que : où g est une fonction de [0, 1] × [0, 1] dans [0, 1], croissante, posi-
tive, continue telle que g ( 0, 0 ) = 0 . Typiquement on peut prendre
1. le résultat de la combinaison est toujours compris entre le min
pour g une t-norme ou une t-conorme continue.
et le max :
Voici quelques exemples de sommes symétriques :
2
∀( x, y ) ∈ [ 0, 1 ] , min ( x, y )  m ( x, y )  max ( x, y ) ,
xy
mais σ 0 ( x, y ) = --------------------------------------
1 – x – y + 2xy
m ≠ min et m ≠ max ;
obtenue pour g ( x, y ) = xy (associative),
2. m est commutative ;
x + y – xy
3. m est croissante par rapport aux deux variables. σ + ( x, y ) = ---------------------------------------
1 + x + y – 2xy
La première propriété entraîne que m est toujours une opération
idempotente : obtenue pour g ( x, y ) = x + y – xy (non associative),
∀ x ∈ [ 0, 1 ] , m ( x , x ) = x min ( x, y )
σ min ( x, y ) = ------------------------
1– x–y
Ces opérateurs ne sont en général pas associatifs. Les seules
moyennes qui le soient sont les médianes, où m ( x, y ) est la valeur obtenue pour g ( x, y ) = min ( x, y ) (qui est une moyenne),
médiane de x, y et d’un paramètre α .
max ( x, y )
Une propriété plus faible que l'associativité est la bissymétrie : σ max ( x, y ) = -------------------------
1+ x–y
4
∀ ( x, y, z , t ) ∈ [ 0, 1 ] , m [ m ( x , y ) , m ( z , t ) ] = m [ m ( x , z ) , m ( y , t ) ] obtenue pour g ( x, y ) = max ( x, y ) (qui est une moyenne),

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
© Techniques de l’Ingénieur, traité Télécoms TE 5 230 − 19
FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES __________________________________________________________________

■ Opérateurs dépendant d'autres informations Si on a de plus accès à des valeurs numériques de fiabilité (ce qui
Les opérateurs décrits précédemment se caractérisent par le fait est beaucoup plus contraignant que l'hypothèse précédente), on
que le résultat d'une combinaison ne dépend que des valeurs à peut alors transformer les distributions de possibilités en distribu-
combiner. D'autres opérateurs dépendent d'informations supplé- tions ayant des fiabilités équivalentes. Soit w j le coefficient de fia-
mentaires, telles que de facteurs de fiabilité ou du conflit. Tous les bilité de π j . Si la source est complètement fiable, ce coefficient vaut
opérateurs décrits dans ce paragraphe ont été proposés dans [55]. 1, et il vaut 0 si la source n'est pas fiable du tout. La transformation
de π j se fait selon la formule :
Considérons par exemple le cas de la combinaison conjonctive de
deux distributions de possibilités π 1 et π 2 définies sur D. Ce type de
max ( π j , 1 – w j ) (68)
combinaison est bien adapté au cas où les distributions ont un
recouvrement au moins partiel, c'est-à-dire que certaines classes
sont données comme possibles par les deux sources. Si ce n'est pas ce qui revient à faire une disjonction entre π j et une distribution
le cas, les sources sont en conflit, et une mesure du conflit peut être : constante de valeur 1 – w j . Ainsi, si la source est complètement fia-
ble, la distribution correspondante n'est pas modifiée, alors que, si
conf ( π 1, π 2 ) = 1 – max min ( π 1 ( c ), π 2 ( c ) ) (63) elle n'est pas du tout fiable, la distribution devient constante et
c∈D égale à 1, ce qui représente l'ignorance (tout élément de D est com-
plètement possible). Une fois les distributions transformées, elles
qui représente 1 moins la hauteur de l'intersection entre les deux peuvent alors être combinées de manière conjonctive.
distributions (calculée par un min dans cette équation). La combi-
naison peut être normalisée par cette hauteur, mais cela masque le D'autres opérateurs de ce type peuvent être trouvés dans [56],
conflit : une possibilité de 1 est alors affectée aux classes données mais nous ne les détaillons pas plus ici.
comme les plus possibles par les deux sources, même si cette pos- Ces opérateurs peuvent être également utilisés de manière condi-
sibilité est faible (on retrouve ici le même type de problème que tionnelle aux classes, pour prendre en compte les spécificités des
celui mentionné dans le paragraphe 4.3 pour la combinaison sources pour chaque classe. Par exemple, deux sources peuvent
conjonctive des fonctions de croyance). L'interprétation de cette être en conflit sur une classe mais pas sur les autres, une source
quantité en termes de conflit correspond bien à l'intuition pour des peut être fiable pour certaines classes et pas pour d'autres, etc. Bien
distributions de possibilités en triangle ou en trapèze (monomoda- que ces idées ne soient pas encore beaucoup exploitées en fusion
les de manière générale), mais n'est pas très bien adaptée à des for- floue d'images, le cadre théorique le permet.
mes quelconques où un seul point peut engendrer une forte valeur
de conflit même si les deux distributions ne différent qu'en ce point.
Dans le cas extrême où les distributions sont complètement 5.3.2 Choix des opérateurs
conflictuelles, la combinaison conjonctive donne une distribution
identiquement nulle. Une combinaison disjonctive est alors préféra-
ble, et permet de garder toutes les solutions données comme possi- Le choix d'un opérateur peut se faire selon plusieurs critères pour
bles par au moins une des deux sources. L'hypothèse sous-jacente la fusion d'images [16].
est qu'au moins une des sources est fiable. ■ Un premier critère est le comportement de l'opérateur. Des
Afin de choisir automatiquement le comportement de la fusion en comportements sévères, indulgents ou prudents se traduisent sous
fonction du conflit, des opérateurs dépendant de celui-ci ont été pro- forme mathématique de conjonction, disjonction ou compromis.
posés. En voici quelques exemples : Soit x et y deux réels (dans [0, 1]) représentant les degrés de
confiance à combiner. La combinaison de x et y par un opérateur F
min ( π 1, π 2 ) est dite :
max ------------------------------------------, conf ( π 1, π 2 ) (64)
1 – conf ( π 1, π 2 ) • conjonctive si F ( x, y )  min ( x, y ) (correspondant à un com-
portement sévère) ;
min ( π 1, π 2 ) • disjonctive si F ( x, y )  max ( x, y ) (comportement indulgent) ;
min 1, ------------------------------------------ + conf ( π 1, π 2 ) (65)
1 – conf ( π 1, π 2 ) • de compromis si x  F ( x, y )  y si x  y , et y  F ( x, y )  x
sinon (comportement prudent).
min ( π 1, π 2 ) Cette distinction ne suffit pas à classer les opérateurs dont le
max ------------------------------------------, min [ max ( π 1, π 2 ) ], conf ( π 1, π 2 ) (66)
1 – conf ( π 1, π 2 ) comportement n'est pas toujours le même. Ainsi, la classification
définie dans [16] ne décrit pas les opérateurs seulement comme
Les deux premières formes combinent la conjonction normalisée à conjonctifs ou disjonctifs, mais aussi en fonction de leur comporte-
une distribution constante ayant pour valeur le conflit, alors que la ment selon les valeurs des informations à combiner. Ainsi, les trois
dernière forme permet de passer d'une combinaison strictement classes proposées correspondent :
conjonctive lorsque le conflit est nul à une combinaison strictement 1) aux opérateurs autonomes à comportement constant (ACC) :
disjonctive lorsque le conflit vaut 1. Cependant cet opérateur n'est le résultat ne dépend que des valeurs à combiner (le calcul ne fait
pas associatif. Notons que le min pourrait être remplacé par une intervenir aucune autre information) et le comportement est le
autre t-norme. même quelles que soient ces valeurs ;
Lorsque les sources sont inégalement fiables et que l'on a une 2) aux opérateurs autonomes à comportement variable (ACV) : le
information sur cette fiabilité, le niveau du conflit entre deux sour- comportement dépend des valeurs numériques des informations à
ces indique dans quelle mesure on peut prendre en compte l'infor- fusionner ;
mation de la source la moins fiable. Si par exemple π 1 est plus
fiable que π 2 , on peut considérer que si elles sont concordantes, π 2 3) aux opérateurs dépendant du contexte (DC), par exemple
peut apporter une information et rendre la fusion plus précise par d'une connaissance plus globale telle que la fiabilité des capteurs,
conjonction. Si au contraire les deux sources sont en conflit, il est ou encore le conflit entre les sources.
préférable de ne pas prendre en compte π 2 . L'opérateur suivant Les opérateurs de fusion floue se répartissent dans les trois clas-
modélise ce comportement : ses. En effet, les t-normes, qui généralisent l'intersection ensem-
bliste aux ensembles flous, sont des opérateurs ACC conjonctifs,
min [ π 1, max [ π 2, conf ( π 1, π 2 ) ] ] (67) puisque pour toute t-norme t, on a:
Cela ne suppose que de connaître un ordre entre les fiabilités des 2
sources. ∀( x, y ) ∈ [ 0, 1 ] , t ( x, y )  min ( x, y )

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
TE 5 230 − 20 © Techniques de l’Ingénieur, traité Télécoms
_________________________________________________________________ FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES

À l'opposé, les t-conormes, généralisant la réunion, sont des opéra- • Les propriétés de commutativité et d'associativité expriment
teurs ACC disjonctifs, puisque pour toute t-conorme T, on a : que le résultat de la combinaison est indépendant de l'ordre dans
lequel les informations sont combinées. Si la commutativité est
2
∀( x, y ) ∈ [ 0, 1 ] , T ( x, y )  max ( x, y ) satisfaite par tous les opérateurs couramment utilisés, l'associati-
vité ne l'est pas systématiquement (les moyennes et les sommes
Les opérateurs de moyenne sont également ACC et ont un compor- symétriques ne sont en général pas associatives). Ces deux pro-
tement de compromis, puisqu'ils vérifient : priétés sont souvent posées comme les propriétés minimales que
les opérateurs de fusion doivent satisfaire. Pourtant, le mode de
2 raisonnement humain ne les respecte pas toujours. Par exemple,
∀( x, y ) ∈ [ 0, 1 ] , min ( x, y )  m ( x, y )  max ( x, y )
un photo-interprète commence souvent par construire une inter-
Notons que la fusion bayésienne, où l'opérateur impliqué est un prétation primaire d'une scène à partir d'une seule image, puis
produit, et la fusion des fonctions de croyances par la somme ortho- améliore cette inteprétation à l'aide des autres images, selon un
gonale de Dempster sont également conjonctives. processus qui n'est clairement pas commutatif.
Dans la classe des opérateurs ACV, on trouve par exemple certai- • L'existence d'un élément neutre signifie qu'une source don-
nes sommes symétriques. De manière générale, toute somme nant cette valeur n'aura aucune influence sur le résultat de la
symétrique associative σ (sauf les médianes) a le comportement combinaison, et représente une sorte d'indifférence de la source
suivant [53] : par rapport à l'information recherchée, ou encore une ignorance
totale de celle-ci. Un tel élément existe pour les t-normes et les
— conjonctif si max ( x, y ) < 1 ⁄ 2 : σ ( x, y )  min ( x, y ) ; t-conormes.
— disjonctif si min ( x, y ) > 1 ⁄ 2 : ˙ σ ( x, y )  max ( x, y ) ; • Autre élément particulier, un élément absorbant signifie
— de compromis si x  1 ⁄ 2  y : x  σ ( x, y )  y (et l'inégalité qu'une source donnant cette valeur est complètement détermi-
contraire si y  1 ⁄ 2  x ). nante sur le résultat de la fusion. De tels éléments existent égale-
ment pour les t-normes et les t-conormes.
Les sommes symétriques non associatives ont également un
comportement qui varie, mais selon des règles moins simples [16]. • La propriété de croissance est généralement imposée aux
opérateurs et correspond bien à l'intuition.
On trouve également dans la classe ACV les opérateurs proposés • Des conditions aux limites, définissant le comportement des
dans le système MYCIN pour combiner des facteurs de certitude opérateurs lorsque les informations à combiner prennent des
[109]. valeurs extrêmes, permettent de garantir la compatibilité avec le cas
Des exemples d'opérateurs DC se trouvent dans la théorie des binaire, où toutes les propositions sont soit justes soit fausses (cela
possibilités. Nous avons présenté plus haut des opérateurs dépen- correspond à la contrainte de compatibilité avec la logique déduc-
dant d'une mesure globale de conflit entre les deux sources d'infor- tive imposée par Cox pour définir une logique inductive [40]).
mation [55], applicables aux cas où l'une des deux informations est • La propriété de continuité satisfaite par la plupart des opéra-
fiable sans qu'on sache laquelle, de telle sorte que : teurs garantit la robustesse de la fusion. Cependant, cette pro-
— ils sont conjonctifs si les sources sont consonantes (de faible priété n'est pas toujours nécessaire, puisque les phénomènes
conflit) : dans ce cas, les deux sources sont nécessairement fiables, naturels (en particulier les phénomènes temporels) ne sont pas
et donc l'opérateur peut être sévère ; toujours continus.
— ils sont disjonctifs si les sources sont dissonantes (de fort • L'idempotence signifie que la donnée d'une information déjà
conflit) : une disjonction favorise alors l'ensemble des possibilités disponible ne va pas changer le résultat de la fusion. Cette propriété
données par les deux sources ; n'est pas systématiquement imposée. Elle est vérifiée par les
— ils se comportent comme un compromis dans les cas de conflit moyennes, par la t-norme min et la t-conorme max (et ce sont les
partiel : ces cas posant le plus de problèmes, les opérateurs sont seules). On peut vouloir au contraire que la combinaison de deux
alors « prudents ». valeurs identiques renforce ou affaiblisse le résultat global. Prenons
La difficulté est alors de trouver une bonne mesure de conflit. Celle l'exemple de témoignages simultanés identiques. Si les témoins
proposée comme le maximum de l'intersection entre deux distribu- sont de connivence, il n'est pas surprenant qu'ils disent la même
tions de possibilités [55] n'est pas toujours bien adaptée aux problè- chose et on combinera donc les degrés de confiance associés de
mes de traitement d'images, en particulier pour la classification manière idempotente. Si au contraire ils sont complètement indé-
d'images multisources. Les distances floues (voir par exemple [21]) pendants, on renforcera la crédibilité de ce qu'ils disent si on leur
peuvent apporter des solutions à ce problème. fait confiance, ou on l'affaiblira si on ne leur fait pas confiance.
Notons que des règles de combinaison modélisant ces comporte-
L'avantage des opérateurs DC pour le traitement d'images est ments sont connues depuis Bernoulli. De manière générale, on peut
indéniable. En effet, ils permettent de prendre en compte une considérer que si les sources sont dépendantes (au sens cognitif),
grande variété de situations, dont plusieurs se produisent fréquem- l'idempotence peut être imposée, alors que si elles sont indépen-
ment simultanément en traitement d'images. En voici quelques dantes, des effets de renforcement peuvent être souhaitables.
exemples :
• Dans le même ordre d'idées, la propriété de nilpotence sera
— les sources peuvent être conflictuelles lorsqu'elles donnent imposée par exemple pour combiner des témoignages succes-
des informations sur un type d'événement (une classe par exemple) sifs, afin de modéliser la dégradation de l'information dans une
et consonantes pour une autre classe ; chaîne de témoins qui ne sont pas complètement fiables. Par
— les sources peuvent avoir des fiabilités globales différentes ; exemple pour certaines t-conormes, la satisfaction de cette pro-
— une source peut être fiable pour une classe et peu fiable pour priété permet d'aboutir à un résultat égal à 1 en combinant un cer-
une autre, etc. tain nombre de mesures non toutes nulles. Ce type de
Malheureusement ces opérateurs sont encore, selon nous, trop peu comportement peut être utile quand les informations résultent
développés en traitement d'images, et mériteraient des recherches d'une longue chaîne de traitements.
spécifiques. • Les propriétés du tiers exclu et de non-contradiction, satisfai-
Cette classification, qui regroupe tous les opérateurs classique- tes pour certains opérateurs seulement, ont une interprétation
ment utilisés, constitue un premier critère de choix d'un opérateur reconnue en termes de raisonnement, dans le domaine de l'intel-
pour une application spécifique. ligence artificielle et du raisonnement approché. En traitement
d'images, on trouve des exemples où le tiers exclu n'est pas sou-
■ Un deuxième critère est donné par les propriétés des opérateurs haitable dès que l'on a besoin d'introduire de l'ignorance sur un
et leur interprétation en termes de fusion de données incertaines, événement et son complémentaire, et donc de relâcher la
imprécises, incomplètes ou encore ambiguës. contrainte d'exhaustivité faite par exemple en probabilités.

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
© Techniques de l’Ingénieur, traité Télécoms TE 5 230 − 21
FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES __________________________________________________________________

La généralisation de tout ce qui précède à la combinaison de plus

de deux informations ne pose pas de difficulté particulière (on 6. Introduction
retrouve en particulier les mêmes types de comportement, avec des
règles un peu plus compliquées pour les opérateurs ACV), sauf pour
d’informations spatiales
les opérateurs non associatifs. La question principale pour de tels
opérateurs est de savoir dans quel ordre combiner les informations.
dans la fusion
Plusieurs situations peuvent se produire :
— dans certaines applications, chaque information doit être L'information spatiale est fondamentale en traitement d'images.
combinée aux autres dès qu'elle est disponible (par exemple pour Son introduction dans les méthodes de fusion est cruciale, et néces-
pouvoir prendre des décisions partielles à partir des données pré- site souvent des développements spécifiques pour adapter les
sentes à chaque instant) : l'ordre est alors fixé par l'ordre d'arrivée méthodes issues d'autres domaines. Un des objectifs les plus fré-
des informations ; quents est de garantir que la décision soit spatialement cohérente.
Par exemple, en classification multisource, on va chercher à éviter
— l'ordre peut être imposé par des priorités sur les informations les points isolés dans une classe différente.
à prendre en compte, et des opérateurs ont été conçus pour répon-
dre à de tels besoins (par exemple pour combiner des requêtes dans
des bases de données) ;
— dans les autres situations, il faudra trouver des critères pour 6.1 Au niveau de la modélisation
trouver un ordre approprié à l'application, en particulier lorsque les
informations sont conflictuelles, car les résultats peuvent être très
L'introduction de l'information spatiale au niveau de la modélisa-
différents selon que les informations consonantes ou conflictuelles
tion est plus ou moins implicite suivant le niveau de représentation
sont combinées en premier.
auquel on se place. Si l'on raisonne au niveau du pixel, l'information
■ Enfin, l'étude du comportement des opérateurs en termes de contenue dans un pixel ne contient pas d'information spatiale, et
qualité de la décision à laquelle ils conduisent, et de réaction face celle-ci doit alors être introduite explicitement. Le contexte spatial
aux situations conflictuelles conduit à un dernier critère de choix. considéré est le plus souvent le voisinage local de chaque point.
j
Un point important toutefois concerne le pouvoir discriminant des Une manière simple de la prendre en compte est de définir M i ( x )
opérateurs. Les opérateurs fortement conjonctifs ou fortement dis- en fonction des caractéristiques de x et également de ses voisins. Si
j
jonctifs (la t-norme et la t-conorme de Lukasiewicz par exemple) l'on note  ( x ) le voisinage de x (contenant x), on définira M i ( x )
saturent tès vite à 0 ou à 1 et donc sont souvent peu discriminants. comme une fonction du type :
j
Par exemple, avec la t-conorme F ( a, b ) = min ( a + b, 1 ) , on a : M i ( x ) = F i [ f j ( y ), y ∈  ( x ) ] (70)
F ( 0, 5 ; 0, 5 ) = 1 , F ( 0, 1 ; 0,9 ) = 1 ou encore F ( 0, 8 ; 0, 8 ) = 1
où f j ( x ) désigne les caractéristiques de y dans la source j. Ce type
alors que ces trois situations ont des interprétations bien différentes.
d'approche peut être vu comme un problème de filtrage spatial.
La capacité des opérateurs à combiner des informations quanti- Si l'on raisonne au niveau de primitives (segments, contours,
tatives (numériques) ou qualitatives (pour lesquels seul un ordre régions) ou au niveau des objets ou structures de la scène, l'informa-
est connu) peut être également un critère de choix. Par exemple, le tion spatiale locale est implicitement prise en compte dans la repré-
min, le max et tout filtre de rang sont intéressants à ce titre sentation. Si la détection de ces éléments n'est pas précise ou si leur
puisqu'ils peuvent combiner les deux types d'informations. En effet, localisation ne l'est pas (par exemple à cause de l'imperfection du
le calcul de min (x, y) par exemple ne nécessite que de connaître un recalage), il est souvent souhaitable d'introduire cette imprécision
ordre entre x et y, mais ne nécessite pas de connaître leur valeur spatiale explicitement dans la représentation, avant la fusion. La dila-
numérique. Les opérations ordinales sont de plus imposées si on tation floue est une opération bien adaptée à cela [28][30][32]. Cela
veut qu'elles soient invariantes par une transformation croissante permet de réduire le conflit au moment de la fusion, et donc de choi-
des degrés d'appartenance [56]. sir simplement et sans risque un mode de combinaison conjonctif.
De manière moins locale, les relations spatiales entre primitives
constituent une information importante sur la structure de la scène
[19][20][21][23][29] et elles peuvent avantageusement être prises en
5.4 Décision compte dans la fusion, comme source d'informations supplémen-
taire [22][24][61]. Dans ce cas, le contexte spatial  ( x ) d'un élément
x est un ensemble de primitives ou d'objets dont on connaît les rela-
La règle principalement utilisée en fusion floue est le maximum tions spatiales par rapport à x.
des degrés d'appartenance :

x ∈ C i si µ i ( x ) = max { µ k ( x ), 1  k  n } (69) 6.2 Au niveau de la décision

où µ k désigne la fonction d'appartenance à la classe k résultant de
la combinaison. L'introduction de l'information spatiale au niveau de la décision
est la plus facile. La méthode la plus courante consiste à établir dans
La qualité de la décision est mesurée essentiellement selon deux un premier temps une règle de rejet (en fonction de la netteté et du
critères : caractère discriminant de la décision) puis à reclasser les éléments
— le premier porte sur la « netteté » de la décision : le degré rejetés en fonction de leur contexte spatial. Par exemple, la reclassi-
d'appartenance maximal (ou plus généralement celui correspon- fication peut être faite suivant la règle suivante :
dant à la décision) est comparé à un seuil, choisi selon les applica-

tions (et éventuellement selon l'opérateur de combinaison choisi) ; x ∈ C i si { y ∈  ( x ), y ∈ C i }  ------- (71)
— le deuxième porte sur le caractère « discriminant » de la déci- 2
sion, évalué par comparaison des deux valeurs les plus fortes. qui exprime qu'au moins la moitié des éléments du voisinage doit
Dans le cas où ces critères ne sont pas vérifiés pour un élément x, être dans C i pour classer x dans C i . Cette règle ne permet pas tou-
celui-ci est placé dans une classe de rejet, ou reclassifié en fonction jours d'affecter x à une classe. Une autre règle moins sévère consi-
d'autres critères, spatiaux par exemple (voir § 6). dère juste la classe la plus représentée dans le voisinage :

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
TE 5 230 − 22 © Techniques de l’Ingénieur, traité Télécoms
_________________________________________________________________ FUSION EN TRAITEMENT D’IMAGES : SPÉCIFICITÉS ET APPROCHES NUMÉRIQUES

données numériques, symboliques ou structurelles dans chacun

x ∈ C i si { y ∈  ( x ), y ∈ C i } = max { y ∈  ( x ), y ∈ C k } (72) des formalismes, et effectuer leur combinaison. De nombreux déve-
k
loppements ont vu le jour, en particulier pour les applications typi-
Ces règles s'appliquent quel que soit le niveau de représentation ques de classification d'images multisources et de reconnaissance
des éléments considérés. de structures ou d'objets dans les images.
Un exemple en classification floue peut être trouvé dans [31],
mais la méthode est générale et peut être appliquée de manière Les points restant encore à développer concernent :
similaire aux autres théories.
— la gestion du conflit, qu'il est souvent difficile de différencier
de la complémentarité des sources, et pour lequel il n'est pas tou-
6.3 Au niveau de la combinaison jours facile de savoir s'il doit être résolu ou non ;

— la prise en compte de l'origine des données et des connaissan-

L'introduction de l'information spatiale au niveau de la combinai- ces, ainsi que des relations entre les sources (souvent effectuée de
son est plus rare et plus délicate.
manière supervisée, elle nécessite donc un peu d'expérience) ;
En fusion probabiliste, les champs de Markov offrent un cadre
naturel pour cela. Dans l'expression de la règle de Bayes, c'est dans — le choix des algorithmes ;
la probabilité a priori qu'intervient l'hypothèse markovienne. Cette
probabilité est combinée aux probabilités conditionnelles aux clas- — l'évaluation des méthodes, plus ou moins facile suivant que
ses par un produit. Cette remarque nous conduit à considérer que l'on a accès à la vérité ou non .
l'information spatiale constitue dans ce modèle une source de don-
nées au même titre que les autres. Nota : notons à ce propos que les essais de comparaison des approches numériques de
fusion ont souvent donné des résultats contradictoires, et ont donc échoué. Nous pensons
C'est l'approche la plus courante, et elle a été appliquée à plu- que la raison essentielle est que chaque problème s'exprime plus facilement dans une
sieurs niveaux de représentation. Au niveau local, du pixel, de nom- théorie que dans une autre, et que sa résolution par des outils non adaptés nécessite donc
breux exemples peuvent être trouvés dans la littérature (par des distorsions de ces techniques et n'a pas beaucoup de sens.
exemple [5][46]). À un niveau plus structurel, les champs de Markov
sont définis sur des graphes plus généraux que les graphes de L'introduction d'informations spatiales dans la fusion est un point
pixels (les nœuds sont des primitives ou même des objets), et on important, pour lequel l'ensemble des méthodes existantes pourrait
trouve des exemples pour la détection de routes dans des images être encore étoffé.
SAR [117], pour la segmentation d'images IRM du cerveau [62],
pour la reconnaissance de structures du cortex cérébral [84][85], Des travaux sur la combinaison de méthodes sont également pro-
pour l'interprétation d'images aériennes [93], etc. metteurs puisqu'ils visent à exploiter les avantages des différentes
Dans les autres théories, il serait également possible de dévelop- théories pour les faire coopérer. Cette combinaison peut s'appuyer
per des approches similaires, toujours en considérant l'information sur les liens qui existent entre les différentes approches. Par exem-
spatiale comme une source de données supplémentaire. ple une probabilité peut être interprétée comme une fonction de
C'est par exemple le cas des relations spatiales mentionnées plus masse particulière, une fonction de croyance dont les éléments
haut considérées comme source supplémentaire d'informations : la focaux sont emboîtés peut s'interpréter comme une distribution de
reconnaissance d'un objet peut résulter de la fusion d'informations possibilités, une distribution de possibilités peut être interprétée
sur cet objet, et d'informations sur les relations qu'il doit avoir par
comme des intervalles de confiance ou comme une famille de pro-
rapport à d'autres objets. Le cadre des ensembles flous permet à la
fois la représentation et la fusion de telles informations [24]. babilités (voir par exemple [56] pour le détail des liens entre possi-
bilités et probabilités), etc. Ainsi, des travaux ont déjà été effectués
Autre exemple, dans [68], une fonction de masse est définie pour
pour combiner l'imprécision représentée par des ensembles flous à
représenter le contexte spatial, et combinée à des fonctions de
masse représentant les informations extraites des images par la l'incertitude probabiliste (par exemple [33][98][105] dans une appro-
règle de Dempster. Toutefois, encore peu de travaux existent dans che de classification markovienne où les classes sont floues), pour
ce domaine, qui mérite certainement d'être développé. combiner les champs de Markov et les fonctions de croyance [10]
[68], ou pour raisonner avec des fonctions de croyance dont les élé-
ments focaux sont flous [111][123][128][131].
7. Conclusion
Remerciements
En fusion numérique pour le traitement d'images, les efforts des Plusieurs éléments de discussion, en particulier dans les para-
dernières années ont permis d'aboutir à une meilleure compréhen- graphes 1 et 2, sont issus de réunions de deux groupes de tra-
sion des différentes théories issues d'autres domaines telles que les vail : European Working Group Fusion, et le GT fusion du GDR
fonctions de croyance et le flou. On sait ainsi maintenant quels sont ISIS. Les auteurs remercient les participants à ces groupes. Ils
les bons cadres d'application de ces théories, leurs atouts et limites remercient également François Le Chevalier, qui est à l'origine
en traitement d'images, représenter et modéliser l'information et les de cet article et qui nous a prodigué ses encouragements.

Toute reproduction sans autorisation du Centre français d’exploitation du droit de copie est strictement interdite.
© Techniques de l’Ingénieur, traité Télécoms TE 5 230 − 23