Segmentation d'Images: Méthodes et Évaluation
Segmentation d'Images: Méthodes et Évaluation
– Segmentation –
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Bibliographie
Ouvrages :
→ Digital Image Processing, 3rd Ed., chapter 10 ”Image segmentation”, Rafael C.
Gonzalez and Richard E. Woods, Prentice Hall, 2008.
Cours :
→ Vincent Mazet, cours ”Outils fondamentaux pour le traitement d’image”,
http ://[Link]/mazet/ofti
→ Vincent Noblet, cours ”Traitement d’images” TICS2A,
http ://[Link]/fr/[Link]/Traitement d’images TICS2A
2/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Plan du chapitre
1. Définitions
1.1 Segmentation
1.2 Relations entre les pixels
1.3 Intérêt de la segmentation
4. Autres méthodes
2/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Définition
Une segmentation d’image est une partition de l’image en ensembles de pixels
homogènes (selon un critère pré-défini).
3/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Définition
Une segmentation d’image est une partition de l’image en ensembles de pixels
homogènes (selon un critère pré-défini).
Propriétés :
→ La segmentation n’est pas unique (algorithmes, critère d’homogénéité,
initialisation, etc)
→ Partition de l’image = ensemble de régions non vides, deux à deux disjointes qui
recouvrent l’intégralité de l’image.
3/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Définition
Une segmentation d’image est une partition de l’image en ensembles de pixels
homogènes (selon un critère pré-défini).
Propriétés :
→ La segmentation n’est pas unique (algorithmes, critère d’homogénéité,
initialisation, etc)
→ Partition de l’image = ensemble de régions non vides, deux à deux disjointes qui
recouvrent l’intégralité de l’image.
3/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Critère d’homogénéité
→ Utilisation de l’histogramme
4/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Critère d’homogénéité
5/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Critère d’homogénéité
Image aérienne
6/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Critère d’homogénéité
7/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Voisinage
Le pixel p de coordonnées (i, j) a quatre voisins horizontaux et verticaux :
i,j i,j
4-voisinage 8-voisinage
8/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Adjacence
Soit V un ensemble de valeurs d’intensité. Les pixels p et q à valeur dans V sont dits
4-adjacents (resp. 8-adjacents) si q appartient au 4-voisinage (resp. 8-voisinage) de p.
Chemin
On appelle chemin un ensemble de pixels
tels que pour tout k = 1, . . . , n, (ik−1 , jk−1 ) et (ik , jk ) sont adjacents. On note n la
longueur du chemin.
Si (i0 , j0 ) = (in , jn ) on dira que le chemin est fermé.
Application : p q r
→ quels pixels sont adjacents dans V = {0} (pixels noirs) ? s t u
→ quels chemins possibles dans V ?
v w x
9/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Pixels connectés
Soit S un ensemble de pixels. Deux pixels p et q sont dit connectés dans S s’il existe
un chemin les reliant constitué uniquement de pixels de S.
p q r
Application :
→ s et u sont-ils connectés ? s t u
v w x
10/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Pixels connectés
Soit S un ensemble de pixels. Deux pixels p et q sont dit connectés dans S s’il existe
un chemin les reliant constitué uniquement de pixels de S.
p q r
Application :
→ s et u sont-ils connectés ? s t u
v w x
Régions
On appelle région ou ensemble connecté tout sous-ensemble de pixels connectés dans
l’image.
R1 R1
R2 R3 R2 R3
R4
3 régions 4 régions
(pas de connexion entre R4 et R2)
10/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
11/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
12/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
13/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
14/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Plan du chapitre
1. Définitions
4. Autres méthodes
14/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
15/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
16/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Choix de seuil
18/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
19/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
19/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
19/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Seuillage automatique
Algorithme :
1. Calcul de l’histogramme de l’image.
2. Sélectionner un seuil initial T0 .
3. Calculer des intensités moyennes m1 et m2 des groupes G1 et G2 .
4. Calcul du nouveau seuil T = (m1 + m2)/2.
5. Continuer jusqu’à ce que les variations de T soient inférieures à (défini par
l’utilisateur).
1
G1 G2
0.5
0
0 50 100 150 200 250
T0
20/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Méthode de Otsu
2
Principe : Trouver le seuil qui minimise la variance intra-classe pondérée σw
(raffinement de la méthode du seuillage automatique).
Variance intra-classe :
2
σw (T ) = q1 (T )σ12 (T ) + q2 (T )σ22 (T )
Histogramme à 256 classes
·105
avec
0 h(r )
0 50 100 150 200 250 p(r ) = la probabilité de r
N ×M
T
h : l’histogramme de l’image
21/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Méthode de Otsu
Moyennes :
K
T 2X −1
X r × p(r ) r × p(r )
m1 (T ) = et m2 (T ) =
r =0
q1 (T ) r =T +1
q2 (T )
Variances :
K
T 2X −1
X p(r ) p(r )
σ12 (T ) = (r − m1 (T ))2 et σ22 (T ) = (r − m2 (T ))2
r =0
q1 (T ) r =T +1
q2 (T )
minimise σw 2.
22/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Méthode de Otsu
σ 2 = σw
2 2
+ σ1,2
23/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Méthode de Otsu
σ 2 = σw
2 2
+ σ1,2
On en déduit :
2 est équivalent à maximiser σ 2 .
→ Le problème initial qui consiste à minimiser σw 1,2
23/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Méthode de Otsu
σ 2 = σw
2 2
+ σ1,2
On en déduit :
2 est équivalent à maximiser σ 2 .
→ Le problème initial qui consiste à minimiser σw 1,2
→ C’est-à-dire que construire deux groupes de pixels qui se ressemblent ...
23/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Méthode de Otsu
σ 2 = σw
2 2
+ σ1,2
On en déduit :
2 est équivalent à maximiser σ 2 .
→ Le problème initial qui consiste à minimiser σw 1,2
→ C’est-à-dire que construire deux groupes de pixels qui se ressemblent ...
→ ... revient à construire deux groupes très dissemblables de pixels.
23/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Seuillage multiple
r ∈ [0, T1 ]
r ∈]T1 , T2 ]
r ∈]T2 , 2K − 1]
24/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Varia(on d’illumina(on
J
25/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
26/53
Effet du bruit sur l’histogramme
Définitions Seuillage
Solutions possibles :
28/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Solutions possibles :
28/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Solutions possibles :
28/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
B
→ La représentation de l’image par son histogramme n’est plus possible.
→ Principe des méthodes de clustering : regrouper les vecteurs en groupes
homogènes.
29/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Exemple :
partition intiale
30/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Exemple :
x partition intiale
30/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Exemple :
x partition intiale, i= 0
30/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Exemple :
x
nouvelle partition, i=1
30/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Exemple :
x
nouvelle partition, i=1
30/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Exemple :
30/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Exemple :
30/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
k=3
k=5 k = 10
31/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Plan du chapitre
1. Définitions
4. Autres méthodes
31/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
32/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Avantage des méthodes basées région : agréger des pixels spatialement proches et
ayant des intensités similaires.
32/53
en compte l’informa(on
Définitions Seuillage de voisinage, uniquement
Méthodes basées région l’informa(on
Autres méthodes de distribu(on
Evaluation
On part des
Principe d’unméthodes
point germe (seed) et de
de croissance l’onrégion
l’étend en ajoutant
: On part d’unles points
point de et
germe la on
l’étend en ajoutant
fron(ères les pixels
qui sa(sfont du voisinage
le critère satisfaisant le critère d’homogénéité.
d’homogénéité
33/53
en compte l’informa(on
Définitions Seuillage de voisinage, uniquement
Méthodes basées région l’informa(on
Autres méthodes de distribu(on
Evaluation
On part des
Principe d’unméthodes
point germe (seed) et de
de croissance l’onrégion
l’étend en ajoutant
: On part d’unles points
point de et
germe la on
l’étend en ajoutant
fron(ères les pixels
qui sa(sfont du voisinage
le critère satisfaisant le critère d’homogénéité.
d’homogénéité
33/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Croissance de région
|I (i, j) − µA | < T σA
Choix du seuil T :
→ Valeur de seuil élevé : facile pour de nouveaux pixels d’être acceptés dans la
région.
→ Valeur de seuil faible : difficile pour de nouveaux pixels d’être acceptés dans la
région.
34/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Définition d’une zone R qui contient la région à extraire et une file FIFO (First In,
First Out) S qui contient les points frontière de R.
Initialisation :
→ R contient le point germe.
→ S contient le voisinage du point germe.
Méthode : On retire p de S
→ Si p est homogène avec R :
• on ajoute p à R,
• on ajoute à S les points du voisinage de p qui ne sont pas dans R et qui ne sont pas
incompatibles.
→ sinon :
• On marque p comme incompatible.
On recommence tant que S n’est pas vide.
Rq : en cas d’utilisation de statistique globale pour le test d’homogénéité, l’ordre de
traitement des pixels peut influencer le résultat final.
35/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Croissance de région
Segmentation des éclairs :
36/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Influence du seuil :
Croissance de région
Croissance de région
T%
tî tî
Influence du seuil
Influence du seuil
37/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
r des critères
mme par ex :
au moins 3 et
connexe.
2 IAD La croissanceAntoine
de MANZANERA
région –ne
Coursfournit
TERI – Master 2pas une
IAD page 8 partition de l’image, mais permet de page 9
38/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
2 IAD Ne fournit
La croissance depas
Antoine une par((on
région
MANZANERAne fournit
– Cours depas
TERI – Master 2l’image,
une
IAD page 8 mais permet
partition de segmenter
de l’image, une ou de page 10
mais permet
plusieurs
segmenter unestructures
ou plusieurs d’intérêt
structures via la d’intérêt
sélec(on via
de points germesdeadaptés
la sélection points germes
adaptés.
38/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
39/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
39/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Les représentations en arbre sont utilisées pour créer une représentation de haut
niveau de l’image.
40/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Le quad-tree est une arborescence dont la racine est l’image entière et donc chaque
noeud possède également quatre fils :
→ l’image est partagée en quatre quadrants récursivement,
→ un quadrant q est partagé en quatre s’il n’est pas décrété homogène : σq2 > T .
41/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
ExempleReprésenta)on
:
Split & Merge: Quad-tree split
par quad-tree
42/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
ExempleReprésenta)on
:
Split & Merge: Quad-tree split
par quad-tree
42/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
La méthode de décomposition par quad-tree fait apparaı̂tre des régions carrées sur
l’image segmentée.
Le problème majeur de cette structure provient de la rigidité des divisions réalisées sur
l’image, mais cela fournit une partition initiale de l’image.
43/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Le graphe d’adjacence est une arborescence dont les noeuds sont les régions et les
arcs définissent une relation d’adjacence (proximité spatiale).
R1
R2 R3
R4
44/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Décomposi(on / fusion
Représentation par graphe d’adjacence Split and merge
45/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
45/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Décomposi(on / fusion
Décomposi(on
Décomposi(on /
Split and merge
fusion
/ fusion
→ Représentation de l’image segmentée par un graphe d’adjacence. Split and
46/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Plan du chapitre
1. Définitions
4. Autres méthodes
4.1 Quelques méthodes de l’état de l’art
4.2 Ligne de partage des eaux
4.3 Segmentation par contour déformable
46/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
47/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
L’idée est de transformée l’image à segmenter par une carte d’élévation (terrain en
3D) où les frontières entre deux régions à segmenter seraient les crêtes et les régions,
les bassins.
→ On utilise en général la norme du gradient de l’image pour la carte d’élévation.
Représentation 3D du gradient
Image à segmenter
Image originale
Gradient de l’image
48/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Principe de la méthode :
→ Construire la carte d’élévation.
→ Remplir progressivement d’eau chaque bassin versant.
→ Lorsque l’eau monte et que deux bassins se rejoignent, la ligne de partage des
eaux est marquée comme frontière.
49/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Principe de la méthode :
→ Construire la carte d’élévation.
→ Remplir progressivement d’eau chaque bassin versant.
→ Lorsque l’eau monte et que deux bassins se rejoignent, la ligne de partage des
eaux est marquée comme frontière.
Bassins versants
49/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Principe de la méthode :
→ Construire la carte d’élévation.
→ Remplir progressivement d’eau chaque bassin versant.
→ Lorsque l’eau monte et que deux bassins se rejoignent, la ligne de partage des
eaux est marquée comme frontière.
49/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Principe de la méthode :
→ Construire la carte d’élévation.
→ Remplir progressivement d’eau chaque bassin versant.
→ Lorsque l’eau monte et que deux bassins se rejoignent, la ligne de partage des
eaux est marquée comme frontière.
49/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Principe de la méthode :
→ Construire la carte d’élévation.
→ Remplir progressivement d’eau chaque bassin versant.
→ Lorsque l’eau monte et que deux bassins se rejoignent, la ligne de partage des
eaux est marquée comme frontière.
49/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Principe de la méthode :
→ Construire la carte d’élévation.
→ Remplir progressivement d’eau chaque bassin versant.
→ Lorsque l’eau monte et que deux bassins se rejoignent, la ligne de partage des
eaux est marquée comme frontière.
frontière
49/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Principe de la méthode :
→ Construire la carte d’élévation.
→ Remplir progressivement d’eau chaque bassin versant.
→ Lorsque l’eau monte et que deux bassins se rejoignent, la ligne de partage des
eaux est marquée comme frontière.
frontière
49/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Principe de la méthode :
→ Construire la carte d’élévation.
→ Remplir progressivement d’eau chaque bassin versant.
→ Lorsque l’eau monte et que deux bassins se rejoignent, la ligne de partage des
eaux est marquée comme frontière.
frontière
49/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Principe de la méthode :
→ Construire la carte d’élévation.
→ Remplir progressivement d’eau chaque bassin versant.
→ Lorsque l’eau monte et que deux bassins se rejoignent, la ligne de partage des
eaux est marquée comme frontière.
Segmentation finale
49/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Implémentation :
→ Calculer le gradient (ou le Laplacien) de l’image.
→ Commencer avec tous les pixels ayant la valeur la faible possible : ceux-ci forment
l’ensemble des bassins versants initiaux.
→ Pour chaque niveau d’intensité r :
• Pour chaque groupe de pixels d’intensité r :
Si adjacent à exactement une région existante, ajouter ces pixels dans cette région.
Sinon, si adjacent à plusieurs régions simultanément, marquer comme ligne de partage des eaux.
Sinon, commencer une nouvelle région.
50/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Implémentation :
→ Calculer le gradient (ou le Laplacien) de l’image.
→ Commencer avec tous les pixels ayant la valeur la faible possible : ceux-ci forment
l’ensemble des bassins versants initiaux.
→ Pour chaque niveau d’intensité r :
• Pour chaque groupe de pixels d’intensité r :
Si adjacent à exactement une région existante, ajouter ces pixels dans cette région.
Sinon, si adjacent à plusieurs régions simultanément, marquer comme ligne de partage des eaux.
Sinon, commencer une nouvelle région.
Limitation : s’il y a beaucoup de minima locaux dans le gradient, cela donne une
sur-segmentation → lissage du gradient avant d’appliquer l’algorithme.
50/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Outils utilisés :
→ Contour = chemin fermé = représentation discrète.
→ Définition de fonctions d’énergies interne et externe.
→ Minimisation de la fonction d’énergie.
51/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
Plan du chapitre
1. Définitions
4. Autres méthodes
51/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
52/53
Définitions Seuillage Méthodes basées région Autres méthodes Evaluation
A suivre ...
53/53