IMN459 - Fondements de la
vision par ordinateur
Chapitre 1
Introduction
1. Acquisition
IM 2. Traitement
N1
17 IM
Scène 3D Caméra optique
Une ou plusieurs N2
images 2D
59
Caractéristiques bas niveaux
(contours, jonctions, …)
Jusqu’à présent ...
IMN459 Fondements de la vision par ordinateur 2
… Sommes-nous prêts à quitter le 2D
Source :
Alexei Efros
et entrer dans le monde
réels ?
IMN459 Fondements de la vision par ordinateur 3
Plan du chapitre
1. Vision artificielle (« vision par ordinateur »)
2. Objectif
3. Extraction de l’information 3D
4. Vision « par ordinateur »
5. Applications
6. Difficultés et Problématiques
IMN459 Fondements de la vision par ordinateur 4
1.Vision artificielle (« vision par ordinateur »)
a) Modélisation et reproduction de la vision 3D humaine
b) Combinaison de connaissances
Mathématiques
Informatique
Génie électrique
Psychologie
Biologie
Sciences cognitives
Physique
etc.
c) Compréhension et simulation du système de vision humaine
tous ces domaines
IMN459 Fondements de la vision par ordinateur 5
1.Vision artificielle (« vision par ordinateur »)
d) Retrouver la profondeur
Retrouver la structure 3D d’un objet
Reconstruire un modèle 3D de la scène
e) Pourquoi retrouver la profondeur ?
Applications en infographie, synthèse d’images
Navigation automatique des robots
Reconnaissance aérienne
Applications médicales
Effets spéciaux
Visites virtuelles
Réalité virtuelle
…
IMN459 Fondements de la vision par ordinateur 6
2.Objectif
Étude des techniques pour l’interprétation, la reconstruction et la
compréhension d’une scène 3D à partir d’une ou plusieurs images 2D
Position d’un point dans la scène
Orientation des surfaces
Relief
Mouvement
qu es
…
r i st i
a ct é
C a r e a u
➫ aut niv
h
IMN459 Fondements de la vision par ordinateur 7
3.Extraction de l’information 3D
3.1. Caractéristiques
L’extraction d’informations 3D s’effectue à partir de certaines
caractéristiques (structures) présentes dans les images :
Niveaux de gris
Contours
Couleurs
qu es
Jonctions (coins)
r i st i
Textures a ct é
C a r e a u
Disparités ➫ as niv
Mouvement 2D b
Ombrages
Quantité de flou
...
IMN459 Fondements de la vision par ordinateur 8
3.Extraction de l’information 3D
3.2. Indices de profondeur
Certaines de ces caractéristiques sont appelées « indices de profondeur »
Il faut distinguer la profondeur des indices
Les indices de profondeur peuvent être plus complexes à trouver que les simples
caractéristiques bas niveau
IMN459 Fondements de la vision par ordinateur 9
3.Extraction de l’information 3D
3.2. Indices de profondeur
Les indices de profondeur dépendent de :
Connaissances a priori (lié à l’application)
Modèles 3D connu
Distance approximative
Scène intérieure ou extérieure
Degré de précision, temps réel?
Système de formation d’images
Actif (e.g. laser, sonar, rayon-X)
Passif (e.g. caméra optique)
Nombre et type d’images
1, 2, multi : statique
Vidéo
Domaine
Spatial
Fréquentiel
IMN459 Fondements de la vision par ordinateur 10
1. Acquisition
IM 2. Traitement
N1
17 IM
Scène 3D Caméra optique
Une ou plusieurs
images 2D N2
59
Caractéristiques bas niveaux
(contours, jonctions, …)
Indices de profondeur
(flou,disparité, etc.)
IMN459 Fondements de la vision par ordinateur 11
3.Extraction de l’information 3D
3.2. Indices de profondeur
a) Classes d’indices de profondeur
Indices multioculaires : 2 points de vue différents ou plus
Décalages spatiaux
Mouvement
Silhouettes
...
Indices monoculaires : 1 seul point de vue, 1 ou plusieurs images,
Flou et mise au point
Déformation des éléments de texture
Diffusion de la lumière dans le milieu (atmosphère, eau, particule)
Illumination
…
IMN459 Fondements de la vision par ordinateur 12
3.Extraction de l’information 3D
3.3. Exemples
a) Disparités binoculaires Courtoisie de Guido Gerig
P
Exemple de disparités
binoculaires
(stéréovision)
Disparité binoculaire
Cg
Cd
IMN459 Fondements de la vision par ordinateur 13
3.Extraction de l’information 3D
3.3. Exemples
b) Ombrages
a) Sans ombrage
b) Avec ombrages
c) Exemple d’image réelle
Perception de la forme par l’ombrage
IMN459 Fondements de la vision par ordinateur 14
3.Extraction de l’information 3D
3.3. Exemples
c) Ombrages / symétrie / ombre portée
Perception de la forme/hauteur par les ombres et la silhouette
IMN459 Fondements de la vision par ordinateur 15
3.Extraction de l’information 3D Illusion due à la perspective
3.3. Exemples
d) Textures/perspective
a) Sans texture
b) Avec texture
Perception de la forme par la texture
c) Exemple d’image réelle
IMN459 Fondements de la vision par ordinateur 16
3.Extraction de l’information 3D
3.3. Exemples
e) Flou/Mise au point/Bougé
Source : site de Perception de la profondeur par la mise au point
Jordan S. Erenrich
IMN459 Fondements de la vision par ordinateur 17
1. Acquisition
IM 2. Traitement
N1
17 IM
Scène 3D Caméra optique
Une ou plusieurs N2
images 2D
59
Caractéristiques bas niveaux (contours,
3. Visualisation / utilisation jonctions, …)
Reconstruction 3D
Reconnaissance
Interprétation
Carte de profondeur, nuage 3D, Indices de profondeur
Incrustation polygones, … (flou,disparité, etc.)
IMN459 Fondements de la vision par ordinateur 18
4.Vision « par ordinateur »
4.1. Matériel
a) Acquisition : appareil photo, caméra vidéo,
infrarouge," sonar, laser, projecteur,
échographe, ...
b) Traitement : ordinateur(s)
c) Visualisation : écran, imprimante,
lunettes à obturateur, projecteur,
téléphone ...
4.2. Logiciels
Nombreux; dépendent des caractéristiques disponibles
à vous
de
jouer
IMN459 Fondements de la vision par ordinateur 19
5.Applications
Essentiel pour de nombreux domaines
Cinéma Urbanisme
Aérospatial Astronomie
Scénographie Transports
Robotique Contrôle de qualité
Surveillance Divertissements
Biométrie …
Médecine
IMN459 Fondements de la vision par ordinateur 20
5.Applications
a) Reconstruction 3D de surfaces
IMN459 Fondements de la vision par ordinateur 21
5.Applications Courtoisie de Hartley & Zisserman, 2003
b) Reconstruction 3D à partir d’une seule image
Saint Jérôme dans son étude, Hendrick van Trois vues différentes synthétisées à l’aide
Steenwijck, 1630 du modèle 3D reconstruit
IMN459 Fondements de la vision par ordinateur 22
5.Applications Courtoisie de Steven Seitz
c) Modélisation d’acteurs virtuels
IMN459 Fondements de la vision par ordinateur 23
5.Applications
Courtoisie de Steven Seitz
d) Synthèses de points de vue
IMN459 Fondements de la vision par ordinateur 24
5.Applications Courtoisie de Hartley & Zisserman, 2003
e) Incrustations
Images originales
Images incrustée
IMN459 Fondements de la vision par ordinateur 25
5.Applications
f) Réalité augmentée
Source : YouTube
IMN459 Fondements de la vision par ordinateur 26
6.Difficultés et problématiques
6.1. Problème mal posé
La projection d’une scène 3D
sur une image n’est pas une
transformation inversible
6.2. Données bruitées ou imprécises
6.3. Erreurs d’approximation
méthode, support de l’image, quantification, erreurs numériques, …
IMN459 Fondements de la vision par ordinateur 27
6.Difficultés et problématiques
6.4. Utilisation d’hypothèses simplistes (non réalistes)
a) Exemple 1
Les cases blanches dans l’ombre ont le même niveau de gris
que les cases noires éclairées
IMN459 Fondements de la vision par ordinateur 28
6.Difficultés et problématiques
6.4. Utilisation d’hypothèses simplistes (non réalistes)
a) Exemple 1
Les cases blanches dans l’ombre ont le même niveau de
gris que les cases noires éclairées
IMN459 Fondements de la vision par ordinateur 29
6.Difficultés et problématiques
6.4. Utilisation d’hypothèses simplistes (non réalistes)
b) Exemple 2
c) Ce que l’on obtient
a) Ce que l’on voit b) Ce que l’on veut
(détection de contours)
IMN459 Fondements de la vision par ordinateur 30
6.Difficultés et problématiques
6.4. Utilisation d’hypothèses simplistes (non réalistes)
c) Exemple 3
Source : E.H. Gombrich,
The Image and the Eye
Influence de la position et des paramètres de la
caméra sur l’impression de distance et de taille
IMN459 Fondements de la vision par ordinateur 31
6.Difficultés et problématiques
6.5. Questions
a) Quel(s) indice(s) extraire ?
Les indices de profondeur ne sont pas toujours pertinents dans toutes les circonstances
Parallaxe due au mouvement Source : Cutting, 1996
Sensibilité à la profondeur
Occultation
Perspective
Sté Atm
réo osph
Flo ère
u Om
bra
ge
po
rté
1 10 100 Profondeur de la scène (en m)
IMN459 Fondements de la vision par ordinateur 32
6.Difficultés et problématiques
6.5. Questions
b) Comment les extraire ?
c) Comment représenter les caractéristiques extraites ?
d) Comment utiliser ces caractéristiques pour déduire
l’information 3D ?
IMN459 Fondements de la vision par ordinateur 33
Dans le cadre de ce cours
Images
Extraction
d’indices de
Calibrage profondeur
de la caméra
Disparité
binoculaire
Paramètres
Flou IMN559
Ombrages Perspective
intrinsèques et ⋯
extrinsèques
Estimation de la profondeur, reconstruction
IMN430
Applications
Modélisation 3D
IMN459 Fondements de la vision par ordinateur 34
7.Pipeline de la reconstruction stéréo
a) Calibrage des caméras
b) Rectification des images
c) Mise en correspondance et calcul de la disparité
d) Trouver la profondeur
Ce qui peut causer des erreurs :
Mauvais calibrage des caméras
Résolution des images inappropriée
Violation de certaines contraintes (ex. réflexions spéculaires)
Bruit
Occultations
Trop grand changement dans le point de vue
Pas assez de contraste dans certaines régions
IMN459 Fondements de la vision par ordinateur 35
Cas de la vision stéréoscopique
Images
formation, paramètres
Calibrage Outils multi-usage
de la caméra
de la caméra Géométrie projective
(Chap. 2)
(Chap. 4) (Chap 3)
Extraction
Stéréovision Disparité
Bases et rectification binoculaire par la mise en
de la paire stéréoscopique correspondance
(Chap. 5) (Chap. 6)
Estimation de la profondeur
(Chap 7)
Applications
(Partout)
IMN459 Fondements de la vision par ordinateur 36
Références Sources des images et vidéos :
Wikimedia commons
Pour en savoir plus ... (sauf si autre mention)
E. Trucco et A. Verri,
Introductory Techniques for 3-D Computer Vision, Prentice Hall, 1998.
B.K.P. Horn,
Robot Vision, MIT Press, 1986.
D.H. Ballard and C.M. Brown,
Computer Vision, Prentice Hall, 1982
R. Hartley and A. Zisserman,
Cambridge University Press, 2003
B. Cyganek and P. Siebert,
An introduction to 3D Computer Vision Techniques and Algorithms, Wiley, 2008
Autres bouquins sur le sujet
IMN459 Fondements de la vision par ordinateur 37
