Présentation d’une papier scientifique
« 3D-R2N2 : une approche unifiée pour la
reconstruction d'objets 3D à vue unique et
multiple »
1
PLAN DE PRÉSENTATION
PLAN DE
------------
PRÉSENTATION
------------
I. INTRODUCTION
I. INTRODUCTION
II. Réseau de
Reconstruction II. Réseau de Reconstruction Récurrente 3D
Récurrente 3D
III. Ensemble de données
III. Ensemble de
données IV. Reconstruction d'images réelles à partir d'une seule
IV. Reconstruction
vue
d'images réelles à
partir d'une seule V. CONCLUSIONS
vue
V. conclusion
2
I. INTRODUCTION
PLAN DE
PRÉSENTATION L'article portant la référence arXiv:1604.00449v1 [[Link]],
------------ déposé sur arXiv le 2 avril 2016, est un document de
recherche dans le domaine de la vision par ordinateur
I. INTRODUCTION
II. Réseau de
Reconstruction
Récurrente 3D
arXiv est une archive en ligne gratuite et une bibliothèque de
III. Ensemble de distribution de prépublications scientifiques dans divers
données domaines
IV. Reconstruction
d'images réelles à
partir d'une seule
L'équipe de recherche à l'origine de l'article "3D-R2N2: A
vue
Unified Approach for Single and Multi-view 3D Object
Reconstruction" comprend plusieurs chercheurs affiliés à
V. conclusion
Stanford University
Christopher B. Choy Danfei Xu JunYoung Gwak Kevin
Chen Silvio Savarese
3
PLAN DE
PRÉSENTATION Problématique : Les méthodes classiques de reconstruction
------------ 3D, comme SFM (Structure-from-Motion) et SLAM ,
I. INTRODUCTION rencontrant des difficultés dans des scénarios avec peu de
II. Réseau de
textures ou des angles de vue très différents
Reconstruction
Récurrente 3D
III. Ensemble de
données
Solution Proposée : Le réseau 3D-R2N2 surmonte ces limites en
IV. Reconstruction
apprenant directement une correspondance entre des images et
d'images réelles à
leurs formes 3D sous-jacentes à partir d'une vaste collection de
partir d'une seule
données d'entraînement
vue
V. conclusion
4
3D (3D-R2N2)
PLAN DE Dans cette section, l’auteur introduit une nouvelle architecture
PRÉSENTATION nommée Réseau de Reconstruction Récurrente 3D (3D-
------------ R2N2), qui repose sur les modèles LSTM et GRU standards
I. INTRODUCTION
II. Réseau de
Reconstruction Architecture du Réseau
Récurrente 3D
III. Ensemble de
données
IV. Reconstruction
d'images réelles à
partir d'une seule
un réseau une architecture réseau de
vue + +
de neurones innovante neurones
V. conclusion
convolution appelée LSTM déconvolutio
nels 2D (2D- Convolutionnel nnels 3D
CNN) 3D (3D-LSTM) (3D-DCNN).
5
3D (3D-R2N2)
Images de
PLAN DE diffèrent angle
PRÉSENTATION
------------
encode chaque image d'entrée en des
I. INTRODUCTION
2D-CNN caractéristiques de bass dimensionT(x)T(x)T
II. Réseau de
Reconstruction
(x
Récurrente 3D
III. Ensemble de mises en place mettent à jour ou conservent
données 3D-LSTM leurs états en fonction de l'activation de la
IV. Reconstruction porte d'entrée
d'images réelles à
partir d'une seule
vue
décode les états cachés des unités LSTM
3D-DCNN pour générer une reconstruction
V. conclusion
probabiliste en voxels 3D
Résultat Image 3D
6
Ensemble de données
ShapeNet : Le dataset ShapeNet est une collection de modèles
PLAN DE
CAO 3D organisés selon la hiérarchie WordNet
PRÉSENTATION
------------
I. INTRODUCTION PASCAL 3D : Le dataset PASCAL 3D est composé d'images de
II. Réseau de
détection PASCAL 2012 augmentées avec un alignement de
Reconstruction
Récurrente 3D
modèles CAD 3D
III. Ensemble de
Modèles CAD MVS : Pour comparer notre
données
méthode avec une méthode Multi View
IV. Reconstruction
Stereo
d'images réelles à
partir d'une seule Produits en ligne : Le dataset contient des images de 23 000
vue articles vendus en ligne.
V. conclusion
Mesures : utilisé deux mesures pour évaluer la qualité de la
reconstruction. La mesure principale était l'intersection sur
l'union (IoU) des voxels entre une reconstruction voxelisée 3D et
son modèle voxelisé de vérité terrain.
7
Reconstruction d'images réelles à partir
d'une seule vue
PLAN DE
PRÉSENTATION
------------
I. INTRODUCTION
II. Réseau de
Reconstruction
Récurrente 3D
III. Ensemble de
données
IV. Reconstruction
d'images réelles à
partir d'une seule
vue
V. conclusion
8
Reconstruction d'images réelles à partir d'une seule
vue
PLAN DE
PRÉSENTATION
------------ 1- évalué les performances de notre réseau pour la
reconstruction à partir d'une vue unique en utilisant des
I. INTRODUCTION
images réelles, en comparant les résultats à ceux d'une
II. Réseau de méthode récente développée par Kar et al
Reconstruction
Récurrente 3D
III. Ensemble de 2-Pour effectuer une comparaison quantitative, utilisé des
données images du jeu de données PASCAL VOC 2012 [42] et les
IV. Reconstruction
modèles 3D correspondants du jeu de données PASCAL 3D+
d'images réelles à
partir d'une seule
3-autorisé leur méthode à utiliser des masques de
vue
segmentation d'objets et des étiquettes de points clés
V. conclusion
comme entrées supplémentaires pour l'entraînement et
les tests
9
Reconstruction d'images réelles à partir d'une seule
vue
PLAN DE
PRÉSENTATION
Résultats. Comme indiqué dans le Tableau , notre approche
------------ surpasse la méthode de Kar et al. dans toutes les catégories
I. INTRODUCTION
II. Réseau de
Reconstruction
Récurrente 3D
III. Ensemble de
données
IV. Reconstruction
d'images réelles à
partir d'une seule
vue
V. conclusion
10
Les avantages
PLAN DE
PRÉSENTATION
------------ Plusieurs avantages par rapport à celui de Kar et al.
Il n'est pas nécessaire de s'entraîner et de tester par catégorie.
I. INTRODUCTION
II. Réseau de
Reconstruction
Le réseau entraîne et reconstruit sans connaître la catégorie de
Récurrente 3D l'objet.
III. Ensemble de
De plus, le réseau ne nécessite pas de masques de segmentation
données
d'objets ni d'étiquettes de points clés comme entrées
IV. Reconstruction supplémentaires.
d'images réelles à
partir d'une seule Kar et coll. démontrant la possibilité de tester sur une image
vue sauvage non annotée en estimant la segmentation et les points clés.
V. conclusion
Cependant, Le réseau surpasse leur méthode, même lorsqu'ils
utilisent des étiquettes véritables
11
Multi-View Stereo (MVS) vs. 3D-R2N2
La méthode MVS (Méthode des Volumes Simples) est une technique utilisée en
traitement d'image et en vision par ordinateur pour reconstruire des modèles 3D
à partir d'images 2D
MVS
Correspon + + Fusion des + Post-
dance des Triangulati points traitement
points on
Matching
= Image 3D
12
Multi-View Stereo (MVS) vs. 3D-R2N2
PLAN DE
PRÉSENTATION
------------
I. INTRODUCTION
II. Réseau de
Reconstruction
Récurrente 3D
III. Ensemble de
données
IV. Reconstruction
d'images réelles à
partir d'une seule
vue
V. conclusion
13
Multi-View Stereo (MVS) vs. 3D-R2N2
PLAN DE
PRÉSENTATION
------------
I. INTRODUCTION
II. Réseau de
Reconstruction
Récurrente 3D
III. Ensemble de
données
IV. Reconstruction
d'images réelles à
partir d'une seule
vue
V. conclusion
14
PLAN DE
PRÉSENTATION Dans ce travail, une nouvelle architecture a été proposée pour
------------ unifier la reconstruction 3D à partir d'une ou plusieurs vues dans un
cadre unique.
I. INTRODUCTION
II. Réseau de
Reconstruction
Récurrente 3D
MVS est plus efficace pour des objets à haute texture et un
III. Ensemble de grand nombre de vues (>30) mais échoue lorsque les objets
données ont peu de texture ou lorsque le nombre de vues est faible.
IV. Reconstruction
d'images réelles à 3D-R2N2 excelle dans des conditions où les méthodes basées
partir d'une seule sur MVS échouent, notamment avec un petit nombre de vues
vue et des objets à faible texture, mais il est limité en termes de
V. conclusion détails avec un grand nombre de vues et pour des objets à
texture élevée.
15
Merci pour votre attention
16
