Thèse de Doctorat

25 juillet 2013

Acquisition, visualisation et reconstruction 3D de

données anatomiques
Application aux fibres blanches cérébrales

Présentée par :
Barthélemy Serres1,2

Sous la direction de:

Gilles Venturini1,
co-encadré par:
Christophe Destrieux2
1 LI, EA6300, Université François Rabelais de Tours
2 Unité Inserm U930 « Imagerie & Cerveau », Tours
Soutenance de thèse de Doctorat - B. Serres 25 juillet 2013
Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
○○○○ ○○○○○ ○○○○○○○○○○○○○○○○ ○○○○○○○○ ○○

Plan de la présentation
Introduction
• Anatomie des fibres blanches cérébrales
• Moyens d’investigation

Etat de l’art
• Validation de tractographie
• Acquisitions 3D de données anatomiques
• Visualisations médicales 3D

Méthodologie
• Acquisition 3D
• Recalages 3D
• Visualisation & Interactions
• Reconstruction
• Recalages surfaces/IRM
• Comparaisons

Résultats & validations

Conclusion & perspectives

Soutenance de thèse de Doctorat - B. Serres 2 25 juillet 2013
Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
○○○○ ○○○○○ ○○○○○○○○○○○○○○○○ ○○○○○○○○ ○○

Plan de la présentation
Introduction
• Anatomie des fibres blanches cérébrales
• Moyens d’investigation

Etat de l’art

Méthodologie

Résultats & validations

Conclusion & perspectives

Soutenance de thèse de Doctorat - B. Serres 3 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●○○○ ○○○○○ ○○○○○○○○○○○○○○○○ ○○○○○○○○ ○○

Rappel : les fibres blanches cérébrales

Substance blanche
• Composée des axones
• Organisée en faisceaux
• Connexion des aires corticales
et sous corticales
Fig1. Organisation schématique des principaux faisceaux
de fibres blanches

Implication dans des pathologies

• Neuro-dégénératives (Alzheimer, démences),
• Inflammatoires (sclérose en plaques, …),
• Tumorales (gliomes malins),
• du développement (autisme, dyslexie,…)

Soutenance de thèse de Doctorat - B. Serres 4 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●○○ ○○○○○ ○○○○○○○○○○○○○○○○ ○○○○○○○○ ○○

Moyens d’investigation

Image
Fig1. Dissection effectuée selon la méthode de [Klingler56].
Initialement uniquement ex-vivo Laboratoire Anatomie, Tours

[Dejerine1895], [Klingler1956]

• Dissection d’hémisphères fixés au formol,

• Coupes histologiques,
• Etablissement d’atlas papiers de référence

Avec l’avènement de l’IRM de diffusion (DWI)

• Acquisitions d’images sur des sujets vivants,
• Etablissement d’atlas numériques,
• Utilisation possible en clinique

Retour à l’anatomie ex-vivo pour la validation

[Déjerine1895] J. Déjerine, Anatomie des centres nerveux, Paris, 1895

[Klingler1956] Ludwig & Klingler, Atlas cerebri humani, Bâle, 1956

Soutenance de thèse de Doctorat - B. Serres 5 25 juillet 2013

 Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●○ ○○○○○ ○○○○○○○○○○○○○○○○ ○○○○○○○○ ○○

Etude des fibres blanches chez l’humain : in-vivo

L’imagerie IRM pondérée en diffusion (DWI)

[Le Bihan1985]

Principe
• Mesure de la diffusion des molécules d’eau
• Diffusion isotrope ou anisotrope
Fig1. Diffusion isotrope Diffusion anisotrope
• Evaluation de la direction préférentielle

Cartes de diffusion Reconstruction des faisceaux

• Tractographie
• Nombreux algorithmes
probabilistes ou déterministes

Fig 2. Cartes de Fraction

d’anisotropie (FA) brute (a) ou
colorée : RGB codant les 3
directions de l’espace (b).

[Le Bihan et al.1985] D. Le Bihan et al.,Imagerie de diffusion in-vivo par

Fig 3. Résultats de tractographie issus d’algorithme déterministe
résonance magnétique nucléaire, [Link].(Paris) 301,15, 1109-1112,1985.
(DTI toolkit, Streamline ) Laboratoire d’anatomie, Tours
Soutenance de thèse de Doctorat - B. Serres 6 25 juillet 2013
Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ○○○○○ ○○○○○○○○○○○○○○○○ ○○○○○○○○ ○○

Introduction

Projet FibrAtlas (C. Destrieux , 2009)

• Validation de tractographie in-vivo à partir de données de dissection
• Mise à disposition en ligne des données pour la communauté
neurosciences

Objectifs des travaux de thèse

• Conception d’une méthode complète de suivi de dissection,
• depuis l’acquisition 3D des données
• jusqu’à leur visualisation interactive.
• Concevoir un outil à destination d’experts anatomistes pour
l’extraction de connaissances
• Construire des « vérités terrain » pour aboutir à des comparaisons
quantitatives de données anatomiques

Soutenance de thèse de Doctorat - B. Serres 7 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ○○○○○ ○○○○○○○○○○○○○○○○ ○○○○○○○○ ○○

Plan de la présentation
Introduction

Etat de l’art
• Validation de tractographie
• Acquisitions 3D de donnes anatomiques
• Visualisations médicales 3D

Méthodologie

Résultats & validations

Conclusion & perspectives

Soutenance de thèse de Doctorat - B. Serres 8 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●○○○○ ○○○○○○○○○○○○○○○○ ○○○○○○○○ ○○

Etat de l’art : Problématique de la validation

« La tractographie est elle le véritable reflet de l’anatomie? »

Approches de validation existantes sur

• Données simulées [Hall&Alexander2009]
Grand nombre de données disponibles
Modèles numériques (structures simplifiées)

• Données réelles issues d’objets test (fantômes)

[Poupon2008][Fillard2011]
Comparaison à une vérité terrain
Reste une approximation des structures anatomiques

• Données réelles sur animal (in-vivo/ex-vivo) [Dauguet2007]

Amélioration du contraste des faisceaux par traçage axonal
Sacrifice: impossible à réaliser sur l’humain, cohérence 3D

• Données réelles sur l’humain (ex-vivo) :

Comparaison avec l’anatomie réelle
Difficultés pour effectuer des comparaisons quantitatives
Soutenance de thèse de Doctorat - B. Serres 9 25 juillet 2013
 Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●○○○ ○○○○○○○○○○○○○○○○ ○○○○○○○○ ○○

Etat de l’art: les approches de validation ex vivo

Comparaison directe à l’anatomie

Méthode Principe Chez Inconvénients

l’humain
PLI (Image en - Reconstruction des Oui - Nécessite une découpe en
lumière polarisée) directions des fibres tranche ex vivo: déformations
[Axer2011] - Analyse des réflexions en
lumière polarisée
- Coupes fines
OCT (Optical - Acquisition optique Oui - Temps d’acquisition pour un
Coherence - Principe d’interférométrie cerveau entier
Tomography) - Coupes épaisses
[Huang1991]

[Axer2011] Axer et al., Microstructural Analysis of Human White Matter Architecture Using Polarized Light Imaging: Views from Neuroanatomy,
Front. neuroinformatics , 2011
[Huang1991] Huang et al., Science 254 , no. 5035 pp. 1178-1181 ,1991

Soutenance de thèse de Doctorat - B. Serres 10 25 juillet 2013

 Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●○○ ○○○○○○○○○○○○○○○○ ○○○○○○○○ ○○

Etat de l’art: les approches de validation ex vivo

Comparaison directe à l’anatomie

Fig 1 : Illustration issue de [Kier2004] Fig 2 : Illustration issue de [Nigel2008]

Méthode Principe Chez Inconvénients

l’humain
Dissection - Acquisition IRM T1 itératives Oui - Difficile à mettre en place:
+IRM - Durant la dissection beaucoup d’acquisitions IRM
[Kier2004] - Résolution de l’IRM
Nécessité d’une méthode de suivi de dissection d’une
Dissection - Dissection, extraction des Oui - Faisceaux manipulés lors de
+extraction faisceaux, comparaison
pièce anatomique
l’extraction
des faisceaux visuelles - Comparaisons qualitatives
[Nigel2008] -Validation par rapport à atlas uniquement

[Kier2004] Kier et al. ,Anatomic dissection tractography: A new method for precise MR localization of white matter tracts. Am JNeuroradiology, 25, 2004, pp 670-676.
[Nigel2008] I. Nigel et al. Atlas-based segmentation of white matter tracts of the human brain using diffusion tensor tractography and comparison with classical
dissection, NeuroImage, 39, 2008, Pages 62-79.
Soutenance de thèse de Doctorat - B. Serres 11 25 juillet 2013
Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●○○ ○○○○○○○○○○○○○○○○ ○○○○○○○○ ○○

Plan de la présentation
Introduction

Etat de l’art
• Validation de tractographie
• Acquisitions 3D de données anatomiques
• Visualisations médicales 3D

Méthodologie

Résultats & validations

Conclusion & perspectives

Soutenance de thèse de Doctorat - B. Serres 12 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●○ ○○○○○○○○○○○○○○○○ ○○○○○○○○ ○○

Etat de l’art : Acquisitions 3D en anatomie

Comment établir des « vérités terrain »?

En chirurgie orthopédique : acquisition 3D laser

cartilages de genou [Trinh2006]
• 2 acquisitions scanner laser 3D, avant et après dissection

Carte colorée de l’épaisseur Reconstruction du cartilage Vue de la pièce anatomique

Figures issues de [ Trinh et al.2006]

En chirurgie mammaire : acquisition 3D laser

Reconstruction de seins [Kovacs2006],[Patete2012]

[Trinh et al.2006] Accurate Measurement of Cartilage Morphology Using a 3D Laser

Scanner in Computer Vision Approaches to Medical Image Analysis,
pp 37-48, Springer, Berlin Heidelberg

[Kovacs2006] Comparison between breast volume measurement using 3D surface

imaging and classical techniques, The Breast, 16(2), 2006, pp137-145

[Patete2012] Comparative Assessment of 3D Surface Scanning Systems in Breast Plastic

and Reconstructive Surgery, Surgical Innovations, 2012
Soutenance de thèse de Doctorat - B. Serres 13 25 juillet 2013
Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●○ ○○○○○○○○○○○○○○○○ ○○○○○○○○ ○○

Plan de la présentation
Introduction

Etat de l’art
• Validation de tractographie
• Acquisitions 3D de donnes anatomiques
• Visualisations médicales 3D

Méthodologie

Résultats & validations

Conclusion & perspectives

Soutenance de thèse de Doctorat - B. Serres 14 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ○○○○○○○○○○○○○○○○ ○○○○○○○○ ○○

Etat de l’art: Visualisation 3D

Visualisations de données médicales

• Données 3D volumiques
• Images IRM/ScannerX
• Visualisation en coupes 2D
• Rendu volumique peu présent Slicer [Halle 2012] from [Link]

• Données 3D surfaciques
• Générées à partir des volumes
• Maillages peu complexes
Freeview/freesurfer
Besoins spécifiques from «Introduction to freesurfer»
[Link]
• Maillages de grande dimension
• Visualisation et interactions avec des
données surfaciques et volumiques
• Stéréoscopie et retour haptique

MedINRIA from
[Link]
Soutenance de thèse de Doctorat - B. Serres 15 25 juillet 2013
Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ○○○○○○○○○○○○○○○○ ○○○○○○○○ ○○

Contributions significatives
• Acquisition 3D surfacique
• Acquisition précise, rapide et fréquente
• Protocole unique

• Visualisation & Interactions

• Grands maillages
• Immersion 3D et retour haptique
• Sélection interactive

• Intégration de méthodes
• Plaquage de texture
• Recalages surfaces/surfaces et surfaces/IRM
• Reconstruction
• Comparaison quantitative de volumes

• Validations unitaires et intégrative

• Méthode complète (acquisition, interfaces, quantifications)

Soutenance de thèse de Doctorat - B. Serres 16 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ○○○○○○○○○○○○○○○○ ○○○○○○○○ ○○

Plan de la présentation
Introduction

Etat de l’art

Méthodologie
• Acquisition 3D
• Recalages 3D
• Visualisation & Interactions
• Reconstruction
• Recalages surfaces/IRM
• Comparaisons

Résultats & validations

Conclusion & perspectives

Soutenance de thèse de Doctorat - B. Serres 17 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●○○○○○○○○○○○○○○○ ○○○○○○○○ ○○

Méthode: Vue d’ensemble

A: Fixation de la pièce
Platine en PVC, paraffine

Points repères

B: Acquisition IRM T1 initiale

Volume IRM 3D

C: Acquisitions successives
Surfaces 3D F
Information de couleur

Recalages
D
D: Etiquetage/Segmentation de ROIs

E: Reconstruction 3D
E
F: Recalage 3D & Visualisation
Objet reconstruit

visualisé dans l’acquisition IRM initiale

Soutenance de thèse de Doctorat - B. Serres 18 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●○○○○○○○○○○○○○○○ ○○○○○○○○ ○○

Plan de la présentation
Introduction

Etat de l’art

Méthodologie
• Acquisition 3D
• Recalages 3D
• Visualisation & Interactions
• Reconstruction
• Recalages surfaces/IRM
• Comparaisons

Résultats & validations

Conclusion & perspectives

Soutenance de thèse de Doctorat - B. Serres 19 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●○○○○○○○○○○○○○○ ○○○○○○○○ ○○

Acquisition 3D - volumique
Méthodologie
- Acquisition 3D
- Recalages 3D
- Visualisation
IRM morphologique (T1) & interactions
- Reconstruction
- Recalage
Objectif surfaces/IRM
- Comparaisons
• Obtenir un référentiel volumique de la pièce
• Acquérir la morphologie du spécimen
• Avant toute dissection

Matériel
• Imageur IRM 1,5T (GE)
• Antenne de type « head »

Méthode
• Acquisition T1 de la pièce dans la platine PVC avec ses repères
• Voxels isotropes 1mm

Soutenance de thèse de Doctorat - B. Serres 20 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●○○○○○○○○○○○○○ ○○○○○○○○ ○○

Acquisition 3D - surfacique
Méthodologie
- Acquisition 3D
« Comment acquérir la surface d’un spécimen anatomique? » - Recalages 3D
- Visualisation
& interactions
- Reconstruction
Objectif - Recalage
surfaces/IRM
• Numériser un spécimen anatomique - Comparaisons

Technologies d’acquisition 3D
• Stéréoscopie
• Projection de franges
• Laser

Contraintes sur l’acquisition

• Physique du matériau à
acquérir
• Encombrement
• Dimensions
• Géométrie complexe
(sillons)
a b c
Fig 1. Laser : HDS3000, Leica Geosystems AG (a), FaroArm, FARO
Gmbh (b) - Projection de franges : Mephisto, 4DDynamics (c)

Soutenance de thèse de Doctorat - B. Serres 21 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●○○○○○○○○○○○○ ○○○○○○○○ ○○

Choix du dispositif d’acquisition surfacique

Méthodologie
- Acquisition 3D
- Recalages 3D
« Comment choisir un dispositif d’acquisition 3D adapté? » - Visualisation
& interactions
- Reconstruction
- Recalage
surfaces/IRM
- Comparaisons

Choix du bras FaroArm

Technologie Laser
7 degrés de liberté
- flexibilité
Répétabilité des mesures
100 à 150 µm
Haute densité d’acquisition
19 000 points/s
Organe de palpation
Budget
< 50 K€
a b c
Fig 1. Laser : HDS3000, Leica Geosystems AG (a), FaroArm, FARO
Gmbh (b) - Projection de franges : Mephisto, 4DDynamics (c)

Soutenance de thèse de Doctorat - B. Serres 22 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●○○○○○○○○○○○ ○○○○○○○○ ○○

Acquisition 3D surfacique: Méthodologie

Méthodologie
- Acquisition 3D
- Recalages 3D
Objectifs - Visualisation
& interactions
- Reconstruction
• Acquisition 3D haute résolution, maillages fins - Recalage
surfaces/IRM
• Maîtriser le volume de données - Comparaisons

• Assurer la reproductibilité

Méthode
• Mise en place d’un protocole d’acquisition normalisé
• Mise en place d’une chaîne de post-traitements

(mm) (mm)

Soutenance de thèse de Doctorat - B. Serres 23 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●○○○○○○○○○○ ○○○○○○○○ ○○

Acquisition 3D surfacique : texture

1
2
Objectif
• Capturer l’information de couleur
3
4
Méthode
• Acquisition ortho photographique

Résultat
• Conception du système
d’acquisition Vue du module d’acquisition
photographique composé de:
• Support boîtier
1. Boîtier Pentax K20 10Mpixels
• Système d’éclairage avec déclenchement distant
2. Objectif 50 mm
• Génération de la texture Dispositif d’acquisition 3. Flash de type annulaire
ortho photographique 4. Platine de réglage à pas
millimétrique

Soutenance de thèse de Doctorat - B. Serres 24 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●○○○○○○○○○ ○○○○○○○○ ○○

Acquisition 3D surfacique : texture

Méthodologie
- Acquisition 3D
« Comment effectuer le placage de texture? » - Recalages 3D
- Visualisation
& interactions
- Reconstruction
Objectif: - Recalage
surfaces/IRM
 Obtenir un spécimen virtuel 3D réaliste - Comparaisons
 Enrichir l’acquisition surfacique

Méthode
 Application de la texture
• Evaluation des paramètres de projection
• Technique de l’état de l’art:
Projection perspective [Everitt01]
• Correction des occlusions
méthode des shadow map
 Placage semi-interactif
 Validations qualitatives
• Scènes simples Schéma de la méthode de projection de
• Hémisphères de cerveau texture choisie pour obtenir des surfaces 3D
texturées.

[Everitt01] C. Everitt, Technical report, Nvidia, 2001

Soutenance de thèse de Doctorat - B. Serres 25 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●○○○○○○○○○ ○○○○○○○○ ○○

Plan de la présentation
Introduction

Etat de l’art

Méthodologie
• Acquisition 3D
• Recalages 3D
• Visualisation & Interactions
• Reconstruction
• Recalages surfaces/IRM
• Comparaisons

Résultats & validations

Conclusion & perspectives

Soutenance de thèse de Doctorat - B. Serres 26 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●○○○○○○○○ ○○○○○○○○ ○○

Recalage 3D

« Pourquoi effectuer des

recalages 3D ? »
Recalages 3D de surfaces
• Acquisitions effectuées à des
instants différents
• Déplacements de la platine
entre 2 acquisitions
• Exprimer l’ensemble des F
surfaces dans un même
repère

D
Recalages 3D du faisceau
reconstruit dans l’IRM
• Deux modalités différentes
• Surfaces 3D / IRM E

Soutenance de thèse de Doctorat - B. Serres 27 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●○○○○○○○ ○○○○○○○○ ○○

Recalage 3D
Méthodologie
- Acquisition 3D
« Comment effectuer ce recalage 3D?» - Recalages 3D
- Visualisation
& interactions
- Reconstruction
Méthode de recalage rigide - Recalage
surfaces/IRM
• Basé sur l’Iterative Closest Point (ICP) de [Besl&Mckay92] - Comparaisons
• Mise en correspondance
• Evaluation de la transformation
• Itérations jusqu’à un critère d’arrêt
Méthode n°2

Méthode n°1:
Prise en compte de l’ensemble des points
des deux surfaces 3D (maillages)

Méthode n°2:
Prise en compte d’un sous ensemble
de points des deux surfaces 3D Scène de test: En rouge, le sous ensemble
de points intervenants dans le recalage

Méthode n°3: Méthode n°3

Basée sur les seuls points repères des
deux surfaces 3D

Evaluation des 3 méthodes

[Besl&Mckay92] : A method for registration of 3-d shapes. IEEE Transactions on
Pattern Analysis and Machine Intelligence, 14(2): pp239-256

Soutenance de thèse de Doctorat - B. Serres 28 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●○○○○○○○ ○○○○○○○○ ○○

Plan de la présentation
Introduction

Etat de l’art

Méthodologie
• Acquisition 3D
• Recalages 3D
• Visualisation & Interactions
• Reconstruction
• Recalages surfaces/IRM
• Comparaisons

Résultats & validations

Conclusion & perspectives

Soutenance de thèse de Doctorat - B. Serres 29 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●○○○○○○ ○○○○○○○○ ○○

Visualisation 3D
Méthodologie
- Acquisition 3D
- Recalages 3D
- Visualisation
& interactions
Objectifs - Reconstruction
• Représenter les données hétérogènes acquises - Recalage
surfaces/IRM
• Permettre à l’utilisateur de configurer sa visualisation - Comparaisons
• Extraction interactive des connaissances

Visualisation des données

• 3D surfaciques (surfaces 3D laser)
• 3D volumiques (volumes IRM)
• Visualisations mixtes

Outils de filtrage visuel

• Masquage/affichage du contexte
• Plans de coupes
• Dépendant de la vue
• Fixes
• Fonctions de transfert
• Pilotage du rendu volumique

Soutenance de thèse de Doctorat - B. Serres 30 25 juillet 2013

 Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●○○○○○ ○○○○○○○○ ○○

Visualisation 3D : outils
Surfacique Volumique Mixte

Fig 1. Vue éclatée de 3 étapes de

dissection d’un spécimen. Les portions
visibles du FLS sont en violet.
Fig 3. Plan virtuel de coupe
permettant de mettre au jour les
parties masquées

Fig 5. Exemples de visualisations mixtes

possibles avec les outils proposés

Fig 4. Outils interactif de gestion des

fonctions de transfert (RGB +alpha) sur
Fig2. Visualisation d’erreurs lors de la un seul graphe
comparaison de 2 acquisitions surfaciques.
Soutenance de thèse de Doctorat - B. Serres 31 25 juillet 2013
Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●○○○○ ○○○○○○○○ ○○

Interactions: outils de segmentation

Méthodologie
- Acquisition 3D
- Recalages 3D
- Visualisation
& interactions
Objectif - Reconstruction
- Recalage
• Permettre la segmentation de ROIs surfaces/IRM
- Comparaisons
directement sur les surfaces.

Curseur 3D
• Matérialisation par un objet « glissant » sur la surface 3D

Outils à disposition pour la sélection des ROIs

• Selon une ligne ou à main levée
• Remplissage des contours fermés
• Sélection additive ou soustractive
• Sélection inverse

Fig. 2 : Exemple de sélections de triangles

et opérations ensemblistes à disposition
Soutenance de thèse de Doctorat - B. Serres 32 25 juillet 2013
Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●○○○ ○○○○○○○○ ○○

Interactions: visualisation immersive

Méthodologie
- Acquisition 3D
« Comment améliorer l’étape de sélection des ROIs?» - Recalages 3D
- Visualisation
& interactions
- Reconstruction
Objectif - Recalage
surfaces/IRM
• Ajouter la perception haptique et visuelle du relief. - Comparaisons

Méthode
• Intégration d’un bras haptique
• Phantom de chez Sensable Inc.
• Visualisation en 3D stéréoscopique
• Affichage 120Hz (60Hz/œil)
• Lunettes synchronisées à obturation.

Evaluation
• Etude utilisateur

Fig. 1 : Segmentation d’un faisceau en vision

Phantom Omni Ecran 120Hz Lunettes synchronisées à stéréoscopique et à l’aide du retour haptique
obturation Nvidia
Soutenance de thèse de Doctorat - B. Serres 33 25 juillet 2013
Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●○○○ ○○○○○○○○ ○○

Plan de la présentation
Introduction

Etat de l’art

Méthodologie
• Acquisition 3D
• Recalages 3D
• Visualisation & Interactions
• Reconstruction
• Recalages surfaces/IRM
• Comparaisons

Résultats Expérimentaux

Conclusion & perspectives

Soutenance de thèse de Doctorat - B. Serres 34 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●○○ ○○○○○○○○ ○○

Reconstruction 3D : depuis les ROIs jusqu’au volume 3D

Méthodologie
- Acquisition 3D
- Recalages 3D
- Visualisation
Objectifs & interactions
• Construire une « vérité terrain » surfacique - Reconstruction
- Recalage
• Construire une « vérité terrain » volumique surfaces/IRM
- Comparaisons
Méthode
• Empilement des ROIs de même étiquette
• Discrétisation en volume: voxellisation
• Corrections topologiques: remplissage de trous

Définition de la grille
(ex. 1mm x 1mm x 1mm)

Précision:
variable selon
discrétisation
de la grille

Validations
• Expérimentation sur un objet dissecable et segmentable: œuf

Soutenance de thèse de Doctorat - B. Serres 35 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●○○ ○○○○○○○○ ○○

Plan de la présentation
Introduction
• Anatomie des fibres blanches cérébrales
• Moyens d’investigation

Etat de l’art
• Validation de tractographie
• Acquisitions 3D de donnes anatomiques
• Visualisations médicales 3D

Méthodologie
• Acquisition 3D
• Recalages surfaces 3D
• Visualisation & Interactions
• Reconstruction
• Recalages surfaces/IRM
• Comparaisons

Résultats Expérimentaux

Conclusion & perspectives

Soutenance de thèse de Doctorat - B. Serres 36 25 juillet 2013
Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●●○ ○○○○○○○○ ○○

Recalage du faisceau reconstruit dans l’IRM

Méthodologie
- Acquisition 3D
- Recalages 3D
- Visualisation
& interactions
- Reconstruction
Objectifs - Recalage
surfaces/IRM
• Exprimer les représentations volumiques et surfaciques - Comparaisons

dans un même repère

• Fusionner ces informations au sein d’une même visualisation

Vis (repère
Problématiques Scanner Laser)
• Repères IRM à extraire
• Seuillage Sphère
• Clustering d (repère IRM)

• Isobarycentre
• Recalage 3D surface(s)  IRM
• Rigide (ICP)
d

Soutenance de thèse de doctorat B. Serres 37 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●●○ ○○○○○○○○ ○○

Plan de la présentation
Introduction

Etat de l’art

Méthodologie
• Acquisition 3D
• Recalages 3D
• Visualisation & Interactions
• Reconstruction
• Recalages surfaces/IRM
• Comparaisons

Résultats Expérimentaux

Conclusion & perspectives

Soutenance de thèse de Doctorat - B. Serres 38 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●●● ○○○○○○○○ ○○

Comparaison de volumes
Méthodologie
- Acquisition 3D
- Recalages 3D
Objectif - Visualisation
& interactions
• Quantifier la similarité de V avec Vref - Reconstruction
- Recalage
surfaces/IRM
Quelles méthodes? - Comparaisons

• Indices issus de la validation de segmentation binaire

• Précision, Rappel,
• Fαmesure,
• Dice[Dice1945], Jaccard[Jaccard1901]
• Indices établis à partir d’une matrice de confusion

• Distances
• distance Hausdorff
• distance Hausdorff modifiée

[Dice1945] Dice L.R. Measures of the amout of ecologic associations between species, Ecology, 1945, 26(3) pp 297-302
[Jaccard1901] Distribution de la flore alpine dans le bassin des dranses et dans quelques régions voisines, Bulletin de la société Vaudoise de sciences naturelles, 37,
pp241-272

Soutenance de thèse de Doctorat - B. Serres 39 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●●● ○○○○○○○○ ○○

Plan de la présentation
Introduction

Etat de l’art

Méthodologie

Résultats & validations

• Validations de la méthode
• Expérimentations

Conclusion & perspectives

Soutenance de thèse de Doctorat - B. Serres 40 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●●● ●○○○○○○○ ○○

Validation: Acquisition 3D surfacique

Acquisition 3D
• Choix d’une étape avancée de dissection

Post traitements
• Filtrage des nuages de points
• Triangulation
• Simplification du maillage
Visualisation des erreurs lors de la comparaison
de 2 acquisitions d’une même surface.
Validation de la répétabilité
Erreur
• 1 étape de dissection : 3 acquisitions
• Comparaisons 2 à 2 des acquisitions
• Mesure de l’erreur en chaque points du maillage
(ppv – distance euclidienne)
• Visualisation de l’erreur à l’aide
d’une carte colorée

(1;2) (1;3) (2;1) (2;3) (3;1) (3;2)

Mesures de la répétabilité des acquisitions
surfaciques d’une étape de dissection

Soutenance de thèse de Doctorat - B. Serres 41 25 juillet 2013

 Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●●● ●●○○○○○○ ○○

Validation: Méthode de recalage 3D

Résultats : Méthode de recalage

• Scène de test
• 1 seule acquisition de la scène
300 µm
• 2 maillages, transformation arbitraire
• Confrontation de la précision des 3 méthodes:
• ε calculées pour l’ensemble des points du nuage 0 µm
• Carte couleur de répartition des erreurs

εmin (µm) εmax (µm) εmoy (µm) σ (µm) 300 µm

Nuage global 1,7 343,6 56,8 40,3

0 µm
Sous ensemble :
têtes de vis 2,2 800 129 72,4
300 µm

Points repères 0 0,2 5,2.10-3 1,12.10-3

Tableau récapitulatif des erreurs de recalage mesurées avec les 3 méthodes envisagées
0 µm
Soutenance de thèse de Doctorat - B. Serres 42 25 juillet 2013
Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●●● ●●●○○○○○ ○○

Evaluation outils de segmentation

Expérimentation
• Menée auprès de 5 experts
• Evaluer l’apport du dispositif haptique

Protocole
• 5 tâches simples de sélection
• avec la souris et avec le bras
haptique
• Mesure du temps
• Evaluation de précision
(précision/rappel)

Résultats & discussion

• Experts montrent une bonne précision
plutôt homogène
• Léger gain en temps
• Pas de gain significatif en précision
• Temps d’apprentissage

Soutenance de thèse de Doctorat - B. Serres 43 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●●● ●●●○○○○○ ○○

Plan de la présentation
Introduction

Etat de l’art

Méthodologie

Résultats & validations

• Validations de la méthode
• Expérimentations
• Reconstruction du FLS
• Comparaisons de volumes

Conclusion & perspectives

Soutenance de thèse de Doctorat - B. Serres 44 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●●● ●●●●○○○○ ○○

Acquisition des surfaces 3D

Un hémisphère
• 1 faisceau cible: FLS
• 33 étapes

Dissection

Acquisitions 3D
• Points repères (palpeur)
• Nuages de points
• Post traitements Vue d’une acquisition surfacique par scanner laser d’une pièce
anatomique en cours de dissection.

Acquisitions couleur
• Ortho photographie

Série d’ortho photographies acquises à chaque instant d’acquisition 3D

durant le processus de dissection

Soutenance de thèse de Doctorat - B. Serres 45 25 juillet 2013

 Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●●● ●●●●●○○○ ○○

Sélection des ROIs : portions du FLS

Navigation et visualisation immersive

Recalage 3D
• Transformation rigide sur les points repères

Segmentation
• Mettant en œuvre les outils de sélection de maillage

Visualisation des ROIs

• En rendu surfacique
• Dans leur contexte

Fig. 2 : Etapes de segmentation des différentes portions visibles du faisceau

Soutenance de thèse de Doctorat - B. Serres 46 25 juillet 2013
 Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●●● ●●●●●●○○ ○○

Recalage 3D du FLS dans l’IRM

Reconstructions
surfaciques du Faisceau
Longitudinal Supérieur
(FLS) à partir de données
de dissection
[Serres2013]

Reconstructions volumique du FLS

Soutenance de thèse de Doctorat - B. Serres 47 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●●● ●●●●●●○○ ○○

Plan de la présentation
Introduction

Etat de l’art

Méthodologie

Résultats & validations

• Validations de la méthode
• Expérimentations
• Reconstruction du FLS
• Comparaisons de volumes

Conclusion & perspectives

Soutenance de thèse de Doctorat - B. Serres 48 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●●● ●●●●●●●○ ○○

Expérimentation : comparaisons

Objectifs
• Valider la reconstruction 3D
• Comparer quantitativement 2 modalités
d’acquisition (IRM/laser) objet simple
dissécable

Vref : Vérité terrain Vue de la platine avec les objets test

• Acquisition 3D volumique (T1)

• Avant dissection
• Contraste blanc/jaune optimal
• Segmentation du jaune
• Reconstruction 3D volumique
Acquisition IRM T1 montrant le contraste
blanc/jaune obtenu.

Vérité terrain: Segmentation du [Otsu79] [Link] ,“A Threshold Selection Method from Gray-Level
jaune par la méthode de [Otsu79] Histograms”,Transactions on System, Man, and Cybernetics. SMC-9(1), 1979
Soutenance de thèse de Doctorat - B. Serres 49 25 juillet 2013
Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●●● ●●●●●●●● ○○

Expérimentation : comparaisons
Etape 1

Protocole
• Acquisitions 3D
successives (11 étapes) Etape 2

• Etiquetage des ROIs

(jaune)
• Reconstruction 3D

Résultat de
reconstruction du Etapes de dissection étiquetées
jaune (volumique)

Indicateur Valeur calculée Valeur optimale

• Calcul des indices de
similarité et distances Précision 86.94% 100%
entre V et Vref
Rappel 97.15% 100%

Analyse & Discussion F-measure (α=0.5) 88.81% 100%

• 2 volumes issus de 2 Dice 0.918 1.0

modalités différentes
Jaccard 0.848 1.0
• Indices traduisant une
bonne similarité
D hausdorff 1.8 0 (voxels)

D hausdorff 1.04 0 (voxels)

Soutenance de thèse de Doctorat - B. Serres 50 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●●● ●●●●●●●● ○○

Plan de la présentation
Introduction

Etat de l’art

Méthodologie

Résultats & validations

Conclusion & perspectives

Soutenance de thèse de Doctorat - B. Serres 51 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●●● ●●●●●●●● ●○

Conclusion

• Les travaux présentés nous ont permis de

• Proposer une méthode de suivi de dissection
• Interactivement étiqueter des structures internes d’un spécimen
• Construire des « vérités terrain » haute résolution
• Comparer quantitativement des données volumiques à cette vérité terrain

• Limites
• Subjectivité lors de la segmentation des ROIs et lors de la dissection
• Peu de faisceaux par dissection
• Acquisition d’un seule texture, 1 seule angle de vue
• Temps de dissection

• Développement d’une application

• L’outil a été conçu en interaction avec l’utilisateur
• Actuellement utilisée par un neuroanatomiste

• Collaboration pluridisciplinaire
• Anatomistes, physiciens, informaticiens
• Validations de méthode au travers d’une expérimentation sur des données réelles

Soutenance de thèse de Doctorat - B. Serres 52 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●●● ●●●●●●●● ●●

Perspectives

• Enrichissement des indicateurs quantitatifs de comparaisons volumiques

• Métriques, cartes de distances
• Comparaison avec des données issues de
• Fantômes (Travaux de Thèse de [Link])
• Tractographie ex-vivo (A. Martinos Center, MGH, USA et Neurospin, CEA-Saclay)
• Poursuite de reconstructions de faisceaux (Principaux faisceaux et fibres en U)
• Validation de tractographie in-vivo
• Intégration dans un projet plus large (Fibratlas II)
• Recalage in-vivo/ex-vivo (A. Martinos Center, MGH, USA )
• Mise à disposition des vérités terrain pour la communauté
• Collaboration INRA (plateforme CHIRE « gros animal », Nouzilly (37))

Soutenance de thèse de Doctorat - B. Serres 53 25 juillet 2013

Introduction Etat de l’art Méthode Résultats & validations Conclusion & perspectives
●●●● ●●●●● ●●●●●●●●●●●●●●●● ●●●●●●●● ●●

Merci de votre attention.

Projet Fibratlas
Comparaison, chez les mêmes sujets, de la reconstruction des fibres blanches cérébrales
par IRM de diffusion in-vivo à la dissection:
 Evaluer et valider les algorithmes de tractographie
 Mettre ces données à disposition de la communauté neuroanatomiste
Remerciements: Experts Anatomistes:
C. Destrieux (PU-PH) U930/Eq5 - Coordinateur du projet
S. Velut (PU-PH) U930-Eq 5
J-P. Cottier (PU-PH) neuroradiologue U930-Eq5
I. Zemmoura (CCA-HU) neurochirurgien U930-Eq5

Acquisitions & Post-traitements IRM:

F. Andersson, PhD (IR) U930-Eq5
C. Tauber, PhD (MCU) U930-Eq3
L. Barantin, PhD (IR) U930-Eq5
I. Filipiak, Doctorante, U930-Eq5

Acquisitions 3D, Visualisations et traitements:

G. Venturini, Prof. EA6300
B. Serres, Doctorant EA6300/U930-Eq5

Soutenance de thèse de Doctorat - B. Serres 54 25 juillet 2013

 Annexes

Soutenance de thèse de doctorat B. Serres 55 25 juillet 2013

 Projet Fibratlas - suite

Soutenance de thèse de doctorat B. Serres 56 25 juillet 2013

Tractographie sur Fantôme: I. Filipiak et al.

1. Tubes pour diffusion

isotrope

2. Fibres longitudinales

3. Fibres en U

4. Fibres avec des angles

variant de 30° à 180°

5. Croisement de fibres
Fibre de dyneema
En cours de construction

6. Fibre en éventail

57
 Etat de l’art : Acquisitions 3D en anatomie

Comparaison de résultats issus

d’IRM à une vérité terrain
• Mesure de précision de modèles de
cartilages issus d’acquisitions IRM
[Koo et al. 2009]

• Comparaisons quantitatives basiques

• Précision milimétrique

Carte colorée (a) des mesures d’épaisseurs de

cartilage et (b) de leur comparaisons depuis
deux acquisitions 3D laser et IRM.
Figure issue de [Koo et al.2009] [Koo et al. 2009] Accuracy of 3D Cartilage Models Generated From MR Images
Is Dependent on Cartilage Thickness: Laser Scanner Based Validation of In Vivo
Cartilage – in J Biomech Eng. 2009 ,131(12)

Soutenance de thèse de Doctorat - B. Serres 58 25 juillet 2013

 Dissection - Validations

Etude des déformations Etude de la résolution selon l’axe Z

• Expérimentation • Mesures de distances
• 2 acquisitions IRM • PPV
• Recalage 3D • Distance euclidienne
(FLIRT & FNIRT FSL)
• Résultats
• Aucune déformation lors de
la dissection
• Validation qualitative
• Résolution IRM T1 1mm

En Nd Gris : étape N
En Nd Jaune: étape N+1
Zemmoura, Serres et al. OHBM 2011 Zemmoura, Serres et al. Submitted Neuroimage 2013

Soutenance de thèse de Doctorat - B. Serres 59 25 juillet 2013

 Iterative Closest Point (ICP)

Algorithme (recalage rigide)

• Soit 2 nuages de points X et X’ iN X 2
1
• On cherche à minimiser :  
NX
i 0
X i  ppv ( X i , X ' )

• On pose :  k   k   k 1

• Etapes:
• Initialisation
• Tant Que ( δ > seuil ) OU ( k > max_Iterations )
• Recherche du plus proche voisin (O(N Log N))
• Calcul de la transformation (O(N)) Méthode du Quaternion unitaire[Horn1987]
• Application de la transformation (O(N))
• Mise à jour de δ

• Optimisations Recherche du PPV:

• kd-tree,
• Approximate Nearest Neighbors
• Convergence
• Assurée, monotone vers minimum local
• Importance de l’initialisation Manuscrit, pp112-115
Soutenance de thèse de Doctorat - B. Serres 60 25 juillet 2013
 Recalage IRM: validations

Validation Qualitative Validation Quantitative

Manuscrit, pp129-132
Soutenance de thèse de Doctorat - B. Serres 61 25 juillet 2013
 Projection de texture

Texturage Projectif (Projective Texturing)

Avec Calcul des coordonnées de texture:
n : « near » ou plan proche
f : « far » ou plan lointain s  x
r : plan droit    
l : plan gauche
t  y
 r   T projecteur  
t : plan haut
b : plan bas z
θ: angle d'ouverture    
 1 1
Avec
Tprojecteur  Sajustement  Pprojecteur Vprojecteur  M objet

 wh  arctan( 2 ) 0 0 0
   0.5 0 0 0.5 
 0 arctan( 2 ) 0 0   
 0 0.5 0 0.5 
Pprojecteur   f f n  Sajustement
 0 0
f n

f n 0 0 0.5 0.5 
   
 0 0 1 0   0 0 0 1 
Soutenance de thèse de Doctorat - B. Serres 62 25 juillet 2013
 Software

Soutenance de thèse de Doctorat - B. Serres 63 25 juillet 2013

 Acquisition 3D Surfacique

Vue du processus d’acquisition 3D surfacique par Vue du maillage résultant d’une acquisition surfacique par scanner laser d’une
scanner laser d’une pièce anatomique pièce anatomique en cours de dissection.
Soutenance de thèse de Doctorat - B. Serres 64 25 juillet 2013
 Acquisition 3D Volumique

Acquisition IRM pondérée en T1

• Choix de la platine
• PVC
• Matériau visible en
hypo-signal IRM

Visualisation classique: 3 plans 2D

• Choix du matériau de fixation
• Paraffine (hypo signal)
• Colorée (acquisition laser)

• Choix et positionnement
des repères:
• 4 points repères non coplanaires
• Corps gras, visibles en hyper-signal

Visualisation 3D en rendu volumique

Soutenance de thèse de Doctorat - B. Serres 65 25 juillet 2013
 Expérimentation Tractographie Cordes

Objectif:
Comparer une reconstruction tractographique à une vérité terrain

Protocole
• Extraction de V
• Acquisition DTI, puis T1
• Tractographie déterministe (DTI toolkit, Streamline)
• Extraction des reconstructions des torons par ROIs sphériques
• Extraction des torons en image volumique binaire
• Construction de Vref
• Acquisition laser des torons dégagés
• Etiquetage des portions de toron
• Export en image volumique de l’enveloppe scannée
• Fermeture 3D
• Comparaison de V et Vref

Soutenance de thèse de Doctorat - B. Serres 66 25 juillet 2013

 Expérimentation Tractographie Cordes
VRef V

Comparaison de V à Vref
Indicateur Valeur calculée Valeur optimale

Précision 83% 100%

Rappel 48% 100%

F-measure (α=0.5) 42% 100%

Dice 0.42 1.0

Jaccard 0.60 1.0

Soutenance de thèse de Doctorat - B. Serres 67 25 juillet 2013

 Comparaisons : Calcul des indices

Matrice de confusion Externes Vref Internes Vref

Externes V a b
Internes V c d

Précision, Rappel, F-mesure

d (1   ²) P  R
P = Fα-mesure =
bd ²  P  R
d
R=
cd

Similarité (Dice & Jaccard)

Vref  V d
J (Vref ,V )  
Vref  V bcd
Vref  V 2d
D(Vref ,V )  
1
2 ( Vref  V ) card (Vref )  card (V )
Soutenance de thèse de Doctorat - B. Serres 68 25 juillet 2013