Réalité augmentée et

réalité virtuelle
Enseignante: Amel Tilouche
Classe: MDW5
 FICHE DESCRIPTIVE

PRESENTATION OBJECTIFS
 Domaine de formation : Sciences et technologies Avoir les compétences théoriques et pratiques
nécessaires à la réalisation des applications de réalité
 Mention : Licence en Informatique (LI)
augmentée et de réalité virtuelle:
 Parcours : Multimédia et Développement Web (MDW)
 Introduire les notions de base de la réalité augmentée
 Semestre : S5 et la réalité virtuelle
 Unité d’enseignement : Développement 3D avancé  Maitriser les fondements théoriques et les outils de
 Volume horaire : 21 heures (14h cours – 7h TD) production de la réalité augmentée

 Coefficient : 2 ---- Crédit : 2  Maitriser les fondements théoriques et les outils de

production de la réalité virtuelle
MOYENS PEDAGOGIQUES
EVALUATION
 Présentation de cours, vidéos, tableau, QCM, travaux
 Evaluation orale: participation
dirigés.
 Evaluation écrite: 2 tests (20 min), DS (1 heure) et
 Outils de développement.
examen (1.5 heures).
2
Amel TILOUCHE - RA&RV
 PLAN

PARTIE 1 PARTIE 2 PARTIE 3

Introduction à la Réalité augmentée: Réalité virtuelle:

réalité augmentée et Fondements et outils Fondements et outils
la réalité virtuelle de production de production

3
Amel TILOUCHE - RA&RV
INTRODUCTION A LA
REALITE AUGMENTEE ET
LA REALITE VIRTUELLE
4
 Introduction
- Synthèse d’images 3D
- Vision par ordinateur

La réalité augmentée La réalité virtuelle

- Définition et principe - Finalité et définitions
- Historique - Principe
- Systèmes de RA - Historique
- Technologies d’affichage - Interfaces comportementales
- Contraintes de la RA - Contraintes de la RV
- Exemples d’applications - Exemples d’applications
- Perspectives - Perspectives
5
Amel TILOUCHE - RA&RV
 Introduction

Pour commencer, nous allons définir les mots clés de ce cours:

Réalité virtuelle (RV):
Créer un environnement artificiel (virtuel) dans lequel l’utilisateur a
l’impression d’évoluer et avec lequel il peut interagir.
Le système de RV agit sur les différents canaux sensoriels de
l’utilisateur (ses cinq sens).
Les mouvements de l’utilisateur sont pris en compte et agit sur
l’environnement virtuel.
6
Amel TILOUCHE - RA&RV
 Introduction

Réalité augmentée (RA)

Ajouter des éléments virtuels 2D ou 3D à une scène du monde réel.
Combiner le réel et le virtuel de manière interactive et en respectant
l’homogénéité perspective.
Virtualité augmentée (VA)
Ajouter des éléments réels (personnes, textures, etc.) dans un environnement
virtuel.
Offrir à l’utilisateur la possibilité d’immerger dans cet environnement mixte.

7
Amel TILOUCHE - RA&RV
 Introduction

Le continuum réel-virtuel de Paul Milgram et Fumio Kishino (1994) (spectre

des réalités mixtes):

8
Amel TILOUCHE - RA&RV
 Introduction

On ne peut pas parler de la réalité augmentée et la réalité virtuelle sans parler de:
Synthèse d’images
RV est une application de SI.
RA utilise la SI pour la création d’objets virtuels à ajouter.
Vision par ordinateur
Les disciplines de RA et RV sont connexes à la discipline VPO.
Exemples d’utilisation de VPO:
RA: calibrage des caméras réelle et virtuelle, reconnaissance de formes, etc.
RV: reconnaissance de mouvements, etc.
9
Amel TILOUCHE - RA&RV
 Introduction

Les questions à poser:

C’est quoi la synthèse d’images?

C’est quoi la vision par ordinateur?

10
Amel TILOUCHE - RA&RV
 Qu’est ce que la synthèse d’images?

Produire des images réalistes 2D ou 3D afin de simuler une réalité.

Image de synthèse: une image numérique totalement calculée par un ordinateur :
elle est uniquement créée par des moyens informatiques, sans aucune source
extérieure à l'ordinateur.
Image numérique:
toute image (dessin, icone, photographie, etc).
créée, traitée ou stockée sous forme binaire (suite de 0 et de 1).
peut être importée de la réalité (par l'intermédiaire d'une clef USB, d'un
scanner, d'internet, d'un appareil photographique, d'une caméra,
d'un téléphone ou d'un satellite).
11
Amel TILOUCHE - RA&RV
 Qu’est ce que la synthèse d’images?

Principe

La synthèse d’images comporte deux phases principales :

La création de la scène: modélisation.

La visualisation de la scène: rendu

12
Amel TILOUCHE - RA&RV
 Qu’est ce que la vision?

Le monde a une structure 3D et est composé d'objets.

L'être humain sait parfaitement décrire et interpréter ce monde.
Pourtant, l'information disponible sur la rétine n'est qu'un ensemble de
points (environ un million de pixels).
Chaque pixel contient des informations sur la lumière (quantité et contenu
spectral/couleur) reçue en ce point de la rétine.
Les objets (téléphone, voiture, etc.) n'existent pas sur la rétine, et pourtant on
les voit : leur interprétation est le résultat du processus visuel.

13
Amel TILOUCHE - RA&RV
Qu’est ce que la vision?

14
 Résoudre le problème de la vision

La vision humaine est extrêmement complexe

(neurosciences).
La vision par ordinateur ne cherche pas à comprendre ou à
reproduire la vision humaine, mais à construire un modèle
algorithmique qui, vu de l'extérieur, possède des propriétés
semblables.

15
Amel TILOUCHE - RA&RV
 La théorie de la vision

Les algorithmes de vision sont des expressions des

stratégies mises en œuvre :
extraction de primitives à partir des images,
représentation des connaissances,
mise en correspondance,
images/connaissances : reconnaissance.
Un système de vision doit être fiable et rapide.
16
Amel TILOUCHE - RA&RV
 Définition de VPO

Traitement automatisé par ordinateur des informations visuelles.

Domaines de recherche:
Intelligence artificielle
Robotique
Traitement de signal
Imagerie médicale

17
Amel TILOUCHE - RA&RV
 Quelques exemples concrets

Reconnaissance d’écriture (OCR)

Asservissement visuel de robots
Une caméra observe l'évolution du robot et le renseigne sur sa
position par rapport à la cible.
Robotique mobile
Découverte d'un environnement inconnu et construction d'une
carte (exploration).
Conduite automatique / assistée.
Modélisation à partir d'images 18
Amel TILOUCHE - RA&RV
 Quelques exemples concrets

Rendu à partir d'images.

Postproduction cinématographique (objets virtuels dans scènes
réelles et vice-versa).
Réalité virtuelle: reconnaissance de mouvements.
Réalité augmentée: incruster d’une façon très réaliste des objets
de synthèse dans des environnements réels (calibrage des
caméras, reconnaissance de formes, etc.).

19
Amel TILOUCHE - RA&RV
Réalité augmentée

20
 Introduction

La réalité augmentée est interdisciplinaire et s'enrichit grâce à un

environnement augmenté par des ajouts visuels, sonores et/ou
haptiques.
Elle s'appuie sur :
le traitement du signal ;
la vision par ordinateur ;
la synthèse d'images ;
les interfaces homme/application ;
les technologies mobiles. 21
Amel TILOUCHE - RA&RV
 Définition

RA vise à ajouter des éléments virtuels au monde réel qui nous entoure, en
offrant à l'utilisateur la possibilité d'être immergé dans cet environnement
mixte.
Plus précisément, la réalité augmentée (RA) :
combine le réel et le virtuel,
de manière interactive (en temps réel) et
en respectant l'homogénéité perspectiviste.
Un mélange soigneusement dosé entre le monde réel et le monde virtuel:
L'environnement réel est enrichi avec des informations de synthèse. 22
Amel TILOUCHE - RA&RV
 Principe

Les scènes réelles sont capturées par une caméra (appareil à

photos, webcam ou téléphone portable) et transmises à une
unité de traitement (logiciel de réalité augmentée).

Ce logiciel procède à la reconnaissance d'images puis génère

des images en trois dimensions en temps réel qui sont alors
affichées à l'écran sur les images du monde réel.
23
Amel TILOUCHE - RA&RV
 Principe

Il faut localiser le virtuel dans le réel avec le même point de vue:

Placer des marqueurs dans la scène réelle.
Permettant de calculer les coordonnées 3D à partir de 3 points spécifiques
reconnus par le système.

24
Amel TILOUCHE - RA&RV
 Historique

Armée
1965/1968: apparition de premier casque suivi
par un capteur de mouvement.
1980: apparition des casques (HUD: Head Up
Display).
Développement des applications pour les
tableaux de bords des avions de combats ou
les casques (Head Up Display) des militaires.
Obtenir des informations, en temps réel, du
champ de bataille.
25
Amel TILOUCHE - RA&RV
 Historique

Médecine
Bajura (1992) et State (1996): création des
applications de RA.
Pour visualiser directement des données
d’imagerie à ultrasons sur le corps du patient.
Pour augmenter leur compréhension
(interaction et visualisation dans un même
espace).
26
Amel TILOUCHE - RA&RV
 Historique

Cinéma
1993: le film « Jurassic Park » de Steven Spielberg
Des images de synthèse représentant des
dinosaures sont ajoutées en temps réel dans
le décor du parc d’attraction.
Le Seigneur des Anneaux ou Star Wars.

27
Amel TILOUCHE - RA&RV
 Historique

IHM
Pierre WELLNER (1991): propose la
possibilité d’interagir naturellement avec
des documents numériques, par
l’intermédiaire d’une projection de ces
éléments dans le monde réel.
28
Amel TILOUCHE - RA&RV
 Historique

George W. FITZMAURICE (1995)et H. ISHII (1997):

proposent la modification des éléments
numériques par des éléments du réel plus simple
et souple que WIMP (Windows, Icons, Menus and
Pointing device) avec l’interaction à 2 mains de
l’objet réel, le multiplexage spatial de l’objet et
l’externalisation du concept.

29
Amel TILOUCHE - RA&RV
 Système de RA

Un système de réalité augmentée doit permettre de :

mixer le virtuel et le réel ;
mettre en correspondance ces derniers en cas de mobilité de
l'utilisateur ou de l'environnement ;
permettre à l'utilisateur d'interagir avec le système en temps
réel.

30
Amel TILOUCHE - RA&RV
 Système de RA

Construit sur la base d’une architecture matérielle commune:

une caméra filmant la scène visionnée par l’utilisateur ou un
casque semi-transparent porté par l’utilisateur;
un ordinateur pour générer les entités virtuelles;
des dispositifs d’entrée et de sortie;
des capteurs fournissant la position de l’utilisateur et des objets
de l’environnement réel.
 Les entités virtuelles peuvent être: visuelles, haptiques, sonores ou
olfactives.
31
Amel TILOUCHE - RA&RV
 Système de RA

Le rendu visuel en RA peut être:

Indirect: sur grand ou moyen
écran en semi-immersion, sur
petit écran (PDA) ou sur des
casques immersifs.
la vue du réel est
restituée par caméra :
vision indirecte.
32
Amel TILOUCHE - RA&RV
 Système de RA

33
Amel TILOUCHE - RA&RV
 Système de RA

Direct: lunettes semi-

transparentes.
Le réel est perçu
directement par l’utilisateur :
vision directe .

34
Amel TILOUCHE - RA&RV
 Système de RA

35
Amel TILOUCHE - RA&RV
 Technologies d’affichage

Trois types de dispositifs de visualisation:

Head worn: casques ou lunettes .
Handheld: tablette PC, assistant personnel ou téléphones
cellulaires.
Projective: projecteurs destinés à augmenter les objets réels
par projection directe d’informations supplémentaires sur les
objets eux-mêmes.
36
Amel TILOUCHE - RA&RV
 Technologies d’affichage – Head worn

 Head worn displays

Appelés aussi HMD (Head Mounted Displays).
Consiste à afficher des images 3D (un affichage pour chaque œil)
modifiées par la position de l’utilisateur dans l’environnement.

37
Amel TILOUCHE - RA&RV
 Technologies d’affichage – Head worn

Deux types de dispositifs pour assurer le mélange réel/virtuel:

Les dispositifs optical see-through : apportent une vision directe
dans laquelle l’utilisateur perçoit le monde réel à travers un
dispositif optique dans lequel sont projetés les images virtuelles
destinées à l’augmentation.
Les dispositifs video see-through: apportent une vision indirecte
dans laquelle le monde réel est perçu grâce à une ou deux caméras
disposées sur le casque ou les lunettes. Le mélange réel virtuel
consiste alors à superposer les augmentations au signal vidéo des
caméras avant d’afficher le résultat dans les lunettes.
38
Amel TILOUCHE - RA&RV
39
 Technologies d’affichage - Handheld

Handheld displays
Offrir à l’utilisateur une « fenêtre
augmentée » sur le monde réel.
En équipant un PDA ou une tablette PC
d’une caméra et d’un système de
tracking permettant ainsi d’augmenter
la vue fournie par la caméra.

40
Amel TILOUCHE - RA&RV
 Technologies d’affichage - Projective

Projective displays
Augmenter n’importe quelle partie d’une
pièce (table, sol, murs) en utilisant un
miroir mobile pour orienter la projection
selon le type de surface.
Utilisation des projecteurs prenant en
compte la géométrie de la surface de
projection (plane , ronde, etc.).

41
Amel TILOUCHE - RA&RV
 Contraintes de RA

(a) Intégration arbitraire

(b) Prise en compte de
l’alignement entre caméras
réelle et virtuelle
(c) Respect de la cohérence
spatiale
(d) Respect de la cohérence
photométrique

42
Amel TILOUCHE - RA&RV
 Contraintes de RA

Alignement des caméras réelles et virtuelles

Faire correspondre la perspective de l'objet virtuel avec celle de la scène
réelle.
Pour résoudre ce problème:
Retrouver les propriétés de la caméra réelle ayant donné lieu à l'observation
(réglages internes et point de vue par rapport à la scène),
Calculer les images synthétiques en utilisant une caméra virtuelle reprenant les
mêmes propriétés.
Plusieurs techniques existent pour retrouver les paramètres réels de la caméra,
à partir de capteurs ou d'indices extraits directement de l'image à augmenter.
43
Amel TILOUCHE - RA&RV
 Contraintes de RA

Figure (b): exemple de résultat obtenu lorsque l'image de la voiture

respecte la perspective réelle.
Image non réaliste : la voiture n'est pas correctement éclairée,
et la partie arrière du véhicule qui devrait être occultée par le
bâtiment photographié, est pourtant projetée par-dessus
l'édifice.

Résoudre les autres problèmes.

44
Amel TILOUCHE - RA&RV
 Contraintes de RA

Cohérence spatio-temporelle

Concerne les déplacements des objets virtuels dans la scène

réelle (positionnement relatif, synchronisation temporelle), ainsi
que les occultations et interpénétrations qui peuvent se produire
entre éléments de natures différentes.

La Figure (c) montre un résultat de composition où la cohérence

spatiale est prise en compte.
45
Amel TILOUCHE - RA&RV
 Contraintes de RA

Cohérence photométrique
Concerne la prise en compte des inter-réflexions lumineuses
(ombres, reflets) entre les scènes réelles et virtuelles.
La Figure (d) montre le résultat obtenu en tenant compte de la
cohérence photométrique.

46
Amel TILOUCHE - RA&RV
 Exemples d’applications

Diversité des applications dans plusieurs domaines:

Médecine
Guide des opérations chirurgicales (patient virtuel projeté sur le patient
réel)
Industrie
Aide à la maintenance (trouver les pannes et les pièces à remplacer)
Guide pour le montage d’un produit industriel (machine, voiture, etc.)
Tourisme
Education
Etc. 47
Amel TILOUCHE - RA&RV
 Exemples d’applications

Plus d’intérêt pour les applications mobiles

Les principaux supports de la RA mobile:
Tablettes
Smartphones
Lunettes de Google : munies d’un GPS, d’une
connexion, d’une caméra et d’un petit écran
pourront afficher des informations
contextuelles en RA.
48
Amel TILOUCHE - RA&RV
 Exemples d’applications

RA utilise les technologies suivantes pour ses applications mobiles:

Marqueurs

Géolocalisation

Reconnaissance de formes

49
Amel TILOUCHE - RA&RV
 Contraintes de RA mobile

Trois limites majeures liées à la mobilité :

Précision des données issues du GPS et de la caméra.
RA nécessite une précision inférieure à celle d’un GPS (en mètres).
Qualité de caméra supérieure : pas différence entre ce qu’on filme et ce qu’on visionne.

Performance des calculateurs.

Calcul précis et rapide surtout pour la reconnaissance de formes (temps réel).

Problèmes de reflets et occlusions lors d’une utilisation en extérieur.

Ces applications touchent principalement les domaines suivants :
Pour le grand public : localisation d’éléments en ville, immobilier, shopping.
50
Pour les professionnels : formation, assistance.
Amel TILOUCHE - RA&RV
 Perspectives

Futur de RA
Ondes cérébrales couplées à la RA
Un architecte regarde un espace vide, il y imagine une
construction, le plan de celle-ci est conçu au fur et à
mesure de sa réflexion.

Lentilles 3D
Equipées d’un micro-processeur, assistent leur
utilisateur dans ses activités quotidiennes : préparation
d’un plat, etc. Tel que l’exemple d’Edward dans Twilight.
51
Amel TILOUCHE - RA&RV
Réalité virtuelle

52
 Finalité

Permettre à une personne (ou plusieurs) :

Une activité sensori-motrice et cognitive ;
dans un monde artificiel ;
créé numériquement et qui peut être:
imaginaire, symbolique ou simulation de certains aspects du monde réel.
Activité sensori-motrice : la personne perçoit et agit physiquement avec les
entités et éléments du monde virtuel.
Activité cognitive: lors de la réception d’une action d’une personne par le
système de RV, ce dernier fait des reconnaissances de ces actions pour
apporter des modifications à l’environnement virtuel. 53
Amel TILOUCHE - RA&RV
 Finalité

Monde imaginaire: créer un monde irréel, sorti de l’imagination de

l’artiste ou de l’acteur de science-fiction.
Monde symbolique: représenter symboliquement un phénomène (la
structure de molécules, l’écoulement de fluides, etc.) ou ajouter au
monde réel simulé des concepts ou entités symboliques.
Simulation de certains aspects du monde réel: reproduire le
comportement du monde réel.
Par exemple:
Former du personnel dans un environnement virtuel pour leur éviter des
risques réels.
54
Étudier un futur produit, qui n’est donc pas encore matérialisé.
Amel TILOUCHE - RA&RV
 Définitions

Définition fonctionnelle
S’extraire de la réalité physique pour changer virtuellement de
temps, de lieu et (ou) de type d’interaction :

Interaction avec un environnement simulant la réalité.

Interaction avec un monde imaginaire ou symbolique.

55
Amel TILOUCHE - RA&RV
 Définitions

Définition technique
Domaine scientifique et technique exploitant l’informatique
et des interfaces comportementales en vue de simuler dans
un monde virtuel le comportement d’entités 3D, qui sont en
interaction en temps réel entre elles et avec un ou des
utilisateurs en immersion pseudo-naturelle par l’intermédiaire
de canaux sensori-moteurs.
56
Amel TILOUCHE - RA&RV
 Définitions

Informatique: utiliser des potentialités matérielles et

logicielles pour réaliser techniquement un environnement
virtuel interactif qui puisse être interfacé avec l’utilisateur.
Interfaces comportementales: interfaces matérielles
composées d’ :
Interfaces sensorielles : informent l’utilisateur par ses
sens de l’évolution du monde virtuel (exemple : écran).

57
Amel TILOUCHE - RA&RV
 Définitions

Interfaces motrices: informent l’ordinateur des actions

motrices de l’homme sur le monde virtuel (exemple:
gants de données).
Interfaces sensori-motrices : informent dans les deux
sens.
Le nombre et le choix de ces interfaces dépendent
de l’objectif poursuivi de l’application.
58
Amel TILOUCHE - RA&RV
 Définitions

Interfaces motrices

Interfaces sensori-motrices Monde Virtuel

Interfaces sensorielles

Sujet

59
Amel TILOUCHE - RA&RV
 Définitions

Interaction en temps réel est obtenue si l’utilisateur ne perçoit pas de

décalage temporel entre son action sur l’environnement virtuel et la
réponse sensorielle de ce dernier.
Immersion pseudo-naturelle: l’immersion ne peut être naturelle car nous
avons appris à agir naturellement dans un monde réel et non virtuel.
Le sujet cesse de se rendre compte de son propre état physique.
Intense concentration.
Notion perturbée du temps et de la réalité.
60
Amel TILOUCHE - RA&RV
 Définitions

Autres définitions
Une simulation informatique interactive, immersive, visuelle,
sonore et/ou haptique, d'environnements réels ou imaginaires.
RV=image de synthèse + stimulation des canaux sensoriels.
Un dispositif informatique permettant la virtualisation puis
l’actualisation d’un monde tridimensionnel et multisensoriel
construit au sein d’un espace-temps particulier et inspiré par la
réalité, par des savoirs ou par l’imaginaire.
61
Amel TILOUCHE - RA&RV
 Principe fondamental

Boucle «Perception, Cognition, Action »:

62
Amel TILOUCHE - RA&RV
 Principe fondamental

Perception: action sur l’environnement par des interfaces

motrices qui captent ses actions (gestes, déplacements, voix,
etc.).
Cognition: le calculateur interprète les actions comme une
demande de modification de l’environnement.
Action: le calculateur évalue les transformations à apporter à
l’environnement virtuel et les restitutions sensorielles (images,
sons, effort, etc.) à transmettre aux interfaces sensorielles.
63
Amel TILOUCHE - RA&RV
 Historique

1957 : Morton Heilig

Invente en 1957 le “Sensorama Simulator”.
Simulation d’un voyage en bicyclette ou en voiture (en
pleine campagne ou en ville urbaine).
Interaction multisensorielle: son stéréo, ventilateur pour
envoyer l’air aux cheveux d’utilisateur, émanation
d’odeurs, sièges vibrants.
64
Amel TILOUCHE - RA&RV
 Historique

1968 : Ivan Sutherland

Création du premier visiocasque, “l’Épée de Damoclès”
(une situation particulièrement dangereuse).
Modélisation “filaire” d’un environnement en 3D.
1966 : Création de l’entreprise Evans & Sutherland.
1973 : Production des premiers générateurs de scènes
comportant 200 à 400 polygones.
65
Amel TILOUCHE - RA&RV
 Historique

1981 : Casque de visualisation à cristaux

liquides
Le programme VIVED (Virtual Visual Environment Display)
lancé par la NASA.
1981: Casque à Écrans LCD utilisant la technologie du
premier Watchman de Sony.
Deux écrans LCD.
Capteur de position magnétique Polhemus.

66
Amel TILOUCHE - RA&RV
 Historique

1981 : Invention du gant de données

1981: invention du premier gant de données par
Zimmerman.
1987 : commercialisation du Data Glove.
1988 : Traitement du son 3D
Premier système capable de traiter des sons 3D, Le
Convolvotron.
Positionne les sources sonores dans l'espace en
fonction des mouvements de l'utilisateur. 67
Amel TILOUCHE - RA&RV
 Historique

1991 : La voûte d’immersion ou CAVE

Crée à l’Université de l’Illinois à Chicago.
Projection d’images sur quatre surfaces :
3 murs et au sol.
Les objets sont vues grâce à des lunettes
stéréoscopiques.

68
Amel TILOUCHE - RA&RV
 Interfaces comportementales

Les interfaces motrices Les interfaces sensorielles

Les interfaces manuelles sensorielles
Les capteurs de localisation – Traqueurs
(sensibilité cutanée)
Les interfaces spécifiques de localisation
Les interfaces visuelles
corporelle
Les interfaces à simulation de
Les interfaces manuelles motrices
mouvement
Les interfaces sensori-motrices
Les autres interfaces (olfactives,
Les interfaces manuelles sensori-motrice sonores, climats, etc.)
(retour d’effort)
69
Amel TILOUCHE - RA&RV
 Interfaces motrices
Interfaces de localisation

Localisation d’une partie du corps ou d’un objet manipulé.

Positionnement d’un repère lié à un objet :
Déterminé par la mesure de 6 paramètres (3 angles et 3 distances)
liés aux 6 degrés de liberté du repère.
Ces 6 paramètres sont définis par la matrice de transformation
géométrique entre le repère lié à l’environnement et le repère lié à
l’objet.
Interfaces indispensables de la RV.
70
Amel TILOUCHE - RA&RV
 Interfaces motrices
Interfaces de localisation

Utilisées pour:
La localisation de la tête de l’utilisateur portant un visiocasque
ou des lunettes.
La localisation (6 degrés de liberté) de la main portant
éventuellement un gant de données.
La mesure du déplacement spatial de l’extrémité de la main
permettant de manipuler un objet virtuel ou de diriger
naturellement un curseur dans un environnement virtuel.
71
Amel TILOUCHE - RA&RV
 Interfaces motrices
Interfaces de localisation

La localisation d’une partie du corps, utilisée entre autres pour la «

motion capture » (Capture de mouvement).

72
Amel TILOUCHE - RA&RV
 Interfaces motrices
Capteurs de localisation corporelle

Les interfaces de localisation du corps sont

utilisées pour détecter les mouvements de tout
le corps et aussi souvent pour déterminer la
configuration du squelette à tout instant.
Le principe consiste à reconstituer un squelette
virtuel dont la position est dictée par celle de
l’utilisateur.
L’utilisateur est donc équipé de plusieurs
capteurs de position placé à des points
stratégiques (poignet, tête, genoux, etc.).
73
Amel TILOUCHE - RA&RV
 Interfaces motrices
Interfaces manuelles

Une catégorie très développée d’interfaces spécifiquement dédiées à la

main.
Dans ce cas, la main est le moyen le plus instinctif d’interaction avec les
objets qui peuplent l’environnement virtuel.
Le but de ces capteurs est de donner la position des doigts de la main.
Ce type de capteur ne permettra pas de donner la position de la main dans
l’espace. Pour cela, il faudra coupler notre capteur avec un capteur de
localisation.
Il existe plusieurs types d’interfaces allant du simple bouton au gant de
données.
74
Amel TILOUCHE - RA&RV
 Interfaces motrices
Interfaces manuelles

• Souris 3D: comporte plusieurs boutons. Son inclinaison est également

mesurée. Elle est généralement couplée à un système de localisation.
• Gant de données: mesure les mouvements relatifs des doigts par rapport à la
main.
Le choix du capteur doit donc se faire en fonction des besoins de
l’application.

75
Amel TILOUCHE - RA&RV
 Interfaces motrices
Autres capteurs

Interface de détection de l’expression du visage ou des

lèvres.
Utilisée pour :
Animer en temps réel le visage d’un avatar.
Analyser des réactions de l’utilisateur.
Deux grandes familles sont commercialisées :
Les systèmes optiques, sans contrainte d’utilisation
mais pas toujours robuste.
Les systèmes mécaniques, très contraignant à
76
l’usage. Amel TILOUCHE - RA&RV
 Interfaces motrices
Autres capteurs

Autres interfaces de commandes:

CAT : interface de commande non manuelle, plateau orientable dans les
trois directions pour permettre la manipulation d’objet 3D.
La commande par la voix est possible, surtout pour donner des ordres
binaires.
Interfaces « pédestres » de commande.
Pédalier des simulateurs de véhicules.
Une idée plus originale a été développée pour faire des commandes avec
la tête de l’utilisateur face à un écran, etc.
77
Amel TILOUCHE - RA&RV
 Interfaces sensori-motrices
Interfaces à retour d’effort

La seule localisation du corps n’est pas suffisante pour

immerger l’utilisateur. Il ne ressent rien en retour et
perçoit un monde virtuel impalpable. L’utilisation
d’interfaces à retour d’effort contribuent à l’immersion la
plus réaliste possible de l’utilisateur.

78
Amel TILOUCHE - RA&RV
 Interfaces sensori-motrices
Interfaces à retour d’effort

79
Amel TILOUCHE - RA&RV
 Interfaces sensorielles

Ce type d’interfaces comportent tous les équipements destinés à

fournir de l’information à l’utilisateur par le biais de ses sens.
Les interfaces indispensables à pratiquement toutes les
plateformes de RV sont les interfaces visuelles, mais il existent
d’autres types d’interfaces sensorielles:
Les interfaces à sensibilité cutanée
Les interfaces à simulation de mouvement
Les interfaces olfactives
Etc. 80
Amel TILOUCHE - RA&RV
 Interfaces sensorielles
Interfaces visuelles

L’utilisation du sens visuel est presque toujours

indispensable en réalité virtuelle.

Les moteurs graphiques utilisés permettent de créer des

images de synthèse de haute qualité.

81
Amel TILOUCHE - RA&RV
 Interfaces sensorielles
Interfaces visuelles

L’interface visuelle idéale doit offrir quatre capacités de plus que celles
d’un écran ordinaire :
De grands champs de vision horizontaux et verticaux correspondant à ceux
des yeux.
Une vision stéréoscopique dans tout le champ de vision binoculaire
(facultatif).
Une haute résolution graphique.
Une immersion du regard dans le monde virtuel (l’utilisateur voit toujours la
scène même s’il translate ou tourne sa tête dans n’importe quelle
direction).
82
Amel TILOUCHE - RA&RV
 Interfaces sensorielles
Interfaces visuelles

Deux catégories :
Les interfaces à support fixe avec Les interfaces à support fixe avec
plus ou moins d’immersion du plus Les interfaces portables avec
regard: immersion totale du regard:
Écran d’ordinateur monoscopique Visiocasque;
ou stéréoscopique;
Visio-lunettes;
Fenêtre immersive ou mur d’image;
Visiocasque semi-transparent.
Visiobureau ou bureau immersif;
Visiosalle et visiocube. 83
Amel TILOUCHE - RA&RV
Interfaces sensorielles
Interfaces visuelles

Stéréovision:
Afin d’offrir une plus grande immersion visuel de l’utilisateur, on va
chercher à reproduire le mécanisme visuel humain en offrant à
chaque œil une image différente.
Chaque image sera obtenue avec un angle de vue différent.
C’est le cerveau qui va reconstruire l’image mentale en trois
dimension. La profondeur sera ainsi mieux perçu qu’avec les images
de synthèses standards (type jeux vidéos).
L’utilisateur aura également l’impression de voir les objets situés
juste devant lui sortir de l’écran. Amel TILOUCHE - RA&RV
84
 Interfaces sensorielles
Interfaces visuelles

Techniques de stéréovision:
La stéréo active
Une seule source d’image est nécessaire.
La source d’image envoie vers l’utilisateur successivement une image pour l’
œil droit puis une pour l’ œil gauche et ainsi de suite.
L’utilisateur porte une paire de lunettes à obturateurs (fermetures)
synchronisée avec l’affichage des images. Lorsque l’image pour l’œil droit
est envoyée l’obturateur de la lunette gauche se ferme et inversement.
La paire de lunettes est synchronisée avec la projection par liaison
infrarouge. 85
Amel TILOUCHE - RA&RV
 Interfaces sensorielles
Interfaces visuelles

La stéréo passive
Deux sources d’images sont utilisée en même temps.
Les images des deux yeux sont donc envoyées vers l’utilisateur en
même temps.
Chaque source d’images est polarisée en sortie.
L’utilisateur porte des lunettes polarisantes correspondant aux
sources d’images. Le verre polarisant de l’œil droit va donc bloquer
l’image destinée à l’œil gauche et inversement.
86
Amel TILOUCHE - RA&RV
 Interfaces sensorielles
Interfaces visuelles

Interfaces à support fixe avec plus ou moins d’immersion du regard:

Les écrans d’ordinateur
Écran standard muni d’un système de stéréo actif:
Il est possible d’utiliser un écran standard en stéréo active. Les lunettes à obturateurs sont
synchronisées avec le rafraîchissement de l’image.
La stéréo passive n’est bien entendu pas possible sur un écran d’ordinateur standard.
Écran auto stéréoscopique avec réseau lenticulaire
Le principe est le même que celui des cartes postales en relief. L’image brute est constituée
d’une succession de colonnes de l’image gauche et de l’image droite. Un réseau de lentilles
va permettre à l’œil gauche de ne voir que les colonnes qui correspondent à l’image gauche
87
et inversement. Amel TILOUCHE - RA&RV
Interfaces sensorielles
Interfaces visuelles

Fenêtre immersive
Son principe est d’offrir une fenêtre vers la réalité virtuelle. L’écran est
orientable et est accroché à un portique. L’observateur, en le manipulant,
peut regarder la scène virtuelle dans toutes les directions « par la fenêtre ».
Visio-bureaux ou bureaux immersifs
Apparu au milieu des années 90, permettent d’afficher sur une grande
surface des images stéréoscopiques. Permettent ainsi à un ou deux
utilisateurs de visualiser des objets tridimensionnels. Ils fonctionnent
globalement comme les écrans stéréoscopiques avec séparation par
lunettes (actives ou passives), excepté que l’image est projetée sur un
écran par l’intermédiaire de rétroprojecteur et éventuellement via un ou 88
deux miroir. Amel TILOUCHE - RA&RV
 Interfaces sensorielles
Interfaces visuelles

Bureaux immersifs: Fenêtre immersive

Baron et Consul de Barco WindowVR deVirtualResearch
89
Amel TILOUCHE - RA&RV
 Interfaces sensorielles
Interfaces visuelles

Visio-salle
Salle immersive: une interface de visualisation composée principalement
d’une station graphique puissante et d’un ensemble de vidéo projecteurs
permettant l’affichage d’une image à haute résolution sur grand écran,
plat ou semi-cylindrique. Elle permet ainsi à quelques dizaines de
personnes de regarder simultanément des images de synthèse générées
en temps réel.
Les plates-formes du SeT entrent tout à fait dans cette catégorie
d’équipement. Principalement utilisées pour visualiser des produits ou des
bâtiments avant fabrication le tout à l’échelle 1.
90
Amel TILOUCHE - RA&RV
 Interfaces sensorielles
Interfaces visuelles

Visio-cube
CAVE: interface à taille humaine. Offre une immersion
visuelle totale : sur 360° horizontalement avec un visio-cube
à 4 faces et sur 360° horizontalement et verticalement avec
un visio-cube à 6 faces.

91
Amel TILOUCHE - RA&RV
 Interfaces sensorielles
Interfaces visuelles

Interfaces visuelles portables:

Visiocasques:
Casques immersifs dont l’objectif est de fournir une vision
stéréoscopique à l’aide de deux petits écrans, un grand champ
visuel correspondant à celui des yeux de l’utilisateur et une
immersion du regard.
En plus de la vision stéréo, ces appareils disposent d’un capteur
de localisation de la tête de l’utilisateur permettant d’afficher les
images correspondant à l’orientation des yeux.
92
Amel TILOUCHE - RA&RV
 Interfaces sensorielles
Interfaces visuelles

La majorité des casques offre également un système d’écoute

stéréophonique.
Plusieurs types de casques existent :
Les visiocasques avec écrans à tube cathodique
Les visiocasques avec écrans à cristaux liquides

93
nVisor SX 5DT HMD
Amel TILOUCHE - RA&RV
 Interfaces sensorielles
Interfaces visuelles

Visio-lunettes:
Interfaces visuelles légèrement différentes des visiocasques car celles-ci
permettent de voir les images virtuelles tout en n’étant pas totalement coupé du
monde extérieur.
Un cas particulier de visio-lunettes utilise non pas des écrans, mais deux
faisceaux laser pour dessiner les images sur les verres des lunettes.
Quel que soit la technique utilisée, les écrans des visio-lunettes ne recouvrent
parfois pas totalement la scène réel permettant ainsi de faire de la réalité
augmentée. Par exemple il est possible d’afficher des informations relatives au
contexte par-dessus la scène réelle (réalité documentée).
94
Amel TILOUCHE - RA&RV
 Interfaces sensorielles
Interfaces visuelles

95
Amel TILOUCHE - RA&RV
 Interfaces sensorielles
Interfaces à sensibilité cutanée

Procurent que des stimuli tactiles, avec des efforts répartis

de faible intensité sur les parties du corps.
Rappelons que toute interface à retour d’effort crée
automatiquement des sensations cutanées en plus des
efforts. Mais dans ces dernières interfaces, les sensations
cutanées ne sont qu’une conséquence des efforts appliqués
et ne sont pas contrôlables directement.

96
Amel TILOUCHE - RA&RV
 Interfaces sensorielles
Interfaces à sensibilité cutanée

L’absence de sensibilité cutanée dans un monde virtuel ôte

une source d’informations qui peut être gênante pour
certaines simulations virtuelles.
Il est possible de distinguer deux fonctionnalités d’interfaces
tactiles:
informent l’utilisateur sur les effets mécaniques du
contact.
permettent à l’utilisateur de mieux interpréter l’aspect
superficiel de l’objet (sa matière et sa texture).
97
Amel TILOUCHE - RA&RV
 Interfaces sensorielles
Interfaces à sensibilité cutanée

Types d’interfaces:
Interface à retour thermique
Interface à retour tactile
Pneumatique
A matrice d’aiguilles
Par vibration
Par électrodes cutanées
Ces interfaces sont généralement disponibles sur des manettes ou des gants.
Peu d’applications en RV exploitent ce type d’interfaces comportementales.
98
Amel TILOUCHE - RA&RV
 Interfaces sensorielles
Interfaces à simulation de mouvement

Leur objectif est de modifier l’orientation du corps dans l’espace ou de lui

faire subir des accélérations.
Deux types:
Les sièges et autres dispositifs mono-utilisateur de simulation, qui
changent l’orientation du corps de la personne et/ou qui parfois
appliquent des accélérations alternatives et limitées en intensité.
Les cabines de simulation, multiutilisateurs en général, qui modifient
l’orientation du corps des personnes et leur imposent de fortes
accélérations. Dans ces cabines, le dispositif d’affichage du monde
virtuel est inclus dans la cabine fermée.
99
Amel TILOUCHE - RA&RV
 Interfaces sensorielles
Autres interfaces

Il existe d’autres types d’interfaces plus spécifiques et

toujours en cours de développement :
Les interfaces olfactives
Les interfaces sonores
Les interfaces de température

100
Amel TILOUCHE - RA&RV
 Contraintes

La création informatique d’un monde virtuel:

la modélisation;
la numérisation
et le traitement informatique du monde virtuel.
l’interfaçage entre le sujet et ce monde virtuel.

101
Amel TILOUCHE - RA&RV
 Exemples d’applications

Diversité des applications dans plusieurs domaines:

Industrie
Usines virtuelles
Formation dans des usines virtuelles afin d’éviter les risques
professionnels réels.
Conception des usines virtuelles afin d’évaluer des contraintes de la
mise en place réelle tels que:
l’agencement de l’espace de travail
l’hauteur des plans de travail
102
Amel TILOUCHE - RA&RV
des espaces au sein de l’usine où le volume sonore serait trop élevé.
 Exemples d’applications

Design industriel
Test des designs et vérification de l’apparence des
éléments individuels d’un véhicule sans avoir à fabriquer
un prototype physique.

Jeux vidéo

103
Amel TILOUCHE - RA&RV
 Exemples d’applications

Education
Apprendre aux étudiants en médecine
la réalisation des opérations en RV
pour remédier aux problèmes de
manque des places dans les blocs
d’opérations ou encore la rareté de
quelques opérations.
Apprendre le pilotage d’avion en
utilisant des simulateurs de RV.
104
Amel TILOUCHE - RA&RV
 Exemples d’applications

Immobilier
Visite de sa future maison en
utilisant un casque VR.
Tourisme
Visites virtuelles des
monuments.
105
Amel TILOUCHE - RA&RV
 Perspectives

Exploitation d’autres sens autre que la vision (le tactile,

l’ouïe, etc.)
Construction des nouveaux accessoires de la réalité
virtuelle qui ajouteront d’autres sens pour une meilleure
immersion.
Plus de réalisme dans les interactions: plus besoin de
contrôleurs mais des accessoires plus réalistes.
106
Amel TILOUCHE - RA&RV