École Doctorale Informatique, Télécommunications et Électronique (Paris)

Centre d’Études et de Recherche en Informatique et Communications (CEDRIC)

THÈSE présentée par :

Viviane GAL
soutenue le : 9 décembre 2019

pour obtenir le grade de : Docteur du Conservatoire National des Arts et Métiers

Discipline/ Spécialité : Informatique

Vers une nouvelle Interaction Homme Environnement dans

les jeux vidéo et pervasifs : rétroaction biologique et états
émotionnels
Apprentissage profond non supervisé au service de l’affectique

THÈSE dirigée par :

Monsieur GRESSIER-SOUDAN Eric Professeur des universités, Conservatoire National des Arts et
Métiers

RAPPORTEURS :

Monsieur TIJUS Charles Président du jury, Professeur des universités, Université Paris 8,
directeur du Laboratoire Cognitions Humaine et Artificielle
(CHArt)

Monsieur HEUDIN Jean-Claude Chercheur en Intelligence Artificielle, [Link]

JURY :

Monsieur CUBAUD Pierre Professeur des universités, Conservatoire National des Arts et
Métiers

Madame METAIS Elisabeth Professeur des universités, Conservatoire National des Arts et
Métiers

Madame PESTY Sylvie Professeur des universités, Université Grenoble Alpes,

groupe systèmes Interactifs et Cognitifs, équipe HAwAI
(Human Aware Artificial Intelligence)

INVITE :

Monsieur BADRAN Fouad Professeur des Universités émérite, Conservatoire National des
Arts et Métiers
A mon très cher et super Papa, René Gal . « Tu n’es plus là où tu étais, mais tu
es là où je suis » Victor Hugo. Merci pour tout ce que tu m’as transmis comme
un peu de ton courage, de ta curiosité et de ton ingéniosité.

A Alexandre Topol. J’aurais aimé que tu sois là. Ces travaux ont commencé
ensemble avec PLUG et notre groupe d’affective computing . Ton esprit vif, ton
intelligence et ton humour me manquent.

A Carole Bouchard qui aurait dû être avec nous. Merci pour tous les bons
conseils.

3
4
Remerciements

La thèse est vraiment une aventure tant du point de vue de l’exploration scientifique que dans la
réflexion sur soi. C’est un apprentissage profond. Ainsi, une page se tourne mais le livre n’est pas
terminé. C’est un ravissement et aussi un soulagement. L’exercice est passionnant et fastidieux à
la fois. Ce travail n’est pas un travail solitaire même si à de maints moments l’impression d’exil
est là. Il est le fruit d’intuitions, de présences insoupçonnées, de contacts spirituels, de rencontres
et d’échanges, encouragé et formalisé par la passion pour transmission. Ils m’accompagnent et me
guident chaque jour. En cela, j’ai quelques messages à formuler.

Lister et remercier tout le monde est du domaine de l'utopie. Que ceux qui n'apparaissent pas dans
ces quelques lignes me pardonnent. Je sais qu’ils étaient là. Je leur dis MERCI.

Je remercie également tous les participants aux expérimentations. C’est grâce à leurs données que
cette étude a été possible.

Je remercie infiniment tous les êtres qui ont croisé mon chemin quels qu’ils soient, ils m’ont tous
fait réfléchir, m’ont permis de me remettre en question donc de progresser. Ils m’ont également
inspirée, entraînée et éclairée.

Monsieur le professeur Eric Gressier-Soudan m’a dirigée lorsque j’ai préparé mon diplôme
d’ingénieur en informatique et c’est tout naturellement que je me suis tournée vers lui lorsque j’ai
décidé d’entamer une thèse. Il s’agissait d’un sujet personnel qui me tenait à cœur. Je n’envisageais
aucune autre personne qu’Eric pour m’accompagner dans cette démarche. J’aimais la façon dont
nous avions travaillé ensemble. Eric est très attaché à l’humain Je connaissais ses qualités. Ce
n’était pas gagné mais il a accepté. Eric en tant que directeur de thèse est un encadrant atypique
pour doctorants atypiques, les laissant très libres de leurs activités et de leurs choix tout en pointant
du doigt les écueils et faisant émerger le meilleur de chacun. Je remercie Eric pour tout, en
particulier, de m’avoir laissé toute latitude. La thèse nous a menés vers des destinations inconnues,
inattendues. Malgré toutes les difficultés rencontrées, le résultat est là. Nos discussions ont été

instructives. Tu es encore plus un grand quelqu’un .

J’ai dévoré les ouvrages de Jean-Claude Heudin. Ils m’ont éclairée sur l’intelligence artificielle,
les robots, le deep learning … d’une façon simple et facile alors que les domaines sont complexes.
Au cours de discussions avec mon très cher ami, Michel Béra, j’ai évoqué ces livres et son auteur.

5
Et là, les choses ont basculé. Michel m’a incitée à le contacter. Ce que j’ai fait. C’est donc pour
moi un moment privilégié et un grand honneur que Monsieur Jean-Claude Heudin ait accepté de
rapporter sur mon travail et de participer à la soutenance. Je vous dis un grand merci.

C’est un honneur et un réel bonheur que Monsieur le professeur Charles Tijus, dans sa grande
bonté, rapporte sur la thèse et prenne part à la présentation. Je suis à la fois fascinée par ses
ressources, sa perception et j’admire cette personne si joviale, si ouverte. C’est un vrai plaisir que
de le côtoyer et j’en suis fière. Merci Charles.

Madame le professeur Sylvie Pesty, c’est un grand honneur de vous compter parmi les membres
de mon jury. Je ne sais comment vous remercier d’avoir consenti à participer à cet événement
d’autant plus que vous avez déplacé vos activités pour se faire. Je suis votre obligée, merci.

Je remercie Madame le professeur Elisabeth Métais de participer au jury de ma thèse. Il était

impensable que cela se déroule sans cette personne qui était présente lors de mon évaluation à mi-
parcours. J’apprécie beaucoup ses questions et remarques, son angle d’approche et point de vue
qui ouvrent la réflexion. Tous mes remerciements Elisabeth.

C’est une grande chance d’avoir rencontré Monsieur le professeur Pierre Cubaud et d’avoir pu
découvrir la personne brillante qu’il est, sa gentillesse, sa finesse d’esprit et son humour. Je
remercie énormément Pierre pour tous les partages, échanges, sa bienveillance et bien sûr sa
participation à la soutenance.

Les moments partagés avec le professeur Fouad Badran ont été riches. Par ses questions, il m’a
entraînée, comme les neurones, à chercher profondément toujours plus loin, les réponses aux
questionnements. Un très grand merci Fouad. L’orientation vers les réseaux de neurones est tienne.
Sans ta réflexion d’expert, je n’aurais sans doute pas exploré cette voie, moi qui ne connaissais
rien à ce domaine. J’ai tout appris dans cette histoire.

Je côtoie depuis quelques années maintenant Samia Bouzefrane. Samia, je te remercie pour tout
et, en particulier d’avoir placé sur mon chemin ce chercheur de qualité avec lequel j’ai pu établir
un bon contact. En effet, grâce à Soumya Banerjee, le modèle hybride profond proposé a pu voir
le jour. Un grand merci Soumya. Ce travail fut riche en enseignements. Que notre collaboration
en cours se poursuive !

Une pensée pour Jérôme Dupire, le troisième larron du groupe affective computing.;-) Jérôme.!

6
J’aimerais aussi saluer Françoise Sailhan et Stéphane Rovédakis pour les nombreuses discussions
enrichissantes et réconfortantes que nous avons entretenues. Merci pour votre gentillesse et
disponibilités.

Un clin d’œil à l’équipe MIM (Médias Interactifs et Mobilité) du laboratoire qui n’est plus. Vive
ILJ (Interactivité pour Lire et Jouer) ! Je salue toute l’équipe.

Je tiens aussi à remercier les professeurs Claude Kaiser, Gérard Florin et Stéphane Natkin avec
lesquels j’ai travaillé durant « beaucoup » d’années, qui m’ont tirée vers le haut par leur érudition
qui m’impressionne, par leurs techniques de travail que j’ai observées et engrangées. Sans le
savoir, ils m’ont donné l’envie d’aller plus loin. C’est une opportunité de les avoir fréquentés. Ce
sont des personnes pas ordinaires.

Un petit clin d’œil à tous les doctorants, je leur souhaite une aventure éblouissante.

Merci à mon équipe admin préférée, Annie-France Aucaucou, Evelyne Emerit (my dear friend),
Hassan Labiah (ancien compagnon de route) et Nicole Chaouat, pour avoir facilité le travail au
quotidien avec beaucoup de complicité et de gentillesse.

J’en profite également pour remercier Henri Puglièse, ami de longue date, toujours prêt à se mettre
en quatre. Une belle pensée pour sa famille, en particulier, Rose, Philomène et Micheline.

Je glisse un signe de profonde affection pour mes grandes amies Bénédicte et Catherine sans
oublier leur famille.

Je ne serais rien sans toi, ma petite Maman, Christiane Hervé Gal, ni sans mon héros de Papa et
mes ancêtres. Merci pour tout ce que tu m’as donné Maman et que tu me donnes encore. Je t’aime.

J’ai grandi dans une belle fratrie, Roland, Paulette, Gisèle. Tous ont l’esprit d’aventure. Un petit
clin d’œil particulier à mon frère Roland, un visionnaire, un avant-gardiste avec de grands pouvoirs
ainsi qu’à sa femme Fernande.

Ji Lin, tu as souvent gratté les idées couchées ici et là sur le papier ou bien tu les as couvées,
protégées. C’était une forme d’accompagnement. Ron ron.

Cher Micka, merci pour les indications quant aux jeux vidéo, les actualités et réflexions en la
matière.

7
Merci à Lykaene, Varun et les autres de m’avoir attendue. Vive les gardiens de Hyjal ! « Khronakai
Khristor à tous ! ».

A ma chère et tendre fille Nolwenn, une grande source d’inspiration et de force depuis le creux de
la matrice, je dis un énorme merci. Ma toute précieuse luciole à l’esprit si fin, que nous puissions
encore associer nos connaissances et nos intuitions pour toujours aller plus loin ou … plus près !
hein ! hein ! Rotten teeth XD. C’est surpuissant1. Non besoin d’autres mots.

1
Un condensé 
8
Résumé.
Encore et encore s’adapter aux logiciels, aux jeux, tel est le sort des utilisateurs, des joueurs. Notre
démarche est différente et veut placer l’humain au cœur de l’espace, de son contexte. Adapter des
jeux vidéo ou pervasifs au joueur en fonction de ses émotions est une gageure. Proposer une
nouvelle Interaction Humain Environnement dans les jeux avec rétroaction liée aux états
émotionnels soulève de nombreuses questions surtout lorsque les états proviennent d’informations
physiologiques mesurées à distance. C’est un vrai défi de l’affectique.

En effet, il faut commencer par se demander s’il est possible de découvrir des états émotionnels à
partir de mesures issues de biocapteurs de contact. C’est une des premières questions à laquelle
nous répondons à l’aide de techniques d’analyse de données non supervisées, d’apprentissages
automatique et profond, fondés sur les cartes de Kohonen et un modèle hybride EMDeep,
combinaison d’un mélange gaussien, d’un algorithme d’estimation maximisation et d’une méthode
de régression. Toutes les analyses sont réalisées à l’aveugle. Nous n'orientons pas ce que les
données peuvent révéler. Ce sont les données qui s’expriment. Dans les deux cas nous aboutissons
à une classification de types d’individus, ou encore à une reconnaissance d’états. Cette
reconnaissance prépare notre étalonnement, la référence que nous essayons de construire. Les états
ne sont pas encore identifiés. Pour se faire, ils nécessitent un approfondissement que nous avons
déjà engagé à l’aide d’autres méthodes comme la logique floue.

Autre question abordée, est-il envisageable de remplacer les biocapteurs de contact par des
dispositifs distants, non invasifs, en obtenant les mêmes résultats ? La réponse est incomplète car
il est nécessaire d’affiner nos algorithmes et de renouveler les expérimentations pour perfectionner
notre modèle voire le finaliser. Nous proposons néanmoins des procédés remplissant la fonction
de captation distante qu’il faudra tester avec l’étalonnement que nous proposons.

Les techniques mises au point proposent des solutions de classification adaptées aux données de
type signaux électriques. La réflexion sur une interaction anthropocentrée apporte un point de vue
singulier sur une nouvelle façon de concevoir un réseau de communication humain environnement
et humain humain.

Mots-clés : Etats émotionnels, affectique, interaction humain environnement, apprentissage non

supervisé, capteurs physiologiques, jeux vidéo et pervasifs, cartes de Kohonen, EMDeep, réseaux
sans fil, intelligence ambiante.

9
Abstract
Again and again adapting to software and games is the fate of users and players. Our approach is
different and wants to place the human in the heart of space, in its context. Adapting video games
or pervasives to the player according to his emotions is a challenge. Proposing a new Human
Environment Interaction in games with feedback related to emotional states raises many questions
especially when the states come from physiological information measured remotely. It is a real
challenge for the affectics.

Indeed, we have to start by wondering whether it is possible to discover emotional states from
contact biosensors measurements. This is one of the first questions we answer using unsupervised
data analysis techniques, automatic and deep learning, based on Kohonen maps and a hybrid
EMDeep model, a combination of a Gaussian mixture model, a maximization expectation
algorithm and a regression method. All the analyzes are done blindly. We do not point out what
the data can reveal. These are the data that express themselves. In both cases we come to a
classification of individuals’ types, or even a recognition of states. This recognition prepares our
standardization, the reference we are trying to build. The states are not identified yet. To do so,
they require a deepening that we have already engaged using other methods such as fuzzy logic.

Another question raised, is it possible to replace contact biosensors with remote, non-invasive
devices, obtaining the same results? The answer is incomplete because it is necessary to refine our
algorithms and to renew the experiments to improve our model even to finalize it. Nevertheless,
we propose processes that fulfill the function of remote capture that will have to be tested with the
calibration that we propose.

The techniques developed propose classification solutions adapted to the data of the electric signal
type. The reflection on an anthropocentric interaction brings a singular point of view on a new way
of conceiving a network of human communication environment and human human.

Keywords: emotional states, affectics, human environment interaction, unsupervised learning,

physiological sensors, video and pervasive games, Kohonen maps, EMDeep, wireless network,
ambient intelligence.

10
Table des matières
REMERCIEMENTS ............................................................................................... 5

RESUME. ............................................................................................................ 9

ABSTRACT ........................................................................................................ 10

TABLE DES MATIERES ....................................................................................... 11

LISTE DES TABLEAUX ........................................................................................ 15

LISTE DES FIGURES ........................................................................................... 17

LISTE DES ANNEXES .......................................................................................... 23

ABBREVIATIONS, ACRONYMES, SIGLES …………………………………………………………. 25

INTRODUCTION ................................................................................................ 31

CHAPITRE 1 QUE L’EMOTION SOIT ! ................................................................. 49

1. EMOTIONS, DES EXPLICATIONS ET NOTRE POSITION ................................. 51

1.1. INTRODUCTION – DIFFERENTES APPROCHES DES EMOTIONS................................................................................... 51
1.2. ETAT DE L’ART .............................................................................................................................................. 52
1.2.1. Introduction – Homéostasie ................................................................................................................ 52
1.2.2. Définitions ........................................................................................................................................... 54
1.2.3. Théories des émotions ......................................................................................................................... 64
1.2.4. Rôle, déclenchement et reconnaissance des émotions – communications verbale et non verbale ou
orale et non orale .............................................................................................................................................. 74
1.2.5. Psychophysiologie des émotions ......................................................................................................... 81
1.3. EMOTIONS, ANATOMIE ET BIOLOGIE.................................................................................................................. 82
1.3.1. Perception et processus de perception ................................................................................................ 82
1.3.2. Le système nerveux et les relations avec les émotions : anatomie, fonctionnement et techniques de
mesures ............................................................................................................................................................. 84
1.3.3. Le cœur et les relations avec les émotions : anatomie, fonctionnement et techniques de mesures ... 95
1.3.4. Les poumons et les relations avec les émotions : anatomie, fonctionnement et techniques de
mesures ........................................................................................................................................................... 103
1.3.5. La peau et les relations avec les émotions : anatomie, fonctionnement et techniques de mesures
pour GSR et T° de surface ................................................................................................................................ 109
1.4. CONCLUSION.............................................................................................................................................. 116

11
 1.5. BIBLIOGRAPHIE ........................................................................................................................................... 118
1.6. SITOGRAPHIE.............................................................................................................................................. 122

CHAPITRE 2 INTERACTION .............................................................................. 123

2. DE L’INTERACTION, DES DISPOSITIFS ET DES TECHNOLOGIES ................... 125

2.1. INTRODUCTION ........................................................................................................................................... 125
2.2. DE L’INTERACTION, DES DISPOSITIFS ET TECHNOLOGIES : AU PLUS PRES DE L’HUMAIN TOUT EN ETANT DISTANT .............. 126
2.2.1. Définitions, terminologie, théories .................................................................................................... 126
2.2.2. Des dispositifs et technologies .......................................................................................................... 136
2.3. AFFECTIQUE ............................................................................................................................................... 162
2.3.1. Définition ........................................................................................................................................... 163
2.3.2. Les voies de l’informatique affective ................................................................................................. 163
2.4. CONCLUSION.............................................................................................................................................. 164
2.5. BIBLIOGRAPHIE ........................................................................................................................................... 166
2.6. SITOGRAPHIE.............................................................................................................................................. 169

CHAPITRE 3 MISE EN RESEAUX ....................................................................... 171

3. RESEAUX ET MISE EN PLACE DES DISPOSITIFS DE COMMUNICATION ....... 173

3.1. INTRODUCTION ........................................................................................................................................... 173
3.2. PLATE-FORME SANS FIL ................................................................................................................................ 174
3.2.1. Les capteurs – nos capteurs .............................................................................................................. 175
3.2.2. Les réseaux de capteurs sans fil ........................................................................................................ 179
3.3. ARCHITECTURE SELECTIONNEE ....................................................................................................................... 195
3.3.1. Matériel ............................................................................................................................................. 196
3.3.2. Logiciel............................................................................................................................................... 203
3.3.3. Fonctionnement ................................................................................................................................ 205
3.4. CONCLUSION.............................................................................................................................................. 205
3.5. BIBLIOGRAPHIE ........................................................................................................................................... 207
3.6. SITOGRAPHIE.............................................................................................................................................. 209

CHAPITRE 4 DES DONNEES, NOS MODELES .................................................... 211

4. METHODES DE COLLECTE, D’ANALYSE DE DONNEES DE TYPE PHYSIOLOGIQUE

ET NOS PROPOSITIONS TECHNIQUES.............................................................. 213
4.1. INTRODUCTION ........................................................................................................................................... 213
4.2. METHODES DE COLLECTE ET DONNEES QUALITATIVES ET QUANTITATIVES ................................................................ 214
4.2.1. Introduction et définitions ................................................................................................................. 214

12
 4.2.2. Collecte des données ......................................................................................................................... 216
4.3. LES TECHNIQUES DE STATISTIQUES .................................................................................................................. 217
4.4. COLLECTE, CHOIX DES TECHNIQUES ET METHODES.............................................................................................. 219
4.4.1. Collecte de nos données et choix ....................................................................................................... 219
4.4.2. Méthodologie et choix....................................................................................................................... 221
4.5. NOS DONNEES PHYSIOLOGIQUES, ANALYSES, NOS DEMARCHES, NOS MODELES ........................................................ 236
4.5.1. Notre prétraitement des données ..................................................................................................... 238
4.5.2. Méthodes factorielles appliquées...................................................................................................... 241
4.5.3. Méthodes de classification utilisées .................................................................................................. 248
4.5.4. La technique SOM appliquée à nos données ..................................................................................... 257
4.5.5. Notre technique hybride EMDeep ..................................................................................................... 266
4.5.6. Conclusion ......................................................................................................................................... 274
4.6. BIBLIOGRAPHIE ........................................................................................................................................... 276
4.7. SITOGRAPHIE.............................................................................................................................................. 278

CHAPITRE 5 EN PARTANCE POUR LE JEU ......................................................... 279

5. JEU ET PLATE-FORME ............................................................................... 281

5.1. INTRODUCTION ........................................................................................................................................... 281
5.2. DEFINITIONS ET REFERENCES : JEU, PERVASIF ET UBIQUITAIRE, JEU PERVASIF, JEU UBIQUITAIRE, JEU VIDEO .................... 282
5.3. UNIVERS TECHNIQUE ................................................................................................................................... 289
5.4. CONCEPTION D’UN JEU ET MODELES ............................................................................................................... 290
5.4.1. Conception......................................................................................................................................... 291
5.4.2. Modèles ............................................................................................................................................. 293
5.5. PLATE-FORME DE JEU PERVASIF PRESSENTIE...................................................................................................... 297
5.6. CONCLUSION.............................................................................................................................................. 298
5.7. BIBLIOGRAPHIE ........................................................................................................................................... 300
5.8. SITOGRAPHIE.............................................................................................................................................. 302

CONCLUSION.................................................................................................. 303

RESUME ......................................................................................................... 356

ABSTRACT ...................................................................................................... 356

13
14
Liste des tableaux

Tableau 1 : Différentes formes d’ondes cérébrales et fréquences ................................................. 92

Tableau 2 : Normes de la fréquence cardiaque ........................................................................... 100
Tableau 3 : Normes de la pression artérielle ............................................................................... 100
Tableau 4 : Classification des niveaux de pression artérielle...................................................... 100
Tableau 5 : Normes de la fréquence respiratoire......................................................................... 107
Tableau 6 : Mesures de la conductance ....................................................................................... 115
Tableau 7 : Quelques technologies d’augmentation humaine ..................................................... 137
Tableau 8 : Capteurs passifs ........................................................................................................ 177
Tableau 9 : Capteurs actifs .......................................................................................................... 177
Tableau 10 :Type de fonctions d’activation ou de transfert ........................................................ 232
Tableau 11 : Extraction d’un des fichiers.................................................................................... 236
Tableau 12 et Tableau 13 : Exemple pour une même expérience de même durée ..................... 237
Tableau 14 et Tableau 15 : Exemple pour une même expérience ............................................... 237
Tableau 16 et Tableau 17: Exemple de valeurs CFM manquantes ............................................. 239
Tableau 18 et Tableau 19 : Exemple de valeur CFM à 0 (ici le minimum) ................................ 240
Tableau 20 : Tableau de valeurs propres ..................................................................................... 243
Tableau 21 :Tableau des corrélations .......................................................................................... 243
Tableau 22 : Contributions des variables (%) : ........................................................................... 246
Tableau 23 : Cosinus carrés des variables :................................................................................. 246
Tableau 24 : Matrice de corrélation ............................................................................................ 247
Tableau 25 : Extrait du tableau contenant toutes les valeurs des nœuds ..................................... 251
Tableau 26 : Décomposition de la variance pour la classification optimale ............................... 253
Tableau 27 : Un tableau des barycentres des classes .................................................................. 253
Tableau 28 : Un tableau des distances entre barycentres ............................................................ 254
Tableau 29 : Un tableau des observations centrales .................................................................... 254
Tableau 30 : Un tableau entre les observations centrales............................................................ 254
Tableau 31 : Des résultats par classe ........................................................................................... 255
Tableau 32 : Extraction d’un tableau contenant les informations liées à huit individus ............. 265
Tableau 33 : Correspondance entre le flow et le gameflow ........................................................ 297

15
16
Liste des figures

Figure 1 : Régulation de l’homéostasie ......................................................................................... 53

Figure 2 : Episode émotionnel ...................................................................................................... 62
Figure 3 : Circuit de Papez ............................................................................................................ 66
Figure 4 : Circuit de Papez à partir d’une émotions ...................................................................... 67
Figure 5 : Simulation électrique des expressions faciales par Duchenne de Boulogne ................ 68
Figure 6 : Relation entre émotions ................................................................................................ 70
Figure 7 : Représentation des émotions selon J.A. Russell ........................................................... 71
Figure 8 : Autre représentation des émotions en cercle ................................................................ 71
Figure 9 : Composantes du processus émotionnel ........................................................................ 73
Figure 10 : Processus et parcours d’un stimulus ........................................................................... 75
Figure 11 : Self-Assessment Manikin (SAM) ............................................................................... 79
Figure 12 : Affective slider (AS)................................................................................................... 79
Figure 13 : Détection des émotions suivant la classification de Ekman ....................................... 80
Figure 14 : Les trois grandes composantes de la dimension émotionnelle ................................... 82
Figure 15 : Les subdivision du système nerveux .......................................................................... 85
Figure 16 : Schéma A .................................................................................................................... 86
Figure 17 : Schéma B – Effets du système végétatif sur les principaux organes .......................... 86
Figure 18 : Arc réflexe .................................................................................................................. 87
Figure 19 : Le cerveau triunique de McLean ................................................................................ 87
Figure 20 : Le système limbique ................................................................................................... 89
Figure 21 : Transmission de l’infllux nerveux .............................................................................. 90
Figure 22 : Le potentiel d’action ................................................................................................... 90
Figure 23 : Electro-encéphalogramme .......................................................................................... 92
Figure 24 : Magnétoencéphalographie .......................................................................................... 93
Figure 25 : Tomographie par émission de positons ...................................................................... 93
Figure 26 : Imagerie par résonance magnétique ........................................................................... 94
Figure 27 : Casque neurosky Figure 28 : Physioscan ............................................................... 95
Figure 29 : Zone de contrôle des battements du cœur................................................................... 96
Figure 30 : Différentes parties du cœur et onde relative à un battement ...................................... 96
Figure 31 : Schéma du potentiel d’action de la fibre myocardique .............................................. 97
Figure 32 : Schéma de corrélation entre les mouvements ioniques, le potentiel d’action et l’ECG
de surface............................................................................................................................... 98

17
Figure 33 : Valves cardiaques ....................................................................................................... 99
Figure 34 : Fréquences cardiaques au repose ou en activité ....................................................... 101
Figure 35 : Tracé d’une onde classique PQRST ......................................................................... 102
Figure 36 : La pression artérielle en courbe ................................................................................ 102
Figure 37 : Le système respiratoire ............................................................................................. 104
Figure 38 : Appareil respiratoire et échanges gazeux ................................................................. 105
Figure 39 : Respiration et volume thoraciques............................................................................ 106
Figure 40 : Spiromètre à cloche .................................................................................................. 107
Figure 41 : Courbe des paramètres ventilatoires ......................................................................... 108
Figure 42 : Fonctionnement d’un oxymètre ................................................................................ 109
Figure 43 : Coupe de la peau ....................................................................................................... 110
Figure 44 : Récepteurs de la peau ............................................................................................... 112
Figure 45 : Représentation de la thermorégulation et des réponses provoquées par une exposition
au froid ou à la chaleur ........................................................................................................ 113
Figure 46 : Courbe de l’activité électrodermal lors d’un stimulus .............................................. 115
Figure 47 : Activité phasique ...................................................................................................... 116
Figure 48 : Capteurs de conductivité électrodermale .................................................................. 116
Figure 49 : Cartographies de l’expérience utilisateur ................................................................. 128
Figure 50 : Différences entre expérience utilisateur et interface utilisateur ............................... 129
Figure 51: Carte d’empathie créé par Dave Gray (XPLANE) .................................................... 130
Figure 52 : Schéma de base d’un système interactif ................................................................... 133
Figure 53 : Processus général du cycle de traitement de l’information ...................................... 139
Figure 54 : Traitement de l’information et attention ................................................................... 140
Figure 55 : Oculus ....................................................................................................................... 141
Figure 56 : Casque VR leap motion ............................................................................................ 141
Figure 57 : Lunettes de Laster Technologies .............................................................................. 142
Figure 58 : Oreillettes bluetooth.................................................................................................. 143
Figure 59 : Oreillettes bluetooth et induction.............................................................................. 143
Figure 60 : Modèle d’aide auditive ............................................................................................. 144
Figure 61 : Modèle d’aide auditive miniaturisée ........................................................................ 144
Figure 62 : Implant auditif .......................................................................................................... 144
Figure 63 : Peau électronique ...................................................................................................... 145
Figure 64 : Gant-téléphone .......................................................................................................... 146
Figure 65 : Simulateur tactile ...................................................................................................... 146

18
Figure 66 : Meta Cookie ............................................................................................................. 147
Figure 67 : Sucette numérique .................................................................................................... 148
Figure 68 : Cartouches olfactives ................................................................................................ 149
Figure 69 : Odoravision............................................................................................................... 149
Figure 70 : Nouvelles odeurs pour odoravision .......................................................................... 150
Figure 71 : Neurosky ................................................................................................................... 151
Figure 72 : Description des différentes parties du Neurosky ...................................................... 152
Figure 73 : Mindflex ................................................................................................................... 152
Figure 74 : Necomimi et communication .................................................................................... 153
Figure 75 : Audeo ........................................................................................................................ 154
Figure 76 : Implants cérébraux sur personne paralysée .............................................................. 157
Figure 77 : Implant transcrânien et œil robotique ....................................................................... 157
Figure 78 : Implant sous peau pour mesures physiologiques...................................................... 158
Figure 79 : Cardiofréquencemètre ............................................................................................... 158
Figure 80 : Oxymètre .................................................................................................................. 159
Figure 81 : Casque de réalité virtuelle associée à des manettes .................................................. 159
Figure 82 : Bâton de mage du monde réel .................................................................................. 160
Figure 83 : Synthèse de mesures potentielles sur l’humain ........................................................ 161
Figure 84 : Spectre des ondes électromagnétiques...................................................................... 175
Figure 85 : Fonctionnement d’un capteur sur toute la chaîne ..................................................... 176
Figure 86 : Structure générale d’un nœud capteur ...................................................................... 182
Figure 87 : Exemple de réseaux de capteurs sans fil................................................................... 182
Figure 88 : Architectures à plat et hiérarchique .......................................................................... 183
Figure 89 : Le modèle OSI – son fonctionnement ...................................................................... 184
Figure 90 : Technologies embarquées et protocoles ................................................................... 189
Figure 91 : Consommation et distance ........................................................................................ 190
Figure 92 : Réseaux sans fil ........................................................................................................ 191
Figure 93 : Pile de protocoles Zigbee.......................................................................................... 193
Figure 94 : Trame de données Zigbee ......................................................................................... 194
Figure 95 : Schéma de notre environnement futur ...................................................................... 195
Figure 96 : Radar à ondes et rythme cardiaque ........................................................................... 197
Figure 97 : Mesures de la fréquence cardiaque et de la fréquence respiratoire à l’aide d’une caméra
............................................................................................................................................. 198
Figure 98 : Exemples de modules Xbee – série 1, série 2 et pro avec antenne ........................... 199

19
Figure 99 : Description de la carte Arduino et caractéristiques de la carte ................................. 201
Figure 100 : Schéma d’un nœud basique Arduino ...................................................................... 202
Figure 101 : Interface du logiciel X-CTU ................................................................................... 204
Figure 102 : Interface IDE Arduino ............................................................................................ 205
Figure 103 : Les plans d’expériences optimisent les trois parties encadrées du processus
d’acquisition des connaissances .......................................................................................... 217
Figure 104 : Schéma d’apprentissage supervisé ......................................................................... 224
Figure 105 : Méthodes de classification non supervisée (Hajjar, 2014) ..................................... 225
Figure 106 : Schéma de comparaison entre les deux modes ....................................................... 228
Figure 107 : Structure d’un réseau de neurone formel ................................................................ 230
Figure 108 : Quantification vectorielle des données d’entrée vers une grille de référents ......... 234
Figure 109 : Exemple de cercle de corrélations .......................................................................... 245
Figure 110 : Biplot (axes F1 et F2 : 85,59 %) ............................................................................. 247
Figure 111 : Exemple de cercle de corrélations .......................................................................... 248
Figure 112 : Représentation du dendrogramme .......................................................................... 252
Figure 113 : Dendrogramme simplifié ........................................................................................ 252
Figure 114 : Profil des classes ..................................................................................................... 255
Figure 115 : Interprétation de l’algorithme de Teuvo Kohonen ................................................. 257
Figure 116 : Courbe d’apprentissage .......................................................................................... 261
Figure 117 : Carte 20 x 20 des nœuds ......................................................................................... 261
Figure 118 : Représentation de la projection d’un individu sur la carte avec zoom ................... 264
Figure 119 : Fonctionnement d’une machine à vecteurs support (SVM) ................................... 272
Figure 120 : Technique d’apprentissage automatique pour la classification d’états émotionnels à
partir de mesures phyiologiques .......................................................................................... 273
Figure 121 : Exemple 1 d’accessoires utilisés dans le projet Momentum .................................. 286
Figure 122 : Exemple 2 d’accessoires utilisés dans le projet Momentum et lieu d’événement .. 287
Figure 123 : Exemple d’écran du jeu Ingress .............................................................................. 287
Figure 124 : Exemple d’écran du jeu Pokemon Go .................................................................... 288
Figure 125 : Exemple comparatif d’écrans de jeux Pokémon Go et Ingress .............................. 289
Figure 126 : Expérience de jeu = la forme + le fond .................................................................. 290
Figure 127 : Expérience de jeu détaillée ..................................................................................... 291
Figure 128 : Exemple de jeu simplifiée ...................................................................................... 292
Figure 129 : Différents types de boucles de jeu .......................................................................... 292
Figure 130 : Déroulement du processus de création ................................................................... 293

20
Figure 131 : Adaptation de Moneta de l’état de flow ................................................................. 294
Figure 132 : Placement du flow suivant le contexte ................................................................... 296

21
22
Liste des annexes

Annexe 1 Tableau autour des émotions (Chapitre 1) .................................................................. 311

Annexe 2 : Différents schémas processus émotionnels (Chapitre 1) .......................................... 312
Annexe 3 : Différentes théories des émotions (Chapitre 1) ........................................................ 313
Annexe 4 : Le circuit des émotions (Chapitre 1) ........................................................................ 314
Annexe 5 : biais cognitifs (chapitre1) ......................................................................................... 315
Annexe 1 : courbes d’apprentissage (Chapitre 4) ....................................................................... 317
Annexe 2 : codes plot (Chapitre 4).............................................................................................. 320
Annexe 3 : counts plot (Chapitre 4) ............................................................................................ 325
Annexe 4 : Graphiques Xlstat des huit fichiers concaténés (Chapitre 4) .................................... 326
Annexe 5 : carte d’apprentissage des 8 fichiers et projection des 6 individus un à un sur cette carte
(Chapitre 4) ......................................................................................................................... 328
Annexe 6 : projection d’un nouvel individu (7) sur la carte apprise des 8 fichiers (Chapitre 4) 331
Annexe 7 : étude avec les cinq fichiers et une même expérience (Chapitre 4) ........................... 332
Annexe 8 : visualisation bilan des onze fichiers (Chapitre 4) ..................................................... 334
Annexe 10 : plan d’expériences et questionnaires (Chapitre 4) .................................................. 336
Annexe 11 : neurone biologique (chapitre 4) .............................................................................. 343
Annexe 12 : extrait programme R – carte Kohonen sur 8 expériences (chapitre 4) ................... 345
Annexe 13 : extrait programme Python – Mélange Gaussien, SVR (chapitre 4) ....................... 349

23
24
Abréviations, acronymes, sigles

ACM
Association for Computing Machinery. ....................................................................................................................................122
ACP
Analyse en Composantes Principales. ......................................................................................................................................230
AFIA
Association Française pour l'Intelligence Artificielle ..................................................................................................................36
ANR
Agence Nationale de la Recherche ............................................................................................................................................27
API
Application Programming Interface. ........................................................................................................................................194
ARCo
l’Association pour la Recherche sur la Cognition. ......................................................................................................................36
ARG
Alternate Reality Game. ................................................................................................................................................... Voir JRA

BCI
Brain-Computer Interface. Interface cerveau machine. ............................................................................................................36
BLE
Bluetooth Low Energy. .............................................................................................................................................................177

CAH
Classification Ascendante Hiérarchique ...................................................................................................................................237
CEA
Commissariat à l'énergie atomique et aux énergies alternatives ..............................................................................................31
CFM
Cardiofréquencemètre. ............................................................................................................................................................153
CHI
Computer Human Interaction. ................................................................................................................................................ IHM
CHM
Communication Homme Machine ...........................................................................................................................................123
Coopération Homme Machine. ................................................................................................................................................123
CNN

25
 Convolutional Neural Network. Réseaux de neurones à convolution......................................................................................258
CNRTL
Centre National de Ressources Textuelles et Lexicales ..............................................................................................................44
CSMA-CA
Carrier Sense Multiple Access with Collision Avoidance. .........................................................................................................182

DHM
Dialogue Homme Machine ......................................................................................................................................................123

ECoG
Electrocorticogramme. Enregistrement graphique, à l'aide d'électrodes en contact direct du cortex, de l'activité cérébrale. 31
EDA
Electrodermal activity. Activité électrodermale.......................................................................................................................105
EEG
Electroencéphalographie ou électroencéphalogramme ............................................................................................................82
EFRN
European Flow Researchers Network. .....................................................................................................................................285
EM
Estimation Maximisation. Expectation Maximization. .............................................................................................................255
EPA
Evaluation, Potency, and Activity. Évaluation, puissance et activité. ........................................................................................63

FACS
Facial Action Coding System. Méthode de description des mouvements du visage. ................................................................71
FFD
Full Function Device. ................................................................................................................................................................182

GMM
Gaussian Mixture Model. Mélange de Gaussiennes ................................................................................................................216
GSR
Galvanis Skin Response. Réponse galvanique de la peau. Résistance électrodermale. ...........................................................107

26
H

HCI
Human Computer Interface .................................................................................................................................................... IHM
HTTP
Hyper Transfert protocol .........................................................................................................................................................177

IA
Intelligence artificielle ..............................................................................................................................................................211
IdO
Internet des Objets. .................................................................................................................................................................169
IEEE
Institute of Electric and Electronics Engineering. .....................................................................................................................173
IETF
Internet Engineering Task Force. .............................................................................................................................................173
IHM
Interaction Humain Machine. Interaction Homme Machine. Interface Homme Machine. .....................................................122
IIHM
Interface Intelligente Homme machine. ..................................................................................................................................124
Interface Intelligente Homme Machine. ..................................................................................................................................127
IND
Interface Neuronale Directe. ...................................................................................................................................................125
IoT
Internet of Things ............................................................................................................................................................. Voir IdO
IRM
Imagerie par Résonance Magnétique ........................................................................................................................................85
IRMf
IRM fonctionnelle.............................................................................................................................................................Voir IRM
ISO
International Organization for Standardization. Organisation internationale de normalisation .............................................117

JRA
Jeu en Réalité Alterné. .............................................................................................................................................................274

LAN
Local Area Network. .................................................................................................................................................................175

27
LED
Light-Emitting Diode. Diode électroluminescente. ....................................................................................................................99
LR WPAN
Low Rate Wireless Personal Area Network. .............................................................................................................................182

MAC
Medium Access Control. ..........................................................................................................................................................182
MAN
Metropolitan Area Network.....................................................................................................................................................175
MEG
Magnétoencéphalographie ........................................................................................................................................................84

nanoIP
nano Internet Protocol.............................................................................................................................................................178
NFC
Near Fiel Communication. Communication en champ proche. ...............................................................................................176
NUI
Natural User Interface. Interface utilisateur naturelle ...............................................................................................................26

OMS
Organisation Mondiale de la Santé. .........................................................................................................................................196
OSI
Open Systems Interconnection. ...............................................................................................................................................173

PLUG
PLay Ubiquitous Games and play more. Projet ANR. Le projet PLUG vise à favoriser l'émergence de jeux pervasifs. ... Voir ANR
PPDU
Physical Protocol Data Unit. .....................................................................................................................................................184
PX
Player eXperience. Expérience du joueur. ...............................................................................................................................120

28
Q

QoS
Quality of Service. ....................................................................................................................................................................184

R&D
Recherche et développement. ...................................................................................................................................................36
RCSF
Réseaux de Capteurs Sans Fil ...................................................................................................................................................163
RFD
Reduced Function Device. ........................................................................................................................................................182
RFID
Radio Frequency IDentification. ...............................................................................................................................................176

SAM
Self-assessment manikin. Echelle non-verbale de mesure des dimensions émotionnelles. ......................................................70
SIGCHI
Special Interest Group on Computer-Human Interaction. .......................................................................................................122
SIGGRAPH
Special Interest Group on Computer Graphics and Interactive Techniques de l'ACM. Séminaire américain sur l'infographie. 31
SNA
Système Nerveux Autonome .....................................................................................................................................................75
SNC
Système Nerveux Central ...........................................................................................................................................................75
SNP
Système Nerveux périphérique ..................................................................................................................................................75
SNV
Système Nerveux Végétatif ........................................................................................................................................................76
SOM
Self Organzing Map. .................................................................................................................................................................216
SVC
Classification à Vecteurs de Support ........................................................................................................................................214
SVM
Support Vector Machine. .........................................................................................................................................................210
SVR
Support Vector Regression. .....................................................................................................................................................239

29
T

TCC
Thérapie Cognitivo-Comportementale ......................................................................................................................................69
TEP
Tomographie par Emission de Positons .....................................................................................................................................84
TOR
Tout Ou Rien. ...........................................................................................................................................................................168

UART
Universal Asynchronous Receiver Transmitter. .......................................................................................................................178
UDP
User datagram Protocol. ..........................................................................................................................................................177
UI
User Interface. Interface utilisateur. ........................................................................................................................................118
UX
User eXperience. Expérience utilisateur ..................................................................................................................................117

Wifi
Wireless Fidelity. ......................................................................................................................................................................170
WLAN
Wireless Local Area Network. ..................................................................................................................................................170
WPAN
Wireless Personal Area Network. ............................................................................................................................................164
WSN
Wireless Sensor Network. ......................................................................................................................................................RCSF
WWW
World Wide Web. ....................................................................................................................................................................177

30
 Introduction

"C'est vivre, ça, se battre pour ses idées." Yves Thériault

31
32
Vivre des moments exceptionnels, connaître des sensations fortes, du bien-être, nous épanouir font
souvent partie de nos rêves ou aspirations. Nous choisissons des moyens très divers pour y arriver :
par exemple, pour certains, ce sera l'ascension de l'Everest ou la traversée à la rame des océans,
pour d'autres la lecture d'un bon livre ou l'écoute d'un morceau de musique ou bien encore la
contemplation d'un paysage, la méditation, la dégustation d'un mets, le partage, la réussite
professionnelle, la création. Chacun adopte, opte pour une voie qui lui convient, qui lui est propre,
en fonction de ses aspirations. Paul-Henry Chombart de Lauwe (1964) exprime ce fait. « Les
aspirations liées aux désirs les plus personnels ne sont pas sans rapports avec la situation et le
rôle social de celui qui les ressent. De même les grandes aspirations collectives qui semblent
parfois entraîner des groupes étendus, voire des sociétés entières, sont vécues d'une façon
originale par chacun des acteurs en fonction de son caractère, de sa personnalité, de son histoire,
de sa vocation. Les aspirations sont à la charnière du personnel et, du social. Il est impossible de
les étudier sans situer les hommes qui les expriment dans l'ensemble des structures sociales, dans
leur culture particulière et dans le mouvement historique dans lesquels ils sont impliqués ».2

Chaque expérience est ainsi individuelle, plus ou moins impactée par le contexte dans lequel elle
se déroule, le vécu et le ressenti. L’environnement tout comme la culture apparaissant au cœur de
la compréhension, du comportement de l’homme auront une influence sur les différentes
interactions qu’il aura avec le monde et vice-versa. Cette dimension nous accompagnera dans nos
recherches.
Pour les besoins de l'étude et par choix, nous avons retenu le domaine des jeux. Jouer pour se
divertir, prendre du plaisir, s'évader, apprendre, sont aussi des alternatives pour atteindre nos
aspirations, quelles que soient nos quêtes. Dans le jeu et à travers notre perception sensorielle,
nous recherchons des émotions. Nous désirons vivre des moments singuliers qu'ils soient liés à la
compétitivité, la coopération, la fantaisie, la curiosité, le divertissement, le défi, ou à n'importe
quelle autre sollicitation. Comme dit le psychiatre Serge Tisseron « Le jeu a toujours existé, il est
aussi ancien que l’être humain" ou encore " Ça nous aide à faire face à l’imprévu en nous donnant
la capacité d’inventer de nouvelles réponses. En somme, le jeu permet à l’espèce humaine de
rester en vie ».3
Afin de satisfaire les joueurs, les créateurs de jeux n'ont de cesse de proposer de nouveaux produits,
des univers variés, de nouvelles interfaces ... et de l'interactivité. C'est au travers de différentes

2
[Link] (consulté le 15
mai 2015)
3
[Link] (consulté le 15 mai 2015)

33
observations, lectures, travaux menés que nous avons le sentiment que toutes les interfaces, même
actuelles, utilisées dans le cadre des jeux vidéo ou jeux pervasifs sont un frein, une entrave à
l'immersion, au naturel donc à la composante émotionnelle. Cette composante est importante dans
une interaction et/ou interface et en fait son succès comme l’énonce très bien Jean Caelen (1996).
Nous ne remettons pas en cause le fait que les nouveaux dispositifs humain-machine, telles que
les interfaces utilisateurs naturelles (NUI) ou encore les télécommandes sans fil, comme par
exemples la wiimote, les manettes contrôleurs, peuvent dans certains jeux correspondre à la
prolongation de la pensée via le toucher, la voix, le geste. Ce sont de belles avancées
technologiques. Mais, dans de nombreux jeux, les joueurs en voudraient plus en supprimant toute
entrave matérielle. Que le joueur recherche l'originalité, les défis, la découverte, une histoire, la
communication, ou d'autres buts, ce sont des états émotionnels, propres à chacun, qui sont l'objet
de sa quête. Le joueur attend que le jeu lui procure du plaisir, des sensations en tout genre.
La question que nous nous posons est comment lui apporter ce qu'il désire sans l'interface si
souvent incommodante. Asimov indiquait qu’une bonne interface doit être transparente et
s’intégrer totalement dans le monde humain avec une touche de résistance (Feitelson, 2007). Quant
à lui, Mark Weiser (1991, 1996) avait une approche telle que : « Les technologies les plus
profondément enracinées sont les technologies invisibles. Elles s’intègrent dans la trame de la vie
quotidienne jusqu’à ne plus pouvoir en être distinguées » instaurant ainsi le principe de
l’informatique ubiquitaire ou la technologie calme4, qui désigne le caractère non intrusif, invisible,
s’intégrant aux objets courants et que nous retrouverons au chapitre 2.
Ressentir, percevoir les formes, les odeurs, les matières, des états et bien d'autres choses encore
sans dispositif physique autre que notre corps, échanger directement avec la machine ou plus
exactement l'environnement et un "game" design adapté, constituent le but de notre travail. Nous
tenons à préciser que nous ne nous plaçons pas dans la démarche de donner des émotions et/ou des
expressions à des agents virtuels comme (Pélachaud, 2009) dans le jeu, même si les émotions
ressenties par le joueur peuvent passer par cette phase. Nous cherchons à obtenir des informations
sur l’état émotionnel des joueurs afin de pouvoir mettre en place des interfaces et donc des
interactions leur offrant des sensations nouvelles. Il ne s'agit pas uniquement d'éprouver des
émotions mais également de réagir en conséquence, en fonction du contexte, de l'histoire mais
aussi de leur perception, de leur analyse, de leur ressenti, de leur vécu, donc d'interagir. L'objectif
du travail est d'offrir aux joueurs de jeux vidéo et pervasifs ou de proposer à d'autres domaines
d'application une nouvelle liaison interactive liée aux sens, à des états émotionnels pour une
immersion singulière et intelligente.

4
[Link] (consulté le 2 juin 2015)
34
Pour proposer un nouveau procédé, il nous est indispensable, étape par étape, de définir notre
environnement, de mettre en place des protocoles expérimentaux, de nous appuyer sur des
expériences déjà accomplies, de mener de nouvelles expérimentations, d'en tirer les conclusions
qui s'imposent et peut-être poser de nouvelles approches d'interactions entre le corps humain et
notre environnement.
Notre démarche s'est aiguisée au fil du temps, des articles, des expériences, des projets menés et
de nos intuitions. Plusieurs points de départ ont contribué au démarrage de notre étude comme
certaines lectures ou films de sciences-fictions et une précédente expérimentation, non
complètement aboutie, effectuée dans le cadre du projet de recherche exploratoire ANR (Agence
nationale de la Recherche) PLUG5 (PLay Ubiquitous Games and play more), ayant pour objet
l'étude de technologies embarquées et mobiles pour les jeux ambiants, pervasifs ou encore
ubiquitaires. Nous les présentons ci-après.

Contexte et préquelles

Comme beaucoup de chercheurs, créateurs, entrepreneurs, écrivains de science-fiction, nous

souhaitons accéder à un moyen humain direct, naturel et convivial assurant une communication,
une interaction intuitive, adaptée, non invasive et, extraordinaire avec tout ce qui nous entoure.
Dans un premier temps, nous revenons sur différentes fictions ou approches qui nous ont fait rêver,
parfois visionnaires, et examinons les avancées. Puis nous rappelons le projet PLUG. Ces
ingrédients ont contribué au démarrage de la thèse.

Science-fiction et réalité
Présentons quelques exemples de fictions inspirants ou inspirés et expériences sensorielles qui
nous interpellent et nous font accéder à des mondes fantastiques et à des questionnements sur le
rêve ou la réalité de la « symbiose » homme-machine-univers, le futur des sociétés humaines et
des éventuels dangers.
« L’être humain d’aujourd’hui – et plus encore celui de 2020 – se reliera, par ces outils, à un
« macroorganisme planétaire », que j’ai appelé, dans L’homme symbiotique, « cybionte » : cyb
de cybernétique et bio de biologie. L’homme du futur sera peut-être le résultat d’une
complémentarité, et même d’une symbiose, entre être vivant biologique et ce macroorganisme

5
[Link] (consulté le 28 mars 2015) et
[Link] (consulté le 13 mai 2015)

35
hybride (électronique, mécanique, biologique) qui se développe à une vitesse accélérée sur la
Terre et qui va déterminer, en partie, notre avenir… » (De Rosnay, 2008, 2020). Cette vision nous
ouvre des fenêtres sur un univers d’hommes réparés, augmentés, connectés, transformés, reliés et
nous conforte dans notre idée de rechercher un nouveau moyen de communication interactive.

Avalon est un film nippo-polonais réalisé par Mamoru Oshii, sorti en 2001. Avalon traite de la
relation entre mondes physique et métaphysique, réel et virtuel. Il s'agit pour les joueurs de
brancher directement leur cerveau à un jeu de guerre via une interface volumineuse et
envahissante. Ce dispositif est composé d'un fauteuil en position allongée sur lequel s'installe le
joueur. Il se coiffe d'un casque qui sert d'interface avec le monde du jeu. Ce système projette le
joueur dans un univers où il peut retrouver d'autres joueurs et éventuellement ne pas en revenir.
Cela engendre une addiction et une perturbation de leur capacité à différencier le réel du virtuel.
Les joueurs recherchent, vivent et ressentent plus de sentiments dans cet univers virtuel que dans
la vie réelle. Pour atteindre l’effet recherché, un dispositif lourd et encombrant est mis en place,
ce que nous voulons éviter.
Fréquence interdite (Frequency) est un film américain réalisé par Gregory Hoblit en 2000. Suite
à un accident atmosphérique, un homme va pouvoir dialoguer avec son père décédé depuis des
années par le biais d'une vieille radio amateur HAM donc d'ondes. Les deux hommes, chacun dans
leur dimension, vont se battre contre une vague de meurtres. Le fils voit son présent changer
puisqu'il modifie le passé. Ici la communication s’assoit sur la propagation des ondes radio, un
moyen potentiellement à étudier car non invasif et informatif.
Le jeu télévisé zone rouge, adapté d'un format néozélandais intitulé "The Chair", consiste à poser
des questions à un candidat installé sur un fauteuil incliné entouré d’un dispositif pouvant lancer
des flammes. Le rythme cardiaque du joueur est associé à une jauge. Plus le rythme augmente,
plus le niveau de la jauge approche de la zone rouge. Une fois dans la zone rouge, le candidat n'a
plus le droit de répondre et peut perdre ses gains. Il doit donc gérer au mieux son rythme cardiaque.
Le cœur du jeu est fondé sur la prise en compte de données physiologiques comme la fréquence
cardiaque avec un feedback matérialisé dans l’environnement proche du candidat.
L'ouvrage Do Androids Dream of Electric Sheep ?, roman de science-fiction écrit par Philip K.
Dick en 1966, adapté au cinéma sous le titre "Blade runner", présente la Terre dévastée par une
guerre nucléaire, habitée par quelques humains ayant choisi de ne pas partir pour Mars. A l'aide
d'un dispositif, le Voigt-Kampff, fondé sur l'empathie, Rick Deckard, resté sur Terre, entreprend
de démasquer les androïdes fugitifs. Ce dispositif est fictif mais fortement inspiré des détecteurs
de mensonges ou polygraphes. Il permet de mesurer, à l'aide d'un scanner corporel, les réactions

36
biologiques à des stimuli, qui sont des questions choisies, afin de déterminer si le sujet est un
humain ou un réplicant. Tout est fondé sur les résultats émotionnels.
Dans ce même ouvrage, les humains ont accès à une petite boîte noire munie de deux poignées
leur permettant d’entrer en empathie avec d’autres humains et ainsi, de partager joies, peines …Ce
partage ou l’utilisation de la boîte à empathie est comme un mode de vie, une religion appelée
mercerisme qui apparaît pour la première fois dans le livre The little black box de Philip K. Dick
en 1964. Cette boîte permet l’empathie parfaite avec Mercer, un martyr en grande souffrance
gravissant une colline désolée, avec lequel la personne se connecte et partage son ressenti. Tout
est partagé par le biais d’une interface communicante.
L'ouvrage Minority report, nouvelle de science-fiction écrite par Philip K. Dick en 1956, adapté
au cinéma sous le même titre par S. Spielberg, présente un monde futur alliant une très haute
technologie telle l’interface multi-touch et la précognition qui fait partie de la perception extra-
sensorielle. Les personnages fictifs sont d'ailleurs nommés les "pré-cogs". Même si une partie de
la technologie reste du domaine de la science-fiction, les progrès nous amènent petit à petit vers
de nouveaux procédés.
On se souvient de Nyota Uhura, lieutenant à bord du vaisseau « Enterprise » dans la série Star
Trek. Elle portait en permanence un dispositif à l’oreille. Le parallèle est facile avec une oreillette
bluetooth très actuelle.

Dans certains jeux de rôle, les joueurs peuvent évoluer dans un univers futuriste où les
compétences sont en grande partie obtenues à partir d’une technologie avancée. Par exemple, dans
Shadowrun, dont la première version a été éditée en 1989 par FASA Corporation, les personnages
utilisent des implants cybernétiques ou biotechnologiques pour augmenter leurs capacités
physiques et/ou sensorielles. Internet a été remplacé par le monde virtuel de la matrice qui offre
une plus grande immersion.

6
[Link] (consulté le 12 mai 2015)
37
 7

On pourrait également signaler la triologie Matrix considérée comme un cyberfilm, sortie entre
1989 et 2003, où l’humain est sous le joug des machines et plus particulièrement de la Matrice.
L’humain sert de source d’énergie. Les personnages évoluent entre deux mondes : un monde
virtuel celui des machines, prison de l’humain et un monde réel celui d’une Terre dévastée. Le but
est alors pour l’homme de reprendre le contrôle de la Matrice.
Il est question ici de la prise de contrôle de l’homme par la machine. Ce n’est pas dans nos
perspectives mais cela nous incite à réfléchir aux frontières. L’homme est « maître » de lui-même
et riche en ressources. Ce qui nous amène à citer le travail réalisé par Bertrand Piccard, psychiatre
et aéronaute, qui, pour mener à bien ses expéditions de tour du monde en ballon ou en avion solaire
nécessitant de longues heures de vol, doit trouver le moyen de pallier le problème de manque de
sommeil. Il se tourne vers l’autohypnose8. Il se plonge dans un état de transe9 dissociant son esprit
de son corps et peut ainsi garder sa concentration sur son tableau de bord et commandes tout en se
reposant. Il utilise pour cela ses ressources intérieures. Dans sa thèse de doctorat (Piccard, 1996),
B. Piccard indique que « les épreuves de l’existence qui constituent souvent des crises majeures,
peuvent être vécues comme des possibilités d’évoluer, et peut-être également de développer des
ressources intérieures ». Cela s’apparente à la notion de coping10 en psychologie qui, de façon
résumée, comporte l’émotion vécue et le mécanisme mis en place pour s’y adapter. Il utilise sa

7
[Link] (consulté le 12 mai 2015)
8
« L’hypnose est ainsi moins une technique qu’un retour à soi-même pour mobiliser ses forces de vie et traverser
des processus de changement dans un état de sécurité intérieure. Elle devient une manière d’évoluer, qu’on la
pratique ensuite en faisant de la méditation ou de l’autohypnose, le terme importe peu. Nous avons tous nos
manières de retrouver un état dans lequel nous pouvons nous sentir en sécurité, parfois simplement en revenant à
la beauté de la nature ou d’une impression ancienne, au souvenir d’une musique, d’une image ou d’un contact
avec un être cher. Se connecter à soi-même est un moyen de sortir de la dépendance au monde extérieur et à ses
propres schémas de pensée périmés, pour créer un espace dans lequel nous évoluons comme nous avons envie de
le faire. Il n’y a finalement pas tellement de craintes à avoir par rapport à nous-mêmes. Nous pouvons mobiliser
encore plus de confiance que de craintes, et c’est en nous reliant à cette confiance que nous poursuivrons notre
évolution psychologique et spirituelle ». CONGRES DU GRAAP, 19 ET 20 MARS 1996 TOUT COMME VOUS 51,
SPECIAL n° 10
9
« La transe est un état parfaitement naturel et normal, qui consiste à retourner au fond de soi ou de son
inconscient pour se mettre en contact avec ses propres ressources, on se reconnecte avec soi-même avant de
repartir pour de nouvelles expériences, un peu comme lorsqu’on met une disquette dans l’ordinateur pour
nettoyer les virus ». CONGRES DU GRAAP, 19 ET 20 MARS 1996 TOUT COMME VOUS 51, SPECIAL n° 10
10
« Ensemble des efforts cognitifs et comportementaux destinés à maîtriser, réduire ou tolérer des demandes
spécifiques internes et/ou externes, vécues par le sujet comme menaçant, épuisant ou dépassant ses ressources ».
Lazarus et Saunier 1978
38
démarche thérapeutique pour soigner ses patients qui peuvent eux aussi développer leurs
ressources intérieures et ainsi devenir plus acteurs de leur évolution.
Nous disposons donc en nous de capacités pas toujours connues nous permettant de faire face ou
de répondre à certaines situations. Cette dimension est à explorer pour notre étude.

Autre projet intéressant est celui mené par différentes équipes du CEA au centre de recherche
Clinatec à Grenoble, qui tente de faire marcher un tétraplégique grâce à un dispositif piloté par le
cerveau à l’aide d’un système sans fil d’acquisition de données et d’électrocorticogrammes11
(ECoG) nommé WIMAGINE, est une belle illustration de cette avancée scientifique. Les équipes
travaillent sur les matériels à implanter dans le scalp, le système associé, les différents algorithmes,
la calibration et la reconstruction de mouvements et bien sûr sur l’exosquelette EMY (Enhancy
MobilitY) présenté au SIGGRAPH en 2013. En mai 2014, ils étaient dans la phase de passage du
laboratoire à l’hôpital. Des résultats précliniques sont parus dans (Eliseyev, 2014). Ils ont depuis
obtenu les autorisations d’essais cliniques.

Le robot EMY - Lève-toi et marche ?12

La plupart des expériences décrites sont tournées vers l'homme augmenté et l’environnement
enrichi par la technologie voire la haute technologie qui ne relèvent presque plus de la science-
fiction, ou encore, introduisent les capacités inexploitées de notre corps. Aujourd’hui des
prothèses, véritables extensions de la personne telles que les membres ou organes artificiels, sont
proposées aux patients (prothèses de hanche, d’articulation, de pied ou encore de coeur). Il existe
aussi des systèmes de substitution sensorielle qui ont pour principe de donner une information
sensorielle par le biais d’un autre support sensoriel. Le dispositif le plus connu est celui de Paul
Bach-y-Rita. Il s’agit de la « tonguevision » qui permet la perception d’images par la langue se
substituant ainsi à l’œil déficient. La technologie est de plus en plus au service de l’homme pour

11
Enregistrement graphique de l'activité cérébrale grâce à des électrodes en contact direct du cortex (a-
[Link]/definition/[Link] – consulté le 4 octobre 2015)
12
[Link]
20131644931_47.php (consulté le 04 avril 2015)
39
le mener au bien-être. De nombreux objets communicants se popularisent : montres, bracelets,
ceintures, appareils électroménagers, tous objets intelligents.
Les frontières entre différents domaines se brisent et laissent place à de nouvelles perspectives
comme l’évoque Guy Thuiller13 en rappelant les propos de De Rosnay (2008) : « La biotique,
résultat de la fusion de la biologie et de l’informatique, s’attache à la mise au point de nouveaux
composants et de circuits électroniques moléculaires (biopuces, biotransistors) ainsi qu’au
développement d’interfaces bioélectroniques entre l’homme, les ordinateurs et les réseaux. Les
frontières entre le biologique, le mécanique et l’électronique s’estompent ».
Le mouvement transhumaniste, datant de l'antiquité, montre également la quête de l'homme quant
à l'amélioration de son état, au refus de certaines caractéristiques de la condition humaine comme
la maladie, la souffrance, la mort, ou bien encore au perfectionnement de l'homme et, n'a cessé
d'évoluer jusqu'à nos jours. Nous pouvons nous référer à (Bostrom, 2011) pour l'histoire de la
pensée transhumaniste.
Un reportage de 2014 diffusé sur Arte14 aborde ce thème. « Un courant philosophique prône la
transformation et le dépassement physique et mental de la nature humaine grâce à la
technologie ». « Il s'agirait d’abord de réparer l’homme et de le libérer de ses vulnérabilités
biologiques, puis d'augmenter ses capacités, notamment cérébrales, pour en faire un homme
beaucoup plus puissant, avant d'enfin ralentir le vieillissement du corps ». « Voilà à quoi notre
corps pourrait bientôt ressembler si on l'équipait des dernières technologies. Excitant ou
angoissant ? A vous de juger ! »

13
[Link] (consulté le 15 mai 2015) Les
interfaces numériques dans l'imaginaire de science-fiction
14
[Link] (consulté le 12 mai 2015)
40
Toutes ces avancées sont des assistances, des appuis à l’homme et nous amènent à des
questionnements. Pourquoi l’homme ne pourrait-il pas grâce à ces progrès, à la technologie, se
découvrir ou retrouver des potentiels à exploiter, à mettre en œuvre ? Ne devrions-nous pas
regarder les choses dans un autre sens à savoir l’environnement augmenté par l’homme avec ses
facultés, sa compréhension, ses idées ? C'est l'homme qui construit, crée, innove et fait évoluer la
technique, la technologie. Pour cela, il se fonde souvent sur la nature, humaine, animale ou
végétale voire minérale. De par ces activités, il s'explore et se connait de mieux en mieux jusqu'à
peut-être voir et comprendre que tout ce qui l'entoure n'est qu'un support faisant émerger ses
capacités, son potentiel, ses ressources intérieures. La création d’une nouvelle liaison d’échanges
homme environnement/univers par la pensée uniquement appartient-elle donc encore au domaine
de la science-fiction ? Telle est une de nos questions. Nous allons tout mettre en œuvre pour nous
orienter vers un chemin tentant d'y répondre. Les premiers pas se dirigeront vers notre
problématique initiale.
Un autre contexte nous a apporté un éclairage quant aux premières démarches à entreprendre pour
réaliser notre étude. Il s’agit du projet PLUG.

PLUG
Dans le projet PLUG, nous avons manipulé des capteurs biomédicaux. Afin de situer notre travail,
il est utile de dire quelques mots sur ce projet quant aux contexte, objectifs et résultats obtenus.
Nous souhaitions étudier les caractéristiques acquises à partir de capteurs biomédicaux choisis.
Nous devions intégrer un dispositif adapté dit de "biofeedback". Ce dispositif comprenant entre
autre les capteurs biomédicaux, portés par des joueurs se déplaçant dans un musée, devaient
mesurer la température cutanée, la fréquence respiratoire, la résistance électrodermale, la pression
artérielle et l’immobilité du corps.
Le projet avait pour cadre les jeux dits ambiants qui procurent un contexte où l'environnement et
le joueur interagissent en permanence. L'idée de départ était donc de récupérer, en temps réel, des
informations objectives sur l'évolution physiologique (et, au mieux, affective) liée aux processus
émotionnels des différents joueurs mais aussi de la compléter par des informations associées à leur
déplacement. Nous avons exploité les travaux menés par Rosalind Picard pionnière de
l'informatique affective (Picard, 2004 ; 2000). Ensuite, le scénario du jeu était adapté au vu des
données collectées sur le joueur. Pour ce faire, un dispositif de « biofeedback » a été mis en place.
Les capteurs étaient montés sur une ceinture thoracique. Les joueurs, munis de ces ceintures, se
déplaçaient dans les différents étages du musée pour résoudre les quêtes du scénario du jeu.
L’information provenant des capteurs transitait par un réseau maillé sans fil et aboutissait dans une

41
base de données implémentée sur un serveur. Les données étaient disponibles à tout moment du
déroulement du jeu, en temps réel. Le dispositif offrait ainsi au superviseur (maître du jeu ou
moteur d’adaptation par exemple) des renseignements sur le joueur. Ces renseignements lui
permettaient de moduler et d’adapter ses interventions et de ce fait d’optimiser la gestion du
scénario et /ou la difficulté de résolution. Il pouvait aussi grâce à ces éléments renvoyer une ou
plusieurs requêtes au joueur relatives à son comportement, lui donnant en conséquence la
possibilité de contrôler consciemment son corps.
Au final et pour différentes raisons, seuls deux capteurs ont été montés sur une ceinture
abdominale. Le processus de captation fonctionnait bien. Le système de transmission était une
technologie Zigbee, préférée pour ses caractéristiques intéressantes dans un contexte de réseau
embarqué mobile, en intérieur. Les modules Xbee, fondés sur la technologie Zigbee, utilisés pour
la communication sans fil, étaient efficaces et couvraient bien la totalité de l’espace envisagé dans
le jeu mais restaient consommateurs d’énergie (Astic, 2012 ; Topol, 2015). Il nous aurait fallu un
peu plus de temps pour optimiser leur utilisation. Nous avions réduit le nombre de modules et cela
donnait de bons résultats mais nous ne voulions pas mettre en danger le projet alors nous sommes
restés sur notre configuration de départ. Les données des capteurs, via les modules, étaient dirigées
vers une base de données exploitable soit par un moteur d’adaptation soit par un maître de jeu. En
effet, il était possible d’utiliser ces bio-informations afin de déclencher un événement qui était
renvoyé au joueur, par exemple, proposer un rendez-vous en un lieu et lui demander de réduire
son rythme cardiaque. Le joueur pouvait ainsi répondre par une action de contrôle sur son état
émotionnel (d'où le biofeedback).
Avant la mise en situation, nous avions lancé une série de mesures afin de tester les capteurs. Nous
devions analyser les données recueillies et construire une cartographie associant les variables
obtenues et des émotions. Nous n'avons pas pu disposer de ce travail expérimental car nos capteurs
n'étaient pas suffisamment fiables, les données insatisfaisantes. C'est d'ailleurs une des raisons
pour lesquelles nous n'avons expérimenté que deux des capteurs, en réel, sans lien établi avec des
états émotionnels mais usant des battements cardiaques et des mouvements.
Compte-tenu des résultats obtenus et de certaines défaillances des dispositifs de captation, il est
donc primordial de reprendre les expérimentations sur la récupération des réactions émotionnelles,
d'en faire une analyse précise fondée sur des techniques de représentation de données
multidimensionnelles et ainsi mettre en évidence les relations, les dominantes, une ou plusieurs
classifications pertinentes des signaux afin de déterminer les bons critères nécessaires à
l’association signaux/émotions. Ce travail préliminaire est essentiel à la mise en place d'un
référentiel, fondation de notre recherche.

42
Cette correspondance pourra ainsi servir aux travaux à venir, orientés vers un mode de
transmission ondulatoire, en lien avec la future nouvelle interface et les jeux (ou autres
applications).
C’est donc un des points importants de notre étude. Il s’avère confirmé par les travaux de thèse
(Hamdi, 2012) qui montrent que la reconnaissance des états émotionnels doit être améliorée entre
autre par l’utilisation de signaux physiologiques provenant de l’activité électrodermale et de la
température cutanée. Ce que nous mettons en œuvre.
L’utilisation de dispositifs technologiques pour communiquer avec notre environnement passe par
la connaissance de ces objets. Nous amenons une description de certains objets ayant servi à notre
réflexion après quelques précisions sur l’interaction.
Comme nous le verrons dans le texte, pour aborder notre sujet, de nombreux domaines transverses
sont [Link] un état de l’art tourné plus particulièrement vers les émotions, leurs mécaniques, leur
reconnaissance au travers des différentes notions, théories et modèles sont présentés. Plusieurs
spécialités ont enrichi et nourri nos travaux. La psychologie nous renseigne sur les émotions, le
ressenti et les effets sur l'humain et l'environnement. Nous présentons les différentes approches et
modèles (de Darwin à nos jours en passant par James, Cannon et les cognitivistes). La
neuropsychologie apporte un regard sur la gestion et le fonctionnement des émotions. Les
neurosciences nous éclairent sur les mécanismes neurobiologiques comme la perception et les
émotions. Nous mentionnons entre autres les travaux de A. Damasio (1995, 1999, 2003). La
biologie, la psychobiologie, les médecines énergétiques aident à comprendre les mécanismes
physiologiques de l'homme, le fonctionnement cellulaire et les parties en liaison avec les émotions.
La physique permet d’accéder à la compréhension des phénomènes énergétiques, circulatoires,
ondulatoires, électroniques et le traitement des signaux. Nous abordons également les travaux
menés dans le domaine interdisciplinaire qu’est l’affective computing (informatique affective)
couvrant à la fois l’informatique, la psychologie et les sciences cognitives et qui nous mène à
l’interaction entre technologies et émotions (Picard, 1996,2000).
Tous les progrès dans ces différents domaines et les avancées technologiques sont interdépendants.
Nous appréhendons également les travaux menés par différents chercheurs sur les mouvements
faciaux comme par exemple (Pélachaud, 2009), les sons objets de vibrations se propageant par
ondes … en relation avec les émotions. Même si notre approche est différente, ils nous renseignent
sur les leurs, nous servent à comprendre la communication humaine et nous aident dans notre
démarche. Il existe une complémentarité certaine. Nous ajoutons que les sons ont un lien
particulier avec notre recherche car ils appartiennent aux phénomènes vibratoires, ondulatoires
porteurs d’informations et d’émotions que nous souhaitons exploiter.

43
Cette interdisciplinarité engendre une ou plusieurs visions des choses selon le point de vue où l’on
se place mais très complémentaires. Il est nécessaire de communiquer, d’aborder des sujets parfois
aux frontières du connu suivant les domaines afin de débattre et d’enrichir les connaissances. Des
communautés émergent et mettent en place des journées d’échanges.
Par exemple, l’association Française pour l’Intelligence Artificielle (AFIA) et l’Association pour
la Recherche sur la Cognition (ARCo) ont initié depuis 2014 un cycle de journées sur l’irrationnel
(JMIC – Journée de Modélisation de l’Irrationnel dans la Cognition), élément des processus
cognitifs visant à apporter un éclairage sur le sujet. Notre problématique entre bien en résonance
avec ces thèmes abordés comme avec ceux traités par le groupe national de R&D sur les interfaces
cerveau-machine (BCI). Dans la communauté BCI française, les chercheurs utilisent des appareils
et procédés surtout invasifs. Ce qui n’est pas du tout notre cas mais leurs analyses, travaux et nos
échanges nous profitent. Un nouveau groupe de professionnels sur le neurofeedback vient de se
constituer et organise régulièrement des journées thématiques.

En résumé, notre problématique, est-il possible de concevoir une nouvelle Interaction Homme
Environnement sans dispositif incommodant ou visible permettant d’allier rétroaction biologique
et états émotionnels ? peut se traduire par : proposer une nouvelle interaction entre l’humain et son
environnement avec une adaptation du contexte à l’état émotionnel de l’utilisateur nécessite la
reconnaissance des émotions. Il s’en suit peut-on mesurer des états émotionnels à partir de
certaines mesures physiologiques comme nous l’envisageons ? Si des états peuvent être mesurées
à l’aide de capteurs de contact, peut-on le faire à partir des capteurs distants ? Et, bien sûr, comment
remplacer des capteurs de contact par des capteurs de mesures physiologiques distants et obtenir
les mêmes résultats ? Si les dispositifs distants répondent à ces attentes alors la nouvelle interaction
pourra voir le jour.
Pour des raisons pratiques et d’intérêts, notre contexte tourne autour du jeu, pervasif et vidéo. Nous
nous en expliquons. Tout comme nous communiquons sur le choix d’explorer la voie des données
physiologiques par le biais de capteurs de contact, dans un premier temps. Puis au travers de
chaque chapitre, nous essayons de répondre à ces questions.

La reconnaissance des émotions passe par leur compréhension, nous abordons ce point dans le
chapitre 1. Les différentes interactions, dispositifs et technologies de communication utiles au
projet sont traités dans le chapitre 2. Qui dit communications, interactions, dit mise en réseau. Cet
aspect fait l’objet du chapitre 3. Comme nous l’avons indiqué ci-dessus, les capteurs
physiologiques vont nous alimenter en données biologiques qu’il faut étudier, le chapitre 4

44
présente non seulement les bases de la fouille des données mais exposent nos deux voies explorées
pour proposer des solutions innovantes d’analyses de données de ce type. Le chapitre 5 expose
une ébauche de plate-forme de jeu que nous voulons mettre en œuvre. Puis, nous concluons sur
les résultats obtenus, nos premières contributions, et sur nos perspectives de travail.

45
Bibliographie

Astic, I., Aunis, C., Dupire, J., Gal, V., Gressier-Soudan, E., Pitrey, C., Roy, M., Sailhan, F.,
Simatic, M., Topol, A., Zaza, E., 2012 Informatique et intelligence ambiante : des capteurs aux
applications, IC2 traité Informatique et Systèmes d’Information Hermès Lavoisier, chapitre 12
« entre jeux pervasifs et applications critiques » pp 295 - 317

Bostrom N., 2011 A history of transhumanist thought in Journal of Evolution and Technology
Volume 14 Issue 1 April 2005 et reprinted in Academic writing across the discipline, eds NY
Pearson Longman 2011

Chombart de Lauwe, P.H. 1954 Aspirations, images guides et transformations sociales. In:
Revue française de sociologie. 1964, 5-2. pp. 180-192

Damasio, A.R. 1995 L’erreur de Descartes – la raison des émotions, Odile Jacob

Damasio, A.R. 1999 Le sentiment de soi, Odile Jacob

Damasio, A.R. 2003 Spinoza avait raison, Odile Jacob

De Rosnay J., 2008 2020 : les scénarios du futur, Editions Des Idées & des Hommes, pp 229 -
230

Eliseyev A., Mestais C., Charvet G., Sauter F., Abroug N., Arizumi N., Cokgungor S.,
Costecalde T., Foerster M., Korczowski L., Morinière B., Porcherot J., Pradal J., Ratel D., Tarrin
N., Torres-Martinez N., Verney A., Aksenova T., Benabib A.L., 2014 CLINATEC BCI platform
based on the ECoG-recording implant WIMAGINE and the innovative signal-processing :
preclinical results, Engineering in Medicine and Biology Society (EMBC), 2014 36th Annual
International Conference of the IEEE

Feitelson D.G. 2007 Asimov's Laws of Robotics Applied to Software, IEEE Software, vol.24,
no. 4, pp. 112, 111, July/August 2007, doi:10.1109/MS.2007.100

Hamdi, H. 2012 Plate-forme multimodale pour la reconnaissance d’émotions via l’analyse de

signaux physiologiques : application à la simulation d’entretiens d’embauche – thèse soutenue le
3 décembre 2012 à l’université d’Angers

Pélachaud C. Bailly G. 2009 Parole et expression des émotions sur le visage d’humanoïdes
virtuels Fuchs, G. Moreau and S. Donikian. Traité de la réalité virtuelle : Volume 5 : les humains
virtuels, Presses de l'Ecole des Mines de Paris, pp.187-208, 2009,

Picard R.W. 2004 Affective computing : challenges, rapport interne du MIT Media Lab
Cambridge, MA USA 2004

Picard R.W. 2000 Affective computing - MIT Press 2000

Piccard B., 1996 La pédagogie de l'épreuve - une enquête sur l'aspect constructif et révélateur de
la maladie, de l'accident et du malheur, thèse de docteur en médecine soutenue en 1996, Faculté
de médecine de Lausanne, service de psychiatrie
46
Topol, A., Dupire, J., Gal, V., 2015 PLUG a ZigBee Network to Play an Ubiquitous Game !,
Game and Entertainment Technologies (GET 2015) july 2015 pp 251 – 255 Spain

Weiser, M., 1991 The computer for the 21st century. Scientific American, 265(3), 94-104, 1991

Weiser, M., Brown J.S., 1996 The coming age of calm technology, Xerox Parc, 1996

47
48
 Chapitre 1
Que l’émotion soit !
« N’oublions pas que les petites émotions sont les grands capitaines de nos vies et
qu’à celles-ci nous obéissons sans le savoir ». Vincent Van Gogh

1. EMOTIONS, DES EXPLICATIONS ET NOTRE POSITION ................................. 51

1.1. INTRODUCTION – DIFFERENTES APPROCHES DES EMOTIONS................................................................................... 51
1.2. ETAT DE L’ART .............................................................................................................................................. 52
1.2.1. Introduction – Homéostasie ................................................................................................................ 52
1.2.2. Définitions ........................................................................................................................................... 54
1.2.3. Théories des émotions ......................................................................................................................... 64
1.2.4. Rôle, déclenchement et reconnaissance des émotions – communications verbale et non verbale ou
orale et non orale .............................................................................................................................................. 74
1.2.5. Psychophysiologie des émotions ......................................................................................................... 81
1.3. EMOTIONS, ANATOMIE ET BIOLOGIE.................................................................................................................. 82
1.3.1. Perception et processus de perception ................................................................................................ 82
1.3.2. Le système nerveux et les relations avec les émotions : anatomie, fonctionnement et techniques de
mesures ............................................................................................................................................................. 84
1.3.3. Le cœur et les relations avec les émotions : anatomie, fonctionnement et techniques de mesures ... 95
1.3.4. Les poumons et les relations avec les émotions : anatomie, fonctionnement et techniques de
mesures ........................................................................................................................................................... 103
1.3.5. La peau et les relations avec les émotions : anatomie, fonctionnement et techniques de mesures
pour GSR et T° de surface ................................................................................................................................ 109
1.4. CONCLUSION.............................................................................................................................................. 116
1.5. BIBLIOGRAPHIE ........................................................................................................................................... 118
1.6. SITOGRAPHIE.............................................................................................................................................. 122

49
50
1. Emotions, des explications et notre position

1.1. Introduction – Différentes approches des émotions

Les émotions sont partout, nous dictent et influencent nos actions à chaque instant. Elles ne sont
pas nouvelles. Il en est déjà fait mention chez les grecs par Epicure, philosophe grec, 342 ou 341
av. J.-C., - 270 av. J.-C, « chez la plupart des hommes le calme est léthargie, l’émotion fureur ».
Au travers d’une lettre à Ménécée, il dit également « quand nous parlons du plaisir comme d’un
but essentiel, nous ne parlons pas des plaisirs du noceur irrécupérable ou de celui qui a la
jouissance pour résidence permanente, mais d’en arriver au stade où l’on ne souffre pas du corps
et où l’on n’est pas perturbé de l’âme ». Il s’agit de se trouver dans un équilibre de l’être dans son
entier, corps et âme. Pour plus de détails, on pourra se référer à « la mesure des affections dans
l’épicurisme » de Prost (2012). L’évaluation des « affections » est déjà un sujet de recherche dans
l’antiquité. Jean Frère (2009) explique la place importante des émotions dans la vie quotidienne
des sages Grecs comme Platon, Aristote, Epicure ou Sénèque, philosophes, et comment ils
cherchent à transmettre les moyens de les apprivoiser (apaiser, canaliser …).
Toutes les périodes de la vie, sont ponctuées par la recherche de bien-être. Beaucoup ont compris
cette quête et surfent sur tout ce qui pourrait répondre à celle-ci. Avec l’évolution des technologies
et la montée en puissance des neurosciences, l’émotion est devenue le centre de démarches
diverses ou de projets d’envergure tant dans le domaine de la justice15, du marketing16 que, bien
sûr, en neurosciences17 ou dans l’art de soigner18. Connaître les émotions d’un individu offre des
perspectives de toucher l’Animal dans son être, de l’attirer, de répondre à ses désirs. Les gens du
marketing, de la politique, de la publicité, les chasseurs de tête … l’ont bien saisi, en usent et en
abusent. Le n°20 de la revue INFLUENCIA titré « L’émotion fiction ou réalité » présente un
ensemble de points de vue tant marketing qu’artistique sur la question. Il est aussi abordé et mis
sous forme d’équation ce que l’on nomme l’intelligence émotionnelle, le quotient émotionnel

15
[Link] - consulté le 13
octobre 2019
16

[Link]
s_sdt=0,5&as_vis=1 – consulté le 13 octobre 2019
17

[Link]
1 – consulté le 13 octobre 2019
18
[Link] - consulté le 13 octobre
2019
51
comme le quotient intellectuel ou encore le quotient technique dont parle un des auteurs, Phillipe
Beucler (2015) relativement à notre industrie et qu’il formule comme « La manière dont nous
saurons créer de la valeur à partir de l’équation des temps qui viennent (IQ, EQ + TQ) BQ
décidera largement de l’issue. Cela se passera là exactement où intelligence, émotion et
technologie se rencontrent, et à la vitesse de la lumière. C’est bien l’émotion qui sera le facteur
déterminant »19. Cela laisse à penser que l’émotion est considérée comme une recette et non
simplement comme un ingrédient.
La connaissance des « émotions » est ainsi de plus en plus convoitée pour prendre dans ses filets
et faire consommer, sélectionner … Heureusement il existe également d’autres champs où cette
recherche est purement altruiste comme dans certaines médecines, le travail sur la pleine
conscience ou encore dans la méditation. Notre positionnement est de proposer une nouvelle façon
d’interagir avec l’utilisateur en nous adaptant à lui, à ses « émotions », tout en respectant ses
envies.
Approcher les émotions ou tout autre état s’y référant requiert intuition, compréhension,
exploration et analyse. Notre démarche cherche à mettre au jour un moyen de détecter des états
émotionnels afin d’adapter le contexte à l’utilisateur dans la mesure où celui-ci le désire.
L’adaptation peut se faire par la communication de différents types d’informations selon les
impacts souhaités et les réponses apportées. Encore faut-il comprendre ce que sont les émotions ?
Les parties suivantes proposent un état de l’art et une présentation anatomique et biologique
nécessaires à cette compréhension auxquelles se grefferont le processus de perception et une
conclusion.

1.2. Etat de l’art

1.2.1. Introduction – Homéostasie

L’humain est un système élaboré d’une grande précision. Il est constitué d’un ensemble d’atomes,
de molécules, d’assemblages de différents composants reliés par des systèmes de communications
chimiques, électriques, magnétiques... Ce système essaie en permanence de se maintenir en
équilibre malgré les modifications intérieures et les sollicitations extérieures. C’est ce que l’on
nomme l’homéostasie. L’humain est aussi doué de raison et d’intelligence émotionnelle (Salovey
et Mayer, 1990). Comme dit Antonio Damasio (1995) « Sans émotions, nos raisonnements sont
biaisés et nos choix les plus simples peuvent déboucher sur des décisions aberrantes ».

19
IQ = Intelligent Quotient, EQ = Emotional Quotient, TQ = Technical Quotient et BQ = « Bloody Quick »
52
En biologie et selon la définition du Centre National de Ressources Textuelles et Lexicales
(CNRTL), l’homéostasie est la « tendance de l'organisme à maintenir ou à ramener les différentes
constantes physiologiques (température, débit sanguin, tension artérielle, etc.) à des degrés qui
ne s'écartent pas de la normale ».
Tout tend en permanence à l’harmonie et l’équilibre quel que soit le niveau macroscopique ou
microscopique. Le corps20 est en recherche perpétuelle de cet état. Tout événement impactant cet
équilibre est régulé, dans la mesure du possible, par des réactions biologiques, par exemple, afin
de ne pas développer de pathologie. Les processus des émotions comme la perception et
l’expression font partie des données de régulation de l’organisme. C’est grâce aux variations
constatées pour retrouver l’équilibre que notre étude est possible.
Trois composantes fondamentales participent aux mécanismes de régulation : un récepteur, un
centre de régulation et un effecteur. La figure 1 présente la régulation de l’homéostasie.

Figure 1 : Régulation de l’homéostasie

[Link] - consulté le 14 septembre 2018

Le récepteur capte les changements d’équilibre et envoie l’information au centre de régulation. Le

centre de régulation détermine le point appelé état contrôlé ou régulé qui doit être maintenu.
L’effecteur produit une réaction en réponse au centre de régulation. Les changements d’état du
corps peuvent être mesurés par l’intermédiaire de différents indicateurs.

20
Nous considérons ici le corps de façon holistique (matière, fluides, pensée).
53
1.2.2. Définitions

Depuis la nuit des temps, la notion d’émotion fait couler beaucoup d’encre. Différents concepts
comme humeur, passions, états émotionnels, sentiments, affects, états d’âme, pensées, sensations
et autres sont utilisés pour désigner des phénomènes générés intérieurement avec ou sans
expression extérieure, issus d’objets21, au même titre que les émotions. Quelques explications
s’imposent car chacune de ces expressions peut avoir un sens différent. Nous donnons ci-après
plusieurs définitions qui ont retenu notre attention, qui ont été utiles à la compréhension des textes
et échanges variés et qui sont ou ne sont pas toujours totalement en adéquation avec notre pensée.
Nous indiquerons celles qui nous paraissent les plus appropriées à notre contexte de recherche.
Anna Tcherkassof dans son ouvrage sur les émotions et leurs expressions (2008) donne un
englobant qu’elle nomme états affectifs. Les états affectifs comprendraient les sentiments,
l’humeur, les affects, les émotions. Une caractéristique simplifiée commune à chacun de ces états
affectifs retrouvée dans toute la littérature est leur bitonalité : positif et négatif ou agréable et
désagréable ou bénéfique et nocif ou bon et mauvais... La bivalence est bien connue des
informaticiens que nous sommes, mais nous savons que le monde de l’affect est bien plus
complexe que cela. Nous nous devons donc de donner des définitions des mots ou concepts, que
nous avons utilisés sans toujours bien cerner leurs limites, parfois restant flous ou sans réel
consensus même auprès des personnes de métier. Pour les profanes, certains de ces mots sont
employés dans des sens très différents des initiés du monde de la psychanalyse ou de celui de la
psychologie ou encore plus largement celui des sciences humaines et sociales. Comme le dit Jean-
Marie Barbier dans « Affects, émotions, sentiments, quelles différences ? » (2018) « la
terminologie en usage pour décrire la vie affective/émotionnelle se révèle relativement confuse, et
mêle par exemple dans un même ensemble indistinct affects, émotions et sentiments ». Il évoque
également le fait que les émotions sont parfois vues comme un obstacle « Dans les échanges de la
vie quotidienne, la vie émotionnelle est également souvent considérée comme susceptible
d’entraver les dynamiques d’activité des sujets et de compromettre les résultats de leurs actions.
Invitation est faite notamment, sinon injonction, à gérer ses émotions ». On peut constater ici que
le mouvement, l’action sont mis en avant dans un sens négatif alors que le contraire est aussi
possible.
Nous proposons donc une liste de termes pour lesquels des définitions savantes sont rapportées
quand elles sont proches de nos préoccupations et auxquelles est parfois adjoint un commentaire
propre ou une précision.

21
L’objet est un concept au sens large pouvant désigner quelque chose de physique ou d’abstrait comme une idée,
une sensation, un stimulus externe, etc.
54
Le point de départ de nos perceptions est la sensation. Commençons par donner des éléments
d’information concernant la perception avant d’aborder ce qu’est la sensation. La perception est
un concept complexe. Une définition claire, simple et assez complète est celle présentée sur
Wikipédia22.
« La perception est l'activité par laquelle un sujet fait l'expérience d'objets ou de propriétés
présents dans son environnement. Cette activité repose habituellement sur des informations
délivrées par ses sens. Chez l'espèce humaine, la perception est aussi liée aux mécanismes de
cognition. Le mot « perception » désigne :
 soit le processus de recueil et de traitement de l'information sensorielle ou sensible (en
psychologie cognitive par exemple),
 soit la prise de conscience qui en résulte (en philosophie de la perception notamment).
 le 7ème sens ?
En psychologie expérimentale, chez l'être humain en particulier, on distingue des échelles de
perception consciente d'une part, et la perception inconsciente, d'autre part. Celle-ci est qualifiée
parfois d'« implicite » ou « subliminale ». Cette distinction a été étendue aux autres animaux dans
la mesure où ils peuvent être entraînés et conditionnés à indiquer s'ils ont perçu ou non un
stimulus.
La perception d'une situation fait appel tout à la fois aux sens physiologiques d'un organisme et à
ses capacités cognitives, à un niveau élémentaire ou conscient ».
Cette définition montre bien qu’il n’y a pas que les sens qui sont impliqués. Il est à constater que
la perception passe par des processus physiologiques et cognitifs.

Sensation

La sensation est selon le grand dictionnaire de la psychologie Larousse un « événement psychique

élémentaire résultant du traitement de l’information dans le système nerveux central à la suite
d’une stimulation d’un organe des sens ». Nous pouvons ajouter que l’origine de la sensation peut
être endogène. A partir de là, il est possible de comprendre comment certaines personnes
recherchent des sensations (sensation seeking) au travers de nouvelles expériences ou
d’expériences intenses.
La définition du mot sensation donnée par le CNRTL (consulté le 7 mai 2018) est très longue.
Nous ne retenons que les concepts les plus proches de notre domaine, comme en psychologie et

22
[Link] - consulté le 13 octobre 2019
55
physiologie, où ce terme est le « Phénomène par lequel une stimulation physiologique (externe
ou interne) provoque, chez un être vivant et conscient, une réaction spécifique produisant une
perception ; état provoqué par ce phénomène » ou « État de conscience plus affectif
qu'intellectuel ; perception immédiate (d'un état physique ou moral) » ou encore utilisé au pluriel
« Émotion forte, vive impression faite sur les sens produisant du plaisir ».
M. Zuckerman (1990), psychiatre, a longuement travaillé sur la notion de recherche de sensation
et la considère comme un trait de caractère lié à des différences biologiques entre les humains.

Sensibilité

Chacun réagit selon sa sensibilité qui correspond à l’« ensemble des fonctions de détection et de
discrimination des caractéristiques physiques ou chimiques des stimulus » selon le dictionnaire de
la psychologie Larousse.
La sensibilité est une propriété de réagir de manière adaptée à une situation. Elle joue un rôle
fondamental dans la pensée. Dans Diderot et la physiologie de la sensibilité de François
Duchesneau en 1999, on retrouve des vues de Diderot sur la sensibilité comme fonction universelle
de la vie et de la pensée. On retrouve également cette notion de lien entre corps et esprit dans un
article de Gibello (2004), travail réalisé avec des enfants, qui indique que « Il est classique depuis
un siècle de considérer les représentations mentales faites de représentations de choses, de mots
et d'affects » que l’auteur nomme « représentations de transformation ». « Celles-ci complètent
les représentations de chose. Elles ajoutent aux traces sensorielles, esthétiques classiques, les
traces des modifications tonicomotrices qui ont accompagné les perceptions sensorielles lors des
interactions avec l'objet manipulé et éventuellement transformé par elles ».
La sensibilité est une variable propre à chacun et pourrait constituer un facteur dans une équation
paramétrable en fonction du sujet, de son vécu, de son environnement.

Pensée

La pensée est comme l’indique le grand dictionnaire de la psychologie Larousse une « activité
psychique interne, caractérisée par son caractère conscient ». Qu’en est-il exactement ? Platon le
spécifie précisément comme « un dialogue invisible et silencieux de l'âme avec elle-même ». Une
explication détaillée est dans l’encyclopédie de l’Agora.

56
Le CNRTL offre plusieurs concepts concernant la pensée tels que : « Ensemble des facultés
psychologiques tant affectives qu'intellectuelles » ou « Activité affective consciente » ou
« Ensemble des fonctions psychiques et psycho-physiologiques ayant la connaissance pour objet ;
ensemble des phénomènes par lesquels ces fonctions se manifestent ».

Humeur

Dans le langage courant, on utilise le terme d’humeur pour signifier une bonne ou une mauvaise
disposition de l’affectivité et du caractère. L’utilisation du mot humeur provient d’Hippocrate23
qui considérait la combinaison des quatre grandes humeurs que sont le sang, la lymphe, la bile
jaune et la bile noire pour définir le tempérament.
L’humeur (mood en anglais) est un « niveau affectif et émotionnel de base oscillant entre deux
extrêmes : la joie et le plaisir d’une part et la tristesse et la douleur d’autre part » (Bodin, 2013).
Le grand dictionnaire de la psychologie donne comme définition « état thymique fondamental
dominant la vie affective et les réactions émotionnelles d’un individu ». Le milieu psychiatrique
réserve ce mot dans « le sens de l’euphorie, de l’expansivité et de l’excitation, dans les états
maniaques, […], dans les états dépressifs ou mélancoliques ». C’est avec Lorry (1765) puis Pinel
(1809) que l’on sort de la connotation humorale en particulier en ce qui concerne la mélancolie.

Sentiment

Jacques Cosnier24 (2015) dans « Psychologie des émotions et des sentiments », présente ces mots
comme « des termes multiples pour des concepts flous ». Il explique à travers son parcours
professionnel comment les émotions constituent un point fort dans son travail de recherche en
éthologie des communications, en interactions, donne des définitions non seulement des émotions
et sentiments, mais aussi évoque les termes comme affects, passions, humeurs … Il n’est pas sans
mentionner la difficulté définitoire, la « polysémie des termes et la pluralité des définitions »
parfois antagonistes qui conduit à des choix terminologiques auxquels nous avons été confrontés.
Selon le domaine abordé, le CNRTL exprime différentes définitions des sentiments :

23
Médecin Grec, né environ en 460 avant. J.-C. sur l’île de Cos et mort en 377 av. J.-C. et aussi philosophe,
considéré comme le père de la médecine.
24
Docteur en médecine, docteur ès sciences, psycholinguiste – professeur émérite en psychologie des
communications à l’université Lumière-Lyon, chercheur au CNRS
57
  dans le domaine des sens « faculté de sentir percevoir une sensation »
 dans le domaine de l’affectivité « état affectif complexe, assez stable et durable, composé
d’éléments intellectuels, émotifs ou moraux, et qui concerne soit « le moi » (orgueil,
jalousie …) soit autrui (amour, envie, haine …) ».
Wikipédia nous donne le sentiment comme étant « la composante de l'émotion qui implique les
fonctions cognitives de l'organisme, la manière d'apprécier. Le sentiment est à l'origine d'une
connaissance immédiate ou d'une simple impression. Il renvoie à la perception de l'état
physiologique du moment. Le sens psychologique de sentiment qui comprend un état affectif est à
distinguer du sens propre de la sensibilité ».
On trouve également comme définition celle du site Les Définitions : « les sentiments sont des
émotions conceptualisées qui déterminent l’état affectif ». Dans de nombreuses définitions les
différents termes que nous explorons sont assemblés, combinés. Nous le verrons plus loin avec la
définition de l’état affectif. Ceci ne simplifie pas la compréhension ni le choix des termes.
On pourra consulter la définition de « émotion », un peu plus loin dans le texte, dans laquelle une
citation de A. Damasio présente la différence entre sentiment et émotion.

Etats d’âme

Emanuel Swedenborg (1688 – 1772), scientifique, théologien et philosophe suédois, cherche à

découvrir les relations entre la matière et l’esprit par ses travaux sur l’anatomie. Baudelaire
s’intéressera à sa théorie sur les correspondances entre le monde spirituel et le monde matériel et
s’en inspirera pour écrire. Il utilisera l’allégorie pour traduire ses états d’âme. On peut dire qu’ils
constituent une ambiance psychique, que Christophe André, psychiatre et psychothérapeute
français, conçoit « Comme une météo psychique, nos états d'âme sont un climat mental ». « Les
émotions sont toujours au centre des états d'âme, mais le plus souvent, elles ne poussent pas à
l’action, comme le font les vécus émotionnels plus violents ». Les états d’âme « sont en partie
déterminés par notre passé et nos expériences affectives antérieures. »
Les états d’âme pour Antonio Damasio (2002) sont des « sentiments d’arrière-plan ». Ils sont
discrets mais bien présents et impactent notre façon de voir et nos comportements.

Affect

58
L’affect (affect en anglais) est d’après Wikipédia, un état d'esprit correspondant à la manifestation
des émotions, des sentiments, de la motivation. Les humeurs (au sens technique : déprime,
optimisme, anxiété…) sont des affects ou ont des dimensions affectives. Un affect se présente sous
la forme d'une décharge massive temporaire (sous forme de crise) ou d'un état dit "général" parce
que longue dans la durée. Il s’agit d’un terme emprunté à l’américain.
La définition de l’affect dans le domaine de la psychanalyse et selon Freud, issue de la
terminologie psychologique allemande, est « l’expression qualitative de la quantité d’énergie
pulsionnelle et de ses variations » (Laplanche et Pontalis, 2009)
En psychologie clinique, l’affect est « l’ensemble des manifestations affectives caractérisées par
leur nature agréable ou désagréable, qu'elles soient vagues, définies ou, comme les émotions,
intenses » (Psychologies, 2000).
« Les affects ne sont pas des états, mais des variations ; plus précisément, des variations conjointes
des sujets et de leurs activités » (Barbier, 2018).

Affectivité

L’affectivité désigne selon les carnets2psycho « l'ensemble des réactions psychiques de l'individu
face au monde extérieur. Les psychologues et les physiologues distinguent deux sortes
d'affectivité :
a) l'affectivité de base (ou holothymie) : elle recouvre les sentiments vitaux, l'humeur et les
émotions.
b) l'affectivité organisée et différenciée (ou catathymie) : elle recouvre des manifestations
plus complexes telles que les passions et les sentiments sociaux ».

Une autre définition donnée par le dictionnaire de l’éducation indique que l'affectivité désigne le
caractère des phénomènes dits affectifs, l'ensemble des sentiments et des émotions, et la faculté
d'éprouver, en réponse à une action quelconque sur notre sensibilité, des sentiments ou des
émotions. Les sciences affectives se donnent pour objet d'étude l'affectivité et les émotions.

Etat affectif

« Le mot "sentiment" est un synonyme d'émotion, mais avec un sens plus large. Le sentiment
désigne un état affectif dont la durée est souvent plus longue que l'émotion et dont la teneur est

59
aussi plus complexe et plus nuancée » selon La Psychologie. Pour G. Kirouac (1989), les états
affectifs recouvrent le concept d’émotion composé également de sentiment et d’humeur associés
à une variable temporelle.
Toutes les définitions précédentes nous amènent tout naturellement à celles des émotions. Nous
n’avons pas la prétention de définir ce qu’est une émotion. En effet, il existe pléthore de définitions
issues des différentes théories et proposées par d’éminents chercheurs dans le domaine, de
Hammourabi, Platon, Descartes, Darwin, en passant par Ekman, Scherer, Damasio sans compter
tous les autres. Les discussions à ce sujet sont toujours d’actualité.

Emotion

L’émotion au sens étymologique vient du latin emotionem, de emotum, supin de emovere,

émouvoir comme indiqué dans Le Littré. Selon Wikipédia, il est dérivé d’émouvoir formé d'après
l’ancien français et moyen français motion « mouvement », emprunté au latin motio « action de
mouvoir, mouvement, trouble, frisson (de fièvre) ».
Voici également plusieurs définitions issues de dictionnaires :
Le dictionnaire de l'Académie française présente l’émotion, n. f. XVe siècle, au sens de « trouble
moral » ; XVIe siècle, au sens 2. Dérivé d'émouvoir, d'après l'ancien français motion, de sens
analogue.

I. Class.
1. Trouble, malaise physique. Il a trop marché, cela lui a donné de l'émotion. Une émotion de
fièvre, un léger accès de fièvre.
2. Mouvement populaire spontané, trouble subit provoqué par un évènement imprévu. On s'efforça
de calmer l'émotion populaire.

II. Réaction affective brusque et momentanée, agréable ou pénible, souvent accompagnée de

manifestations physiques. Pâlir, rougir sous le coup d'une émotion intense. L'émotion le
paralysait. Elle n'avait pu cacher son émotion. Il éprouva une vive émotion en revoyant cette
femme. Une émotion communicative. Rechercher les émotions fortes. Évoquer avec émotion des
souvenirs de jeunesse. Par ext. Mouvement de la sensibilité provoqué par une impression
esthétique, religieuse. Émotion littéraire, musicale. Émotion créatrice. Le public ressentit une
émotion profonde en écoutant cet interprète.

60
La partie II de cette définition est la plus adaptée à notre étude et le deuxième point du I peut aussi
convenir mais vise plutôt un groupe. Nos expérimentations sont des expériences individuelles.
Dans le grand dictionnaire de la psychologie Larousse l’Emotion correspond à une -
« Constellation de réponses de forte intensité qui comportent des manifestations expressives
physiologiques et subjectives typiques. Elles s’accompagnent généralement de tendances d’action
caractéristiques et s’inscrivent en rupture de continuité par rapport au processus qui était en cours
chez le sujet au moment de leur apparition ».

Il existe de nombreuses autres définitions du mot émotion et nous pouvons constater la complexité
de formulation. La difficulté d’exprimer une définition de l’émotion est d’ailleurs donnée par Paul
R. Kleinginna, JR et Anne M. Kleinginna (1981). Ils ont compilé dans l’article, 92 définitions et
9 déclarations sceptiques issues du domaine des émotions et ont proposé une base de définition
qui a retenu toute notre attention :
« Emotion is a complex set of interactions among subjective and objective factors, mediated by
neural/hormonal systems, which can (a) give rise to affective experiences such as feelings of
arousal, pleasure/displeasure; (b) generate cognitive processes such as emotionally relevant
perceptual effects, appraisals, labeling processes; (c) activate widespread physiological
adjustments to the arousing conditions; and (d) lead to behavior that is often, but not always,
expressive, goal directed, and adaptive ». (Kleinginna and Kleinginna, 1981)
L’émotion est un processus cérébral qui joue un rôle essentiel de fonction cognitive. L’émotion
prépare l’organisme à l’action et serait affectée d’une valeur cognitive. L’émotion est le socle qui
permet à la raison de fonctionner et le fondement de notre rapport à autrui (Damasio, 1995). On
retrouve Damasio dans une interview menée par J.F. Marmion (2018) qui présente la distinction
entre émotions et sentiments : « Les émotions sont des programmes d’action qui se déploient en
une sorte de concert : actions de molécules dans le cerveau ou ailleurs dans le corps, actions
musculaires … Les sentiments sont des expériences mentales de toutes ces actions organiques ».

Episode émotionnel

L’épisode émotionnel est selon Jacques Cosnier (2015) une émotion rémanente. Il est de longue
durée comme dans le cas d’un deuil par exemple. C’est également ce que mentionne (Scherer,
2005). Cette définition ne correspond pas à nos attentes en particulier dans la durée pourtant,
l’approche épisode pourrait convenir si on l’associe à la définition de quelque chose qui surgit en
un laps de temps très court et de façon aiguë. Comme mentionné sur le schéma ci-après, la partie
61
« épisode émotionnel » peut être de longue durée (Cosnier, 2015) et écourtée selon notre vision
pour nous conduire à un état émotionnel.

Figure 2 : Episode émotionnel

[Link] consulté le 14 juillet 2018

Etat émotionnel

Dans les définitions courantes données à ce sujet, l’état émotionnel est considéré comme démarrant
dans l’anticipation de l’événement, atteignant un pic au plus fort de l’événement et persistant
durant un temps plus ou moins long. Il se traduit par le même schéma que l’épisode émotionnel.
Ce qui ne correspond pas totalement à notre approche. Pourtant, l’expression « état émotionnel »
exprime le mouvement, le changement comme le passage d’un état à un autre. Dans notre étude,
un état émotionnel se traduit par une variation significative des variables et se déroule sur une
durée brève pouvant être mesurée en seconde. Il est obtenu par combinaison de plusieurs variables
physiologiques et respecte certaines conditions. Si le même motif se répète, on peut peut-être dire
que le même état se reproduit. Ce qui est intéressant pour la mise en place d’un modèle.
L’état émotionnel (EE) pourrait ainsi se traduire par l’équation suivante que nous proposons :

EE = C(var)  
où
 C signifie combinaison
 var correspond aux variations (amplitude, fréquence) de nos variables physiologiques
  représente ce qui caractérise un individu (son vécu, son environnement, sa sensibilité, etc).
62
 Intelligence émotionnelle

L’intelligence émotionnelle est un concept nouveau mis en avant par Daniel Goleman (1995).
Les composantes principales sont la conscience de soi, la maîtrise de soi, la conscience sociale et
la gestion des relations. Ce concept est plus ancien et s’apparente à l’intelligence sociale de E. L.
Thorndike (1920) qui consiste à reconnaître, comprendre et à maîtriser ses propres émotions et
aussi à comprendre celles des autres personnes et les motiver. D. Wechsler (1939) indique qu’il
faut prendre en compte les caractéristiques émotionnelles dans les tests d’intelligence. C’est aussi
une façon d’appréhender l’intelligence émotionnelle. H. Gardner introduit dans la théorie des
intelligences multiples, qu’il a proposée en 1983, l’intelligence interpersonnelle ou intelligence
sociale qui s’approche de la notion d’intelligence émotionnelle. C’est W. Payne, dans sa thèse de
doctorat « A study of emotion : developping emotional intelligence » qui aurait le premier énoncé
le terme d’intelligence émotionnelle. Le terme serait apparu en 1990 par Peter Salovey et J. Mayer
dans un article « Emotional Intelligence » dans lequel les auteurs se réfèrent à la thèse non publiée
de Payne.
Au vu de ces définitions, nous avons établi un tableau, présenté en annexe 1 (Tableau autour des
émotions (chapitre 1)), qui reprend ces expressions et montre les éventuelles articulations entre
chacune d’entre elles. Nous pouvons constater que dans la plupart des définitions est évoquée la
notion de physiologie sur laquelle nous mettons l’accent dans notre travail.
Nous restons très réservés quant à l’utilisation du mot émotion et préférons état émotionnel comme
une variation sensible de mesures. Dans notre étude, nous utilisons la mesure des variables
physiologiques en approfondissant son analyse. Il est bien entendu que les états émotionnels sont
aussi dépendants d’autres facteurs corrélés.
Nous présentons ci-après une version très allégée des théories des émotions car celles-ci continuent
d’évoluer grâce aux travaux menés, aux progrès liés à la connaissance de l’humain et des
technologies nouvelles. Elles sont issues des ouvrages de psychologie des émotions de Sander
(2014) et de la théorie des émotions de Vygotsky (1998). Il existe aussi des études sur l’histoire
des sensibilités, qui permet déjà de reconstituer la vie affective d’antan, initiées en 1982, où il est
mentionné que « Lucien Febvre25 réclamait une histoire des usages des sens et la quête des
changements opérés, au fil des siècles, dans les systèmes perceptifs et la gamme des émotions. La

25
Lucien Febvre (1878 – 1956) historien moderniste français
63
réception des messages sensoriels se trouvait englobée, à ses yeux, dans la notion plus générale
d'outillage mental », selon Corbin. L’intensité des émotions, dans ce contexte, participe à la
manière dont les personnes en tant qu’individu ou groupe d’individus se représentent le monde.
Toutes les définitions élaborées, exposées dans le domaine de l’émotion sont issues de différentes
théories qui permettent de comprendre, appréhender son évolution, classer et se placer. Nous
abordons les grands courants et nous nous positionnons par rapport aux différentes sensibilités
énoncées.

1.2.3. Théories des émotions

Les théories des émotions émanent de travaux très anciens :
 Le code d’Hammourabi, commenté par P. Cruveilhier (1938), est un texte de lois
babylonien de 1750 avant Jésus-Christ, indiquant une des significations du mot cœur
en tant qu’« organe de l’amour de l’intelligence, centre de toutes les passions et de
toutes les émotions, principe de toutes les opérations intellectuelles ». Le
commentateur poursuit en indiquant que « les passions et les émotions bouleversent
l’être intérieur et que les imaginations, les idées, les souvenirs, les actes de volonté
provenaient de l’intérieur de l’homme ». Il mentionne aussi que « le foie était le siège
des émotions sensibles ». « Toute la psychologie des Hébreux et des Akkadiens tourne
autour du cœur » Dhorme (1922). On constate que l’émotion est liée au corps dont les
signes sont originaires de l’âme. Corps et esprit ne feraient-ils qu’un ?
 La vision de Platon et d’Aristote est exprimée dans le texte « Une histoire des
émotions incarnées » de Boquet et Nagy. Platon (427-428/348 avant Jésus-Christ) liait
déjà les émotions, placées du côté de l’âme, aux changements corporels qu’Aristote
(383-384/322 avant Jésus-Christ) considérait comme une composante de la passion.
Ainsi, les modifications corporelles auraient pu être la cause concrète de l’émotion et
les composantes comme l’évaluation, le ressenti et la tendance à l’action la cause
formelle : « il est évident que les émotions (πάθη) sont des formes engagées dans la
matière ». Les auteurs rajoutent également : « Une disposition physiologique peut
influer sur l’émotion, tout comme, en sens inverse, l’émotion ressentie s’accompagne
de changements physiques ». Il est intéressant de voir apparaître ici un mode
d’interactions et de communications à double sens comme nous le concevons.
 Le stoïcisme né en 301 avant Jésus-Christ est fondé sur la tempérance et le
détachement. Le bonheur s’acquiert par la liberté intérieure sur laquelle il est possible
d’agir indépendamment des circonstances extérieures que nous ne pouvons pas

64
 influencer. Cette approche se retrouve chez Descartes et les cognitivo-
comportementalistes.
 Descartes et Spinoza au 17ème siècle, ont réciproquement abordé les relations corps –
esprit différemment. Il est souvent mis en opposition la raison et l’émotion (passion à
l’époque). Les émotions, issues du cœur, sont souvent considérées comme des
perturbateurs de la raison dont le siège est le cerveau. Ce que l’on retrouve chez
Descartes. Alors que Spinoza propose de considérer les émotions et affects
(sentiments) comme des régulateurs visant aux processus homéostasiques. Il voit
l’émotion comme mouvement avant le sentiment et le corps avant l’esprit.
 Charles Darwin (1809 - 1882), au travers de ses recherches sur l’évolution et dans
son ouvrage The Expression of the Emotions in Man and Animals (1872), offre une
nouvelle approche à la notion d’émotions. Il apporte avec précision une explication de
chaque expression observée. Sa position est que l’expression des émotions évoluerait
au cours des temps et qu’elle s’adapterait au contexte. Les émotions constitueraient
ainsi un processus de préparation à l’action, à la communication et à l’adaptation. Les
principes d’utilité et d’opposition et l’action directe de l’excitation nerveuse sur le
corps sont trois éléments majeurs au développement des émotions. C’est un regard
moderne sur la compréhension et la vision des émotions. Des travaux de Charles
Darwin ont point les productions contemporaines.

Les théories plus récentes que nous allons aborder dans les paragraphes suivants sont issues des
réflexions successives sur l’homme et son évolution à travers les âges et situations.

[Link]. Les grands courants classiques

Les courants classiques s’étendent entre la fin du 19ème siècle et la première moitié du 20ème siècle.
C’est la période du débat entre périphéralistes et centralistes. Si une grande majorité d’entre-
eux s’entend à reconnaître que les changements corporels, liés au système nerveux périphérique
comme les variations du rythme cardiaque ou de la fréquence respiratoire, correspondent à une
composante de l’émotion, dans la théorie périphéraliste, c’est la perception de la réaction
périphérique qui constitue l’émotion. William James (1842 – 1910), psychologue et philosophe,
considéré comme un des pères de la psychologie expérimentale et périphéraliste, dit en 1903 :
« Les changements corporels suivent immédiatement la perception du fait excitant, et le sentiment
que nous avons de ces changements à mesure qu’ils se produisent, c’est l’émotion » et que nous
sommes « affligés parce que nous pleurons, irrités parce que nous frappons, effrayés parce que
nous tremblons, et non pas que nous pleurons, frappons ou tremblons parce que nous sommes

65
affligés, irrités ou effrayés, suivant le cas ». Cette théorie aussi émise en 1885 par Carl Lange
(1834 - 1900), médecin, psychologue et physicien danois, revient à considérer l’émotion comme
une réponse aux variations physiologiques. En ce qui concerne les centralistes, comme Walter
Cannon26 (1871 – 1945) et Philip Bard (1898 - 1977), physiologistes, la source de l’émotion se
trouverait dans le système nerveux central. Dans le cas où les émotions seraient causées par la
perception des modifications corporelles, elles relèveraient des cortex sensoriels. L’émotion
résulterait de l’événement et déclencherait ensuite la réaction comportementale. Il y a donc
indépendance entre expérience émotionnelle et expression émotionnelle. Leur théorie est aussi
appelée thalamique de l’émotion en raison du rôle important des structures thalamiques. Les
travaux de James, Lange et Cannon sont à l’origine de différentes études sur le rôle des réponses
périphériques et la légitimation des structures corticales qui prennent part au processus émotionnel.
Quid des réactions physiologiques ? Causes ou conséquences ? Nous verrons que dans les grands
courants modernes émerge une théorie pour tenter de résoudre le débat. Il s’agit du concept
d’évaluation cognitive encore appelée « appraisal » posée par M. Arnold en 1960 et R. Lazarus en
1970 où ils expliquent la dynamique d’un événement.
Les premières propositions de circuit cérébral émergent avec James Papez (1883 – 1958). Il
propose un circuit comme mécanisme émotionnel, responsable des émotions et de leur contrôle.
Ce circuit porte le nom de circuit de Papez-Jakob car, quelques années auparavant, Christofredo
Jakob (1866 – 1956) a montré sa portée dans les émotions. Les figures ci-dessous montrent le
circuit aussi bien sur une coupe du cerveau que schématiquement. Paul Mc Lean (1913 – 2007),
médecin et neurobiologiste, affinera le système par la suite en y intégrant la mémoire émotive. Il
propose une théorie évolutionniste du cerveau, le cerveau viscéral dit triunique (reptilien, limbique
et néocortex) et pose le concept de système limbique. Nous y reviendrons dans la partie consacrée
à l’anatomie et la biologie.

Figure 3 : Circuit de Papez

26
Il a développé le principe de l’homéostasie précédemment nommé milieu intérieur par Claude Bernard (1813 –
1878), médecin physiologiste.
66
Dans cette figure les flèches schématisent le circuit.

Le schéma ci-dessous montre que l’émotion n’est pas générée seulement par l’hypothalamus. En
effet, elle implique des structures sous-corticales : le thalamus agit comme une station relais
sensorielle, traite les informations du stimulus émotionnel, l’hypothalamus génère la réponse
corporelle au stimulus émotionnel, le cortex cingulaire (2) génère l'état de sentiment subjectif. Des
expériences ou des sentiments émotionnels surviennent lorsque le cortex cingulaire intègre ces
signaux de l'hypothalamus avec des informations provenant du cortex sensoriel. La sortie du cortex
cingulaire vers l'hippocampe (3) puis vers l'hypothalamus (4) permet un contrôle cortical
descendant des réponses émotionnelles.

Figure 4 : Circuit de Papez à partir d’une émotions

[Link] - consulté
le 30 juillet 2018

Les défenseurs de ces théories admettent qu’il existe un processus de traitement se décomposant
en causes et conséquences. Les composantes de la manifestation étudiée seraient « un événement
(externe ou interne), la perception (ou l’imagination) de cet événement, une large gamme de

67
réactions corporelles et de tendances à l’action, et un sentiment subjectif » comme l’indiquent
David Sander et Klaus R. Scherer dans le Traité de psychologie des émotions que nous présentons
en [Link].

[Link]. Les grands courants modernes

Les grands courants modernes regroupent plusieurs modèles. On peut considérer que la période
couverte démarre à la deuxième moitié du 20ème siècle. Les théories sont les suivantes :

 Théorie de la rétroaction (feedback) corporelle portant sur l’expression et le ressenti

émotionnels - Cette théorie est issue de celle de James (1892). Un processus déclenche
une réaction émotionnelle et la différentiation se concrétise par la spécificité de cette
réaction. Soussignan (2002) a travaillé sur l’hypothèse de la rétroaction faciale en
utilisant le sourire de Duchenne i.e. il a expérimenté des simulations de sourires par
électrostimulations.

Figure 5 : Simulation électrique des expressions faciales par Duchenne de

Boulogne

Le savant Français Duchenne de Boulogne (photo ci-dessus) a simulé les expressions

faciales des émotions par la stimulation électrique de certains muscles faciaux
(Mécanisme de la physionomie humaine ou analyse électro-physiologique de
l’expression des passions par G.-B. Duchenne (de Boulogne). 2ème édition, 1876)

68
 Théorie bifactorielle - S. Schachter (1922 – 1997), psychologue américain, a bien
montré l’importance des études faites par James – Lange et Cannon – Bard quant au
rôle de la cognition dans l’émotion et est un pionnier en matière de sciences affectives.
Il est le fondateur de la théorie « two-factors theory of emotion ». Cette théorie a
beaucoup influencé l’approche cognitive. Un processus déclenche une réaction
corporelle et la différentiation se concrétise par une interprétation cognitive. Il avance
que les émotions ont deux composantes : l’activation physiologique (arousal) et
l’étiquetage cognitif i.e. l’attribution d’un nom se rapportant à l’émotion ressentie en
fonction de l’environnement, de la situation déclenchante. S. Schachter et Singer
(1962) ont écrit « C’est la cognition qui détermine si l’état d’activation physiologique
sera labellisé comme "colère", "joie", "peur", ou autre ».
 Théorie adaptationiste – De nombreux psychologues et chercheurs comme
Seligman, Ohman, Dolan, Olsson, Wundt, Russell, Lang, Cacioppo ont étudié
certaines théories de l’émotion qui se focalisent sur le fait que l’homme moderne est
le produit d’adaptations auxquelles nos ancêtres ont fait face durant l’évolution. Cette
approche s’oriente vers l’application des principes de la biologie évolutionniste aux
recherches sur la structure de l’esprit humain : « adaptation psychologique ». Il
existerait différentes classes d’émotions selon Ledoux (1996) qui seraient issues de
systèmes neuronaux différents. Ohman (1999) indique que les différents systèmes
d’émotions, compte tenu de leur histoire, devraient être considérés comme
indépendants. Un processus déclenche et différentie l’émotion dont la conséquence est
décrite par W.M. Wundt (1832 – 1920), psychologue, philosophe, un des concepteurs
et développeur de la psychologie expérimentale. Ses innovations méthodologiques
sont précurseurs de procédés fondamentaux pour la psychologie scientifique. Ses
travaux portent sur la perception sensorielle dans lesquels il intègre l’utilisation des
statistiques et ses nouvelles méthodes.
 Théorie des émotions de base - Paul Ekman (1934 - ), psychologue, est un des
pionniers à s’être intéressé aux mécanismes des émotions. Il œuvre depuis une
cinquantaine d’années dans ce domaine et a conçu un système d’association des
expressions faciales à leur signification car les émotions s’extériorisent, entre autres,
par ce biais. Un système modulaire comme par exemple un module de peur déclenche
et différentie l’émotion à partir de conditions d’évolution spécifiques. Grâce aux
mouvements musculaires de la face, il a établi que les émotions ne sont pas culturelles
mais biologiques et de ce fait sont universelles. Dans les années 1970, avec Wallace

69
 Friesen, il a classé dans son « Facial Coding System (FACS) environ 10 000
expressions différentes fondées sur l’anatomie des muscles faciaux. Six émotions de
base font plutôt consensus : la peur, la colère, la joie, la tristesse, le dégoût et la
surprise.
 Théorie psycho-évolutionnaire – Robert Plutchik (1927 – 2006), psychologue, a mis
en place une des théories de classification des émotions (1980) connue sous le nom de
théorie psycho-évolutionnaire. Elle s’appuie sur dix postulats qu’il expose dans son
ouvrage « Emotion – A psycho-evolutionary synthesis ». Il a conçu une roue des
émotions afin de montrer leurs nuances. Deux modèles illustrent les relations entre
émotions (figure 6) : une en 2D et l’autre en 3D, plus complexe. Il propose huit
émotions de base, opposées deux à deux, dont quatre (confiance ou attirance, dégoût,
anticipation et surprise) émanent des quatre autres (peur, colère, joie et tristesse). Ces
émotions seraient le résultat d’un mécanisme biologique et s’identifient à partir de trois
critères : leur intensité, leur similitude et leur « bipolarité ».

Figure 6 : Relation entre émotions

[Link] - consulté le 9 août 2018

Le deuxième schéma représente le modèle 3D avec une intensité grandissante du bas vers
le haut.

 Théorie dimensionnelle – Selon Russell (1980), il serait possible de représenter les

émotions autour d’un cercle selon deux axes représentant les dimensions : valence et
70
activation. J. A. Russell (1980) présente dans l’article un modèle selon 28 types figure
7 ci-dessous. Il s’agit d’une formalisation mathématique de la représentation de la
structure mentale de stimuli.

Figure 7 : Représentation des émotions selon J.A. Russell

On trouve aujourd’hui différents graphiques sur le même modèle.

Figure 8 : Autre représentation des émotions en cercle

[Link] - consulté le 21 août 2018

Un processus déclenche et différentie l’émotion dont la conséquence est donnée à

partir de dimensions de valence et d’activation. On parle de « core affect » comme une
partie centrale du processus. Wundt (1904) a cherché à généraliser les sensations
jusque-là déclinées selon deux attributs : la qualité et l’intensité. En attribuant une
coloration affective, il décrit l’état émotionnel selon trois dimensions : 1)
envie/aversion ou plaisir/déplaisir, 2) excitation/apaisement ou excitation/dépression

71
 et 3) tension/soulagement ou tension/relaxation. Pour Russell (1980), une émotion se
manifeste par la série de ses diverses composantes, expressives-comportementales,
physiologiques et subjectives. C. E. Osgood (1957) a proposé l’existence de trois
dimensions fondamentales pour la description des affects : 1) Evaluation (négatif 
positif) 2) Activation (faible  forte) 3) Puissance (faible  forte). Ce modèle est
parfois appelé le modèle EPA (Evaluation, Potency, and Activity).
Il existe des problèmes importants concernant cette approche, il n’y a pas de consensus
et au moins quatre points de vue différents. Géraldine Coppin et David Sander (2010)
présentent des critiques intéressantes relatives à cette théorie dans « Système
d’interaction émotionnelle ».
 Théories de l’évaluation cognitive (appraisal, composants) (Lazarus, Scherer,
Sander …). Richard Lazarus (1922 – 2002) a proposé cette théorie en 1984.
L’évaluation cognitive est divisée en deux étapes : l’évaluation primaire, signification
positive ou négative d’un événement et l’évaluation secondaire, capacité de faire face
à des conséquences. Ces deux évaluations se déroulent en même temps. Le traitement
de l’information est souvent utilisé afin d’identifier le rôle de la cognition dans
l’émotion. Cette théorie comme celle des émotions de base propose la fonction
adaptative des émotions. Frijda (1986) apporte un éclairage sur les émotions, en
particulier, il parle d’une phase préparatoire à l’action induite par l’évaluation de la
pertinence de l’événement. En 2007, Frijda, tout comme Scherer et Grandjean, note
que pour qu’une émotion soit déclenchée, il faut que l’événement soit important pour
l’individu. Deux points importants de l’évaluation cognitive, donnés par Grandjean et
Scherer (2009), sont qu’un événement doit être important pour l’individu pour susciter
une émotion et que le processus évaluatif doit être rapide. Nous constatons que
l’importance de l’événement pour l’individu est essentielle et montre que chaque sujet
réagit différemment à un stimulus.

Les schémas annexes 2 et 3 (Différents schémas de processus émotionnels et Différentes théories

des émotions (Chapitre 1)) récapitulent les grandes lignes des courants modernes.
Comme nous pouvons le constater, le domaine des émotions est très étendu et bien difficile à
définir. Le vocabulaire est riche, des mots comme émotions, sentiments, affects … ont souvent
des significations différentes suivant le contexte et/ou le champ d’application ou parfois
semblables. Les processus liés à l’expression de l’émotion sont aussi variés.

72
Pour certains, émotions et passions sont synonymes pour d’autres non. Le terme émotion sert
souvent de label pour parler de manifestations affectives. Mais comment définir ces manifestations
affectives ? La situation est assez confuse et les choix se font arbitrairement. Se référer aux usages
les plus courants peut sembler une bonne décision. Le mieux est d’être le plus précis possible dans
le vocable retenu dans chaque cas d’utilisation.
Armelle Nugier, dans « Histoire et grands courants de recherche sur les émotions » (2009), nous
indique qu’« Aujourd’hui les théoriciens qualifient l’émotion de phénomène multicomponentiel
adaptatif (avec plusieurs composantes) pouvant être caractérisé par les réactions expressives,
comme le sourire, le froncement de sourcil, l’intonation de la voix, la posture ; par les réactions
physiologiques comme la fréquence cardiaque, le flux sanguin, la production des larmes ; par les
tendances à l’action et les réactions comportementales, comme l’attaque, l’évitement, la fuite, la
recherche de support social ; par les évaluations cognitives comme la pensée d’avoir été
injustement traité par une autre personne ; et enfin par l’expérience subjective (ou sentiments
subjectifs), c’est-à-dire ce qu’on pense ou dit ressentir ». La science et les connaissances
progressent, le sujet est approfondi et la vision de l’émotion se fait un peu plus précise. Le schéma
ci-dessous propose une représentation du processus en composantes.

Figure 9 : Composantes du processus émotionnel

Nous pensons qu’aucune de ces théories ne s’opposent réellement, elles sont complémentaires car
elles sont issues d’approches différentes. Nous pourrions par analogie dire que leur combinaison
reflète l’homéostasie des idées quant aux émotions. Nous pouvons nous tourner vers une approche
holiste qui prend en compte les différentes théories plutôt que de les opposer. Souvent, leurs
lacunes en matière de considération de notre affectivité i.e. notre vécu émotionnel se font sentir.

73
L’approche qui en fait mention est la phénoménologie des émotions (Svec, 2013). C’est une
approche globale qui conçoit les émotions comme un type de conduite et propose d’intégrer aux
théories existantes « l’intentionnalité et l’incarnation des émotions dans un discours unifiant, qui
exprime l’identité ontologique de l’esprit et du corps ». Les émotions sont des phénomènes
adaptatifs avec des fonctions sociales comme la communication et s’expriment à travers plusieurs
modalités telles que le langage, le corps, etc.
Paul Watzlawick et al. (2014) ont traité dans « Une logique de communication » l’étude de la
communication humaine. Elle se divise en trois parties : la syntaxe, qui concerne les problèmes de
transmission de l’information comme le codage, les canaux de transmission, le bruit, …, la
sémantique, qui concerne le sens, et la pragmatique, qui concerne l’impact sur le comportement.
Cette dernière partie traite des mots mais aussi le langage non verbal et le langage du corps. Le
principe des auteurs est de ne jamais considérer l’humain comme un être isolé mais comme un
élément d’un système de communication plus global. « Les dysfonctions de la communication
induisent un comportement inadapté »27.
La 1.2.4 aborde succinctement le rôle des émotions dans l’adaptation de l’humain, la façon dont
elles se produisent, les modes de reconnaissances au travers des communications et les processus
mis en œuvre.

1.2.4. Rôle, déclenchement et reconnaissance des émotions – communications

verbale et non verbale ou orale et non orale

[Link]. Rôle des émotions

Les émotions sont des indicateurs. Elles permettent au subconscient de communiquer avec la
conscience dans le but de faire réagir, de provoquer une réaction. Chaque émotion a un sens. Une
émotion est donc un moyen de communication pour soi-même ou pour les autres.
En règle générale, une émotion agréable correspond à un besoin satisfait et, dans le cas contraire,
lorsque l’émotion est désagréable, le besoin ne l’est pas. Comme nous l’avons déjà exprimé, les
émotions sont des phénomènes adaptatifs avec des fonctions sociales s’exprimant à travers
plusieurs modalités.
Les émotions sont des mécanismes utiles à l’adaptation d’un individu à son environnement, au
fonctionnement des processus cognitifs et à la régulation des interactions sociales.
Une émotion comprend cinq composantes :

27
[Link] - consulté le 6 août 2018
74
  l’évaluation cognitive qui se traduit par le fait qu’une émotion exerce une action sur la
pensée, une interprétation, une activité du système nerveux central
 l’expression qui se traduit par un mouvement, une émotion participe à la fuite ou au
rapprochement
 la tendance à l’action d’un point de vue motivationnel, comportemental qui se traduit par
la disposition à répondre à l’événement
 la réponse périphérique qui se traduit par des réponses psychophysiologiques
 le sentiment subjectif qui correspond à l’expérience émotionnelle subjective, appelée
feeling et souvent sentiment et qui fait partie de la notion d’émotion.
Les émotions sont des informateurs sur les événements internes ou externes se traduisant selon
différentes modalités. Comment surviennent-elles?

[Link]. Déclenchement des émotions

Une émotion se produit lors d’un stimulus externe ou interne spécifique. Par exemple, une pensée,
la perception d’une odeur sont des stimuli pouvant engendrer une émotion.
De façon schématique les émotions prennent naissance dans notre cortex au niveau du système
limbique.
Il est difficile de fournir un schéma unique illustrant le processus et le parcours d’un stimulus car
les circuits suivis diffèrent selon son type et en fonction du vécu. Le schéma ci-dessous présente
un exemple de gestion émotionnelle, fléchée de 1 à 5, face à une situation spécifique.

Figure 10 : Processus et parcours d’un stimulus

[Link] (consulté le 15 avril 2017)

75
L’activité émotionnelle est en permanence en action. Les études sur la dynamique des émotions
sont assez nouvelles. Cette dynamique comprend deux phases :
 Le déclenchement d’une émotion qui est bivalent : brutal ou progressif. C’est ce que l’on
nomme le degré d’explosivité de l’émotion.
 La phase de compensation i.e. l’augmentation ou l’atténuation de l’émotion dans le temps.
C’est le degré d’accumulation qui permet d’évaluer les variations.
Les études menées par l’Institut du Cerveau et de la Moelle épinière (ICM) associé à d’autres
chercheurs ont été réalisées par Imagerie par Résonance Magnétique fonctionnelle (IRMf). Ils ont
montré que les phases de déclenchement et de compensation des émotions sont les deux
composantes principales des changements émotionnels perçus dans des régions distinctes du
cerveau. On pourra se référer à (Resibois et al., 2017)

[Link]. Reconnaissances verbale et non verbale

Les émotions peuvent se traduire selon plusieurs modalités soit verbale et/ou non verbale comme,
par exemple, à travers les mots prononcés ou écrits, par le biais de sons, par les gestes, les
mouvements des muscles et également par les variations biologiques internes du corps.

a. Oral, écrit : cris, onomatopées, expressions verbales, mots, tout ce qui a trait à la
linguistique. La communication verbale est composée de mots d’un langage, émise par la
parole ou l’écriture. Elle permet de s’exprimer. Les caractéristiques vocales des émotions
ont fait l’objet d’études et montrent que les émotions impactent ces caractéristiques. Au
travers des événements émotionnels donnant lieu à des modifications physiologiques,
certaines d’entre-elles, comme la tension des cordes vocales ou les perturbations au niveau
du pharynx ou du larynx, vont modifier le spectre des signaux énoncés. La production
vocale peut ainsi traduire des sons modifiés émotionnellement. (T. Bänziger et al., 2001 ;
Grandjean et Baenziger, 2009 ; Vidrascu, 2007).
Les émotions en linguistique sont un sujet abordé seulement depuis environ deux
décennies. Des travaux innovants ont été entrepris sur le plan lexical, grammatical et
syntaxique. Il est mentionné des « marques linguistiques de l’émotion » énoncées dans la
littérature surtout au travers des travaux sur « les propriétés du lexique des émotions,
sentiments ou affects, des travaux sur la sémantique et la dimension culturelle des émotions
(Wierzbicka, 1999 ; Kövecses, 2000), sur l’émotion dans l’interaction discursive (Plantin
2000), ou encore sur le rôle des émotions dans le processus d’acquisition du langage ou

76
 d’apprentissage d’une langue seconde (par exemple Ellis 1994). Le terrain reste toutefois
largement inexploré ».
Pour plus de détails, on pourra se référer au numéro 180 de « Langue française » coordonné
par Chatar-Moumni (2013) ainsi qu’à la présentation sur Hal soumis le 20 mars 2018.
Dans la série « Lie to me », le Dr Cal Lightman est capable de détecter la vérité du
mensonge au travers d’indices non verbaux (voir ci-dessous) ou à l’intonation de la voix.

b. Non oral (endogène - exogène), non verbal

Le non verbal est assez complexe et mérite d’être défini. Les travaux de Jurgen Ruesch
(1910 – 1995), psychiatre, sémioticien, sur la théorie de la communication en général et
sur le non verbal avec Weldon Kees (1914 - 1955), artiste, ont démarré dans les années 50.
Ceci a beaucoup influencé les études de J. Ruesch sur les maladies psychosomatiques et le
stress. Il est classé en cinq catégories élémentaires28 : le péri-verbal, qui concerne le temps
et l’espace dans la communication, le para verbal, qui est composé des sons produits lors
des communications, à savoir le ton, le timbre l’intonation de la voix, l’infra-verbal, qui
concerne les codes non décodables consciemment, comme les odeurs ou les couleurs, le
supra-verbal, qui concerne les signes distinctifs comme les tenues vestimentaires, les
bijoux, etc, le pré-verbal qui concerne tout ce qui est mis en œuvre à l’insu de la
conscience avant même que nous prenions la parole et qui prend appui sur le langage
corporel.
Albert Mehrabian (1971), professeur en psychologie de l’université de Californie, met en
avant le fait qu’il faut s’attacher à l’aspect non-verbal, pour décoder la communication
entre personnes, qui constitue la plus grande partie des transmissions d’informations. Il
quantifie la communication de la façon suivante : 7 % est verbale (mots), 38 % est vocable
(intonation, ton et timbre de la voix) et 55 % est visuelle (expression du corps, le non-
verbal)29 mais il faut replacer ses dires dans son contexte. La quantification n’est pas aussi
simple. L’étude réalisée porte sur un échantillon très petit donc insuffisant pour une
généralisation mais elle constitue une base de travail.
Dans la communication non verbale, il est classé tout ce qui a trait à la communication non
orale comme les signaux exprimés par le visage, le comportement, la gestuelle, les
régulations hormonales. Ces signaux peuvent être ou non contrôlés par l’individu observé.
Nous donnons ci-après quelques commentaires sur ces expressions :

28
[Link]
non-verbal - consulté le 6 août 2018
29
[Link] - consulté le 19 mai 2018
77
  Expressions faciales, micro-expressions
Nous avons évoqué précédemment les études réalisées sur les expressions faciales.
Elles constituent un mode de communication et peuvent traduire des émotions. Elles
mettent en mouvement, pour chaque émotion, un certain nombre de muscles. Les
micro-expressions sont des expressions faciales de très courte durée, moins d’une
seconde. Elles apparaissent lorsque les enjeux situationnels sont très élevés. Ces micro-
expressions sont données comme étant fiables dans les analyses non verbales car il est
quasiment impossible de les feindre. On les retrouve dans les travaux de Paul Ekman
qui ont fait l’objet de la série « lie to me », citée plus haut, dans laquelle un expert de
la communication non verbale est en particulier capable de détecter les mensonges par
ces expressions faciales et aussi par les attitudes corporelles que nous présentons
maintenant.

 Comportement, attitudes, langage corporel

Nos postures, nos gestes sont autant de signes parfois plus expressifs que nos paroles.
Ils font l’objet du comportementalisme encore appelé behaviorisme et sont très utilisés,
par exemple, dans des psychothérapies cognitivo-comportementales (TCC – Thérapie
Cognitivo Comportementale) et dans l’analyse appliquée du comportement.

 Réactions physiologiques.
Lors d’une émotion, des phénomènes physico-chimiques se produisent dans le corps.
Il est possible de ressentir par exemple une chaleur au niveau des joues, de percevoir
une accélération du cœur, d’avoir les mains moites … Ces manifestations sont dues au
fonctionnement du corps humain dans son environnement. Nous présentons dans la
partie III les connaissances utiles à cette compréhension, concernant plus précisément
les marqueurs choisis.
Des travaux comme la théorie du contrôle de l’affect (Heise, 1979 ; Smith-Lovin et al., 1988 ;
McKinnon, 1994) ont réussi à tenir compte des systèmes verbaux et non verbaux en particulier
dans l’interaction sociale mais aussi du rôle de la cognition et des affects dans l’expérience
émotionnelle.

78
[Link]. Méthodes de détection des émotions
Différents chercheurs ont mis en place des techniques afin d’estimer ou plutôt détecter les
émotions lors d’expérimentations. Il y a deux classes de méthodes : les méthodes subjectives dites
à questionnement et les méthodes objectives à base de mesures physiologiques ou
comportementales.

a. Méthodes subjectives
Parmi les méthodes subjectives, on trouve les techniques de : - Bradley et Lang « self-
assessment manikin » (SAM) (Bradley et Lang, 1994), figure 11. Il s’agit d’une technique
d’évaluation visuelle non verbale à base de pictogrammes que le sujet renseigne. Cela
mesure le plaisir, l’excitation et la dominance associés au stimulus. - Betella et Verschure
(2016) ont développé un outil l’« affective slider » (AS) qui est une échelle numérique
pour l’auto-évaluation de l’émotion, figure 12. Il s’agit de deux curseurs indépendants qui
mesurent le plaisir et l’excitation et qui sont renseignés par le sujet.

Figure 11 : Self-Assessment Manikin (SAM)

Figure 12 : Affective slider (AS)

b. Méthodes objectives
Les méthodes objectives portent sur des mesures biologiques difficilement contrôlables par
les individus.

79
 La technique la plus répandue est celle d’Ekman, Friesen et Ancoli (1980) avec un système
de codage d’expressions faciales (FACS – facial action coding system) qui décrit le
mouvement de chaque muscle impliqué dans les expressions faciales. Ces mouvements
sont décomposés en unités d’action (AU) au nombre de 46. Les combinaisons des
contractions ou décontractions des muscles faciaux expriment les émotions. La figure 13
illustre six émotions de base.

Figure 13 : Détection des émotions suivant la classification de Ekman

extrait de [Link] -consulté le

21 août 2018
Un individu bien entraîné peut maîtriser d’une certaine façon ce type d’expression rendant
l’exploitation biaisée.
Différentes études du comportement et des variations physiologiques sont en cours. Elles
sont assimilées à une vision objective. Il s’agit de relevés de mesures sans développement
d’outil particulier, pour l’instant.
Les auteurs de « Lecture de textes émotionnels : Effets sur la compréhension, les
mouvements oculaires et la posture du corps » (Ballenghein, Megalakaki & Baccino, 2018)
expliquent comment l’émotion ressentie par le lecteur se manifeste par des mouvements
oculaires et posturaux pouvant impacter la lecture et la compréhension du texte.
Les travaux menés sur les données physiologiques n’ont, jusqu’à présent, pas encore
abouti. Nous pouvons citer l’étude de S. Balters et M. Steinert (2017) servant d’appel à
recherche dans le domaine de l’ingénierie affective dans laquelle ils indiquent que

80
 l’utilisation de capteurs pour l’acquisition de données physiologiques permet de mesurer
l’évolution des différentes variations biologiques mais qu’un travail d’interprétation au
niveau émotionnel reste à engager. La clé de la compréhension de l’expérience utilisateur
ainsi que la conception de modèles intégrant des états émotionnels consiste dans la
compréhension et les mesures physiologiques. Ce qui fait l’objet de cette thèse depuis
2012.

1.2.5. Psychophysiologie des émotions

La psychophysiologie est l’étude des relations physiologiques et psychiques. Elle nous concerne
au plus haut point puisque nous cherchons à étudier les liens entre les variations physiologiques et
les émotions.
Les systèmes physiologiques sont nombreux mais ceux impliqués dans la dynamique des émotions
sont principalement :
 Le système cardiovasculaire (fréquence cardiaque, pression artérielle …)
 Le système respiratoire (volume respiratoire, fréquence respiratoire …)
 Le système glandulaire (sécrétion des glandes salivaires, des glandes sudoripares,
messages chimiques …)
 Le système musculaire (mouvements, postures …)
 Le système immunitaire (les ganglions lymphatiques, la rate, le thymus et la moelle
osseuse sont sollicités par le cerveau pour produire les anticorps, pour détruire les
éléments étrangers à l’organisme …). Il y a également la peau comme système de
défense.
 Le système nerveux (signaux électriques, neurotransmetteurs …)
 Le système digestif (système nerveux entérique, fibres nerveuses …)

Tous ces systèmes sont en interaction et participent à l’homéostasie en faisant varier les taux
hormonaux, les données physiologiques diverses, la contraction de la pupille (myosis) ou
inversement (mydriase), les mouvements en fuyant ou en changeant de posture … Vouloir mesurer
les variables évoluant dans ces systèmes nécessitent des techniques différentes.
En ce qui nous concerne, c’est la dimension émotionnelle qui nous intéresse. Cette dimension
comprend trois grandes composantes (voir schéma ci-après) : la composante subjective qui se
traduit par l’évaluation que le sujet se fait de son état, la composante comportementale et
expressive qui se traduit par des variations des expressions faciales, des modifications de la voix
et des changements de posture et, enfin, la composante physiologique, qui se traduit par des
modifications des variables citées plus haut et sur laquelle nous nous focalisons.

81
 Figure 14 : Les trois grandes composantes de la dimension émotionnelle

[Link] - consulté le 25 août 2018

Le recueil des données se fait par prélèvements, par enregistrements psychophysiologiques qui
sont la réception d’un signal pouvant provenir d’un capteur, d’une électrode … Il s’agit d’une
transformation d’une donnée physique en une donnée électrique. Il y a également l’amplification
du signal et les filtres nécessaires à l’obtention d’un bon signal pouvant être utilisé. Il faut ensuite
enregistrer ces informations. Pour cela il est procédé au stockage du signal afin d’être en mesure
de l’analyser. Nous abordons cette partie dans le chapitre consacré aux données.

1.3. Emotions, anatomie et biologie

Pour comprendre le phénomène des émotions, il faut comprendre le système humain. Nous allons
donc aborder une partie de l’anatomie humaine et son fonctionnement (Pocock, Christopher, 2004)
afin de pouvoir relier ce système aux différents dispositifs actifs utilisés dans nos expériences.
Mais il est nécessaire d’expliquer en quelques lignes quels sont les processus de perception qui
traitent les informations reçues.

1.3.1. Perception et processus de perception

Il est sans doute essentiel de parler de perception et de processus de perception sans lesquels la
compréhension de ce qui nous entoure ou ce qui est en nous n’auraient pas de sens. Bien sûr nous
pouvons très bien vivre sans savoir ce qui se passe. Dès que nous nous interrogeons sur nous, notre

82
place, notre rôle … cette connaissance ou cette approche peut nous éclairer sur notre
fonctionnement. Mieux nous comprendre commence par mieux nous connaître.
Les modalités somato-sensorielles ou somesthésiques comportent trois systèmes distincts : le
système extéroceptif qui traite les stimuli externes appliqués à la peau, le système proprioceptif ou
proprioception qui traite les informations sur la position du corps provenant de récepteurs dans les
muscles, les tendons, les articulations et les organes de l’équilibre, le système intéroceptif qui traite
les informations générales sur l’état interne du corps comme la température interne et la pression
artérielle.
Le système extéroceptif comporte trois sous-systèmes qui s’occupent de la perception des stimuli
mécaniques par le toucher, la perception des stimuli thermiques par la température et la perception
des stimuli nociceptifs par la douleur. Notre étude utilise des capteurs de peau, il est donc essentiel
de connaître son fonctionnement.
Les stimuli traités par l’organisme proviennent des organes de perceptions externes que sont les
organes des sens et internes par les organes internes comme par exemple la thermoréception
centrale se situant, entre autre, dans la paroi des organes intra-abdominaux. Les stimuli externes
sont perçus par les sens, interfaces entre l’environnement et le corps. Pour traiter les informations
provenant de l’environnement, l’humain dispose d’un système sensoriel élaboré composé de
modules spécialisés. Il y a trois grandes classes de perceptions :
 La sensorialité proprioceptive qui concerne les sensations provenant de l’étirement des
muscles et tendons.
 La sensorialité intéroceptive concerne les sensations provenant des organes internes. Elle
est inconsciente sauf dans le cas de la douleur. Elle nous concerne en partie. Les émotions
ou états ressentis transitent par différentes zones de notre corps : des viscères comme le
ventre, le cœur, le foie, le cerveau, les surrénales …
 La sensorialité extéroceptive, qui nous intéresse également, concerne les sensations
provenant du monde extérieur via nos six sens : l’audition, l’odorat, la vision, le toucher,
le goût et enfin la sensibilité statique ou labyrinthique. La multi-modalité sensorielle
s’exprime grâce à des stimuli pertinents sous forme d’énergie mécanique,
électromagnétique ou chimique offerts aux organes sensoriels.
Tout commence par un stimulus.

Nous avons précédemment présenté les systèmes physiologiques impliqués dans les émotions,
nous présentons de façon un peu plus approfondie les structures biologiques se rapportant à notre

83
étude, à savoir le système nerveux, le système cardiaque, le système pulmonaire et le système
cutané.
Comme nous l’avons déjà signalé, le corps cherche l’équilibre appelé homéostasie. C’est le
système nerveux autonome (SNA) qui la régule.
Voyons comment les éléments essentiels sur lesquels repose l’étude se structurent et fonctionnent.

1.3.2. Le système nerveux et les relations avec les émotions : anatomie,

fonctionnement et techniques de mesures

Le système nerveux est constitué d’un ensemble complexe de nerfs et de cellules spécialisées, les
neurones qui transmettent l’influx nerveux entre les différentes parties du corps et le cerveau. Il
représente une sorte de câblage chimico-électrique du corps en transmettant des signaux
électriques via des combinaisons chimiques.
Le système nerveux contrôle les actes volontaires comme les mouvements conscients et
involontaires comme les actes réflexes, les battements cardiaques. Il échange des signaux avec les
différentes parties du corps.

[Link]. Anatomie
Le système nerveux est composé de deux grandes parties (voir figure 15) :

 Le système nerveux central (SNC) constitué de l’encéphale (cerveau, cervelet et tronc

cérébral) et de la moelle épinière.

 Le système nerveux périphérique (SNP) situé à l’extérieur de la cavité crânienne et du

canal rachidien et constitué des nerfs crâniens, des nerfs spinaux ou rachidiens émergeants
du canal rachidien. Il comprend des voies nerveuses qui véhiculent les informations
afférente ou sensitive et efférente ou motrice. La voie sensitive afférente relaie vers le SNC
les informations reçues de récepteurs situés dans la peau, les muscles, les poumons … La
voie motrice efférente est soit somatique, soit végétative. Elle transmet la réponse du SNC
à l’effecteur c’est-à-dire aux organes ou aux muscles. La boucle, ainsi réalisée, est appelée
arc réflexe (voir figure 18). Elle participe à la régulation de l’homéostasie. Le SNP se
décompose en deux sous-systèmes :
o Le système nerveux somatique qui relie l’organisme à son milieu ambiant et est
responsable de tout ce qui est volontaire.

84
 o Le système nerveux végétatif ou autonome (SNV ou SNA), divisé lui-même en
système sympathique ou orthosympathique et système parasympathique qui
innerve le muscle cardiaque, les muscles lisses et les glandes. Le système
sympathique est responsable de toute l’activité inconsciente de l’organisme et
provoque l’augmentation de la fréquence cardiaque, la dilatation des pupilles, les
mouvements gastriques et intestinaux, la pilo-érection et la pâleur. Les nerfs
sympathiques agissent sur la dépense d’énergie de l’organisme au vu des situations
de danger ou d’éveil. Le système parasympathique quant à lui engendre des effets
opposés au système sympathique. Les nerfs parasympathiques agissent sur la phase
de récupération. Les schémas A et B (figures 16 et 17) illustrent les phénomènes
liés aux systèmes parasympathique et sympathique.

Figure 15 : Les subdivision du système nerveux

[Link] - consulté le 2 septembre 2018 et modifié

85
 Figure 16 : Schéma A

[Link] - consulté le 9 août 2018

Figure 17 : Schéma B – Effets du système végétatif sur les principaux organes

[Link] - consulté le 12 octobre 2018

86
 Figure 18 : Arc réflexe

[Link] consulté le 2
septembre 2018

Lorsque nous avons abordé le circuit de Papez, dans les courants classiques de la théorie des
émotions, nous avons introduit le concept de système limbique de P. Mc Lean. C’est le moment
d’y revenir.
Paul Mc Lean émit que le cerveau était composé de trois parties (cerveau triunique) : le cerveau
reptilien, le néocortex et le système limbique (voir le schéma ci-dessous). Le système limbique fut
longtemps considéré comme le centre des émotions. Ce système est impliqué dans d’autres
fonctions comme la mémoire, les comportements alimentaires, l’olfaction, le SNA...

Figure 19 : Le cerveau triunique de McLean

[Link] – consulté le 7 octobre 2018

87
Le système limbique, illustré par la figure 20, nous concerne dans la recherche de liens entre
données physiologiques et ressenti émotionnel. Anatomiquement, il est un regroupement de parties
de l’encéphale. Ses principales composantes sont :

 L’hippocampe, qui joue un rôle dans l’apprentissage et le stockage de l’information

(mémoire à long terme, consolidation).
 L’amygdale, qui joue un rôle dans la peur, l’anxiété, la colère, l’agressivité et aussi la
mémoire émotionnelle.
 Le fornix constitué de fibres nerveuses qui permet de relier les deux hémisphères cérébraux
et plus exactement l’hippocampe aux corps mamillaires. C’est la principale voie efférente
de l’hippocampe et la voie afférente du cortex entorhinal et l’hippocampe. Il intervient
dans la mémoire épisodique.
 Le cortex limbique avec le gyrus cingulaire, cingulum, insula et gyrus parahippocampique,
qui joue un rôle de contrôle conscient du comportement.
 Le septum, membrane qui sépare les ventricules cérébraux remplis de liquide
céphalorachidien.
 L’hypothalamus, situé sous le thalamus, qui fournit des neurones qui contrôlent à la fois la
sécrétion de certaines hormones (hypophyse), le SNA et certains comportements (sexuels,
stress …).
 Les corps mamillaires, qui sont des relais transmettant des impulsions de l’amygdale à
l’hippocampe jusqu’au thalamus. Ils jouent un rôle dans les souvenirs épisodiques liés à
des émotions fortes et également dans les mémoires spatiales (localisation d’un lieu, d’un
objet).
 Les noyaux antérieurs du thalamus, qui reçoivent des connexions des corps mamillaires et
du fornix et projettent leurs fibres dans le corps cingulaire, jouent un rôle important dans
les systèmes sensoriels.

Plusieurs faisceaux connectent le septum et les corps mamillaires avec l’amygdale et

l’hippocampe.
L’anatomie nous donne une description de tout ou partie du corps étudié. Pour comprendre son
fonctionnement, il faut se tourner vers la physiologie.

88
 Figure 20 : Le système limbique

[Link] -
consulté le 7 octobre 2018

[Link]. Physiologie
Le SNC est composé de deux types de tissus : la substance blanche qui contient surtout les axones
des nerfs myélinisés et oligodendrocytes et, la matière grise qui contient les corps cellulaires des
neurones. L’espace entre les corps cellulaires contenant des extensions neuronales et des cellules
gliales est dit « neuropil ». Les réseaux de neurones supportent les fonctions cognitives dont les
émotions. Les cellules nerveuses constituent les unités fonctionnelles principales du système
nerveux. Ce sont les neurones. Ils transmettent l’information en utilisant des impulsions électriques
(voir schéma ci-dessous). Il en existe de plusieurs sortes. La plupart conduit les impulsions dans
une direction mais certains peuvent envoyer des messages vers plusieurs autres neurones. Un
neurone est constitué de deux types de prolongements : l’axone et les dendrites. Les dendrites
reçoivent et conduisent les signaux (influx nerveux) provenant d’autres cellules nerveuses vers le
corps cellulaire. L’axone transmet les messages du corps cellulaire vers la synapse. Le message
électrique est transformé en message chimique composé de molécules appelées les
neurotransmetteurs comme l’acétylcholine, la noradrénaline, la dopamine, les endorphines, la
sérotonine... C’est l’arrivée du courant électrique appelé potentiel d’action dans la terminaison
présynaptique qui déclenche des phénomènes qui libèrent le neurotransmetteur, le fixent sur les
récepteurs postsynaptiques et les activent. De l’autre côté de la synapse, le message chimique va
être transformé en message électrique. Ce phénomène est répété de neurone en neurone. La vitesse
de transmission est en moyenne de 90 m/s.

89
 Figure 21 : Transmission de l’infllux nerveux

[Link] - consulté le 12 octobre 2018

Figure 22 : Le potentiel d’action

[Link] - consulté le 12 octobre 2018

90
Le potentiel d’action (figure ci-dessus) parcourt l’axone. Les changements de potentiels des
membranes se produisent localement et à de faibles intensités. Quand la dépolarisation du neurone
est suffisante et atteint un seuil, le neurone produit un potentiel électrique fort qui est le potentiel
d’action. Le schéma ci-dessus exprime en image ce potentiel d’action montrant l’état de repos en
1, les phases de dépolarisation en 2, de repolarisation en 3 et d’hyperpolarisation en 4 grâce aux
ions sodium et potassium.

Le cerveau et son fonctionnement restent la source de nombreux mystères. Néanmoins, il est

possible d’observer ce système complexe grâce à des techniques multiples. Certaines activités
peuvent être mesurées.

[Link]. Techniques de mesures

Les méthodes sont fondées sur la radiographie (rayons X), le scanner à rayons X complétées de
trois autres grandes familles portant sur l’activité électrique, l’activité magnétique et la résonance
magnétique.
Les techniques de mesures sont principalement :
 L’électroencéphalographie (EEG) qui mesure les signaux électriques produits par
l’activité des neurones. Les oscillations électriques sont appelées
électroencéphalogrammes (EEG). L’activité de l’EEG n’est pas reliée à un stimulus
sensoriel spécifique. Elle reflète l’activité spontanée du cerveau. L’amplitude des ondes de
l’EEG varie entre 10 µV et 100 µV. L’état particulier de l’EEG est classé selon la fréquence
des ondes électriques présentes.
Les ondes cérébrales sont des signaux induits par des stimulations externes. Ces rythmes
sont utilisés pour classifier des patrons de sommeil, pour identifier des patrons d’activité
associés à des pathologies ou à des états de conscience et de vigilance. Parmi les rythmes
cérébraux on peut identifier des profils de fréquences réparties sur quatre intervalles en
hertz, augmentés d’un intervalle axé sur une activité intense :
o Delta (0,5 à 4 Hz) est normalement générée en sommeil profond ou lorsque l'on est
inconscient.
o Thêta (4 à 8 Hz) est l'intervalle entre le sommeil et l'éveil, dans lequel rêves et
hallucinations se produisent. Les ondes thêta ont lieu juste un peu avant de
s’endormir ou juste avant d’être vraiment réveillé.

91
 o Alpha (8 à 13 Hz) est produit lorsqu’on est réveillé et pleinement conscient. Ces
ondes sont produites lors d’un effet de relaxation, comme lorsque les yeux sont
fermés.
o Beta (13 à 30 Hz) correspond à l’éveil, avec l'attention au maximum (lien avec le
monde extérieur). Ces ondes sont générées lors d’excitation, de résolution de
problèmes ou lors d’exercices de calcul mental.
o Entre 35 et 80 Hz, existent aussi les fréquences gamma, liées à l’activité
intellectuelle intense comme lors de moments de créativité ou résolution de
problèmes logiques ardus.
Le tableau ci-après présente les différentes formes d’ondes associées à leur intervalle de
fréquences et à l’activité en mode normal.

Tableau 1 : Différentes formes d’ondes cérébrales et fréquences

Le fonctionnement de l’électro-encéphalographie est décrit en image dans le schéma qui

suit.

Figure 23 : Electro-encéphalogramme

[Link]
imagerie-medicale/[Link] - consulté le 15 septembre 2018

92
  La magnétoencéphalographie (MEG) qui mesure l’activité magnétique du cerveau
associée aux courants produits par les neurones. Le schéma ci-dessous exprime le
fonctionnement de ce matériel.

Figure 24 : Magnétoencéphalographie

[Link]
imagerie-medicale/[Link] - consulté le 15 septembre 2018
 La tomographie par émission de positons ou de photons (TEP) qui permet l’analyse des
réactions biochimiques du corps grâce à des traceurs et qui dit traceurs dit injection d’une
substance traçable, souvent radioactive. Le schéma ci-après montre comment fonctionne
ce matériel.

Figure 25 : Tomographie par émission de positons

[Link]
imagerie-medicale/[Link] - consulté le 15 septembre 2018

93
  L’imagerie par résonance magnétique (IRM) qui œuvre sur la manière dont se comporte
le retour à la position d’origine de l’aimantation des molécules d’eau dans les tissus, notre
corps étant composé d’environ 60 % de ces molécules. Le schéma suivant illustre la
manière dont fonctionne l’IRM.

Figure 26 : Imagerie par résonance magnétique

[Link]
imagerie-medicale/[Link] - consulté le 15 septembre 2018
L’application de ces techniques traditionnelles de l’IRM a été supplantée par l’application de
techniques de contraste liées au sang (à la déoxyhémoglobine) BOLD (Blood Oxygenation Level
dependent). L’activité neuronale génère une augmentation locale du métabolisme cérébral et de la
consommation de l’oxygène. Ce phénomène est suivi d’une élévation de l’apport en
oxyhémoglobine. Il en résulte une hyper-oxygénation qui est détectée par l’IRMf, l’IRM
fonctionnelle.

Ces techniques nécessitent du matériel conséquent, sont d’un coût élevé et requièrent de bonnes
qualifications. Les données récoltées suivent un protocole médical très précis. Notre étude se place
dans un autre contexte. Il est possible de lire des ondes cérébrales grâce à des dispositifs plus légers
comme les bonnets comportant moins d’électrodes ou des casques ou bien d’utiliser l’activité
électrique et la résonance magnétique. Ces derniers dispositifs sont plus abordables
financièrement, moins invasifs et demandent, selon les dispositifs, une technicité plus accessible.
Nous avons utilisé ce type de matériel en complément de nos expériences. Un casque (figure 27)
comportant deux électrodes constitue un support d’une de nos expériences. Le dispositif à base

94
d’électromagnétisme (figure 28) manipulé lors des expérimentations sera analysé dans une autre
étude. Ces matériels sont présentés en annexe 10 (Plan d’expériences et questionnaires (Chapitre
4)).

Figure 27 : Casque neurosky Figure 28 : Physioscan

[Link] [Link] energetique

consulté le 10 février 2016 consulté le 10 février 2016

1.3.3. Le cœur et les relations avec les émotions : anatomie, fonctionnement et

techniques de mesures

Le système circulatoire comprend trois systèmes : le cœur, une pompe, le système pulmonaire
pour les échanges gazeux et le système sanguin composé des artères, veines, vaisseaux coronaires
et portaux. La circulation sanguine est assurée par le cœur et des canaux. Nous allons présenter
comment la propulsion du sang par le cœur s’établit vers les poumons, vers le corps engendrant
des variations de pression artérielle ou sanguine. Le rythme cardiaque sera abordé par
l’autorythmicité.

[Link]. Anatomie
Le cœur est un muscle creux constitué de quatre cavités ou chambres couplées deux à deux donnant
le cœur droit et le cœur gauche avec chacun une oreillette et un ventricule. Le côté droit permet la
circulation pulmonaire appelée petite circulation et le côté gauche, la circulation générale appelée
grande circulation. Dans la partie supérieure de l'oreillette droite se trouve une partie de tissu
cardiaque spécial, capable de conduire l’électricité, appelé nœud sino-auriculaire ou nœud sinusal
de Keith et Flack. Cette région commande le mécanisme de régulation des battements cardiaques.
C'est le stimulateur cardiaque naturel, chargé de déclencher et établir les battements cardiaques.
Cette région commande au cœur d'accélérer lors d’un exercice physique par exemple, et de ralentir
lors d’un repos. Le schéma ci-après est une illustration des zones de contrôle des battements
cardiaques.
95
 Figure 29 : Zone de contrôle des battements du cœur

[Link]
[Link] - consulté le 5 juin 2017

La figure ci-dessous schématise les différentes parties du cœur et montre l’onde associée à un
battement sur laquelle nous reviendrons dans les parties conscrées à la physiologie et les
techniques de mesures.

Figure 30 : Différentes parties du cœur et onde relative à un battement

[Link]
iaque_appli.htm - consulté le 5 juin 2017
Les veines sont les vaisseaux qui conduisent le sang de la périphérie et des poumons au cœur et
les artères emmènent le sang vers la périphérie et les poumons.
Examinons de plus prêt comment fonctionne ce système.

96
[Link]. Physiologie
Le cœur bat de façon spontanée. Il bat à un certain rythme qui est indépendant du système nerveux.
Enfin, ce n’est pas aussi simple et il est à noter qu’il existe une influence du SN que nous verrons
plus loin. L’excitation cardiaque est liée à des cellules spécialisées au niveau du nœud sinusal
proches de l’entrée des grosses veines au niveau de l’oreillette droite. L’excitation se propage donc
à partir des oreillettes puis passe dans les ventricules à travers le nœud auriculoventriculaire (AV)
qui forme un pont conducteur entre les oreillettes et les ventricules. La contraction du cœur et la
conduction du potentiel d’action passe par une succession de polarisations, dépolarisations et
plateaux due à des phénomènes chimiques.

Figure 31 : Schéma du potentiel d’action de la fibre myocardique

[Link] - consulté le 13 octobre 2018

La courbe ci-dessus illustre la façon dont se propage l’excitation cardiaque. La dépolarisation

initiale (phase 0) est due à l’ouverture des canaux de sodium et est rapide avec un dépassement
(overshoot). A ce niveau, il y a principalement fonctionnement des oreillettes et des fibres
musculaires ventriculaires. Cette phase 0 correspond au complexe QRS (voir Schéma, figure 32,
de corrélation entre les mouvements ioniques, le potentiel d’action et l’ECG de surface). Les
phases 1 et 2 correspondent à la repolarisation initiale. La repolarisation rapide initiale est due à la
fermeture des canaux de sodium. L’inactivation sodique laisse place aux entrées de calcium. Ceci
influence le fonctionnement des fibres du nœud sinusal et du nœud auriculoventriculaire. Ces
phases 1 et 2 correspondent à la partie ST (voir Schéma, figure 32, de corrélation entre les
mouvements ioniques, le potentiel d’action et l’ECG de surface). La phase 3 correspond à la
repolarisation finale. Elle est générée par un courant de potassium. La fibre retrouve ses charges
de repos. Elle correspond au segment QT (voir Schéma, figure 32, de corrélation entre les
97
mouvements ioniques, le potentiel d’action et l’ECG de surface). La phase 4 représente l’intervalle
entre deux potentiels d’action. Cette phase correspond à l’onde T et le début de QRS (voir Schéma,
figure 32, de corrélation entre les mouvements ioniques, le potentiel d’action et l’ECG de surface).
De façon schématique, un battement cardiaque peut être superposé au potentiel d’action. Les
systèmes sympathique et parasympathique interfèrent directement sur la fréquence cardiaque ainsi
que sur la conduction auriculoventriculaire.
Ainsi, l’activité électrique du cœur provoque une réponse mécanique : la contraction du muscle
cardiaque, générée, comme nous venons de le voir par de fortes concentrations ioniques réparties
sur les membranes cellulaires.

Figure 32 : Schéma de corrélation entre les mouvements ioniques, le potentiel d’action et

l’ECG de surface

[Link] – thèse 2013 - consulté le 13 octobre 2018

Le débit cardiaque est le volume de sang pompé par minute depuis le ventricule. Il est le résultat
du produit de la fréquence cardiaque (FC) et du volume d’éjection de sang systolique. Comme le
débit cardiaque est fonction de la FC et du volume, des modifications sur l’un des deux paramètres
engendrent une variation du débit. Une régulation est alors nécessaire puisque, comme nous
l’avons déjà vu, le corps cherche l’homéostasie. Cette régulation se fait par les hormones, les nerfs
autonomes ainsi que par des mécanismes propres au cœur. Au repos, le débit sanguin est d’environ
5 l/mn, sachant que l’humain dispose d’environ 5 l de sang. A l’effort, il est de 25 l/mn. Il varie
bien sûr en fonction du métabolisme. Le rire stabilise le rythme cardiaque, une émotion intense et
98
brutale impacte directement le cœur et entraine une augmentation des besoins en sang engendrant
un débit plus élevé.
La FC est le nombre de battements du cœur par unité de temps. Elle correspond en général au
nombre de battements par minute. La fréquence cardiaque évolue au cours du temps en fonction
de l’activité interne ou externe. Elle est d’environ 70 battements par minute chez l’Humain. La FC
est au maximum lors de la digestion ou de changement de température par exemple. Elle varie
également en fonction de manifestations émotionnelles, de stress. Elle est gérée par le SNA, en
particulier le système sympathique qui l’augmente et le système parasympathique qui la freine.
C’est ce que l’on nomme l’effet chronotrope. Nous avons vu que les hormones influencent aussi
la FC. Les catécholamines, qui proviennent des surrénales, augmentent la FC.
La tension artérielle ou pression artérielle (PA) mesure la force exercée sur les parois des artères
par le sang. Ce sont les différentes pressions qui vont régler les actions des valves (voir illustration
ci-dessous) qui séparent les différentes cavités du cœur et assurent la bonne circulation du sang.
Les quatre grandes valves sont : la valve aortique, la valve pulmonaire, la valve tricuspide et la
valve mitrale. Ces valves s’ouvrent pour laisser passer le sang et se ferment pour l’empêcher de
revenir en arrière. Ces actions provoquent des changements de pression entre les oreillettes et les
ventricules à chaque cycle cardiaque.

Figure 33 : Valves cardiaques

[Link] - consulté le 14 octobre

2018
Les tableaux 2, 3 et 430 ci-dessous donnent un aperçu des normes de la FC, de la PA et une
classification des PA chez un adulte.

30
[Link]
recapitulatif#frequence-respiratoire – consulté le 1er septembre 2018
99
 Tableau 2 : Normes de la fréquence cardiaque

Tableau 3 : Normes de la pression artérielle

Tableau 4 : Classification des niveaux de pression artérielle

A titre indicatif, les schémas ci-après illustrent la fréquence cardiaque selon que le sujet est au
repos ou en activité physique modérée ou intense.

100
 Figure 34 : Fréquences cardiaques au repose ou en activité

[Link]. Techniques de mesures

Dans le milieu médical, le moyen le plus simple pour enregistrer le cœur est l’électrocardiogramme
(ECG). Pour être le plus précis, les électrodes doivent être placées directement sur le cœur ce qui
signifie que le thorax doit être ouvert. Ceci n’arrive que lors de certaines opérations. Pour
enregistrer l’ECG, il est donc procédé à des mesures indirectes à la surface du corps par pose
d’électrodes ou dérivations à différents endroits du corps. Il existe deux techniques. On mesure
ainsi les différences de voltages entre les points. L’ECG enregistre ainsi l’activité électrique du
cœur. Il permet de différencier un fonctionnement normal d’un fonctionnement anormal. La figure
ci-dessous montre un tracé normal de l’électrocardiogramme qui comprend une onde classique
PQRST.

101
 Figure 35 : Tracé d’une onde classique PQRST

[Link] - consulté le 25 août 2018

Sur le schéma, il n’est pas fait mention de la repolarisation auriculaire. Il s’avère qu’elle est cachée
sous le complexe QRS. L’intervalle PR traduit le délai lié à la transmission de l’information à
travers le nœud AV.
Le débit sanguin est mesuré dans un cadre médical par différentes méthodes comme les techniques
de dilution de traceurs (injection par voie intraveineuse), l’ultrasonographie comme le Doppler et
les méthodes fondées sur le principe de Fick (calcul du taux de consommation de substances par
un organe, en l’occurrence l’oxygène par le sang).
La pression artérielle peut être mesurée de deux manières : auscultatoire et palpatoire. La méthode
auscultatoire consiste en l’utilisation d’un brassard et d’un stéthoscope. Le brassard est muni d’un
manomètre qui permet la visualisation de la pression exercée par le brassard (PB). Celui-ci est
gonflé jusqu’à l’abolition du pouls (plus de 20 mmHg). On bloque la circulation. Le stétoscope
est placé sur l’artère humérale, on dégonfle progressivement le brassard jusqu’à entendre
l’apparition du pouls. C’est la pression systolique (PS). On poursuit le dégonflage jusqu’à ce qu’il
n’y ait plus d’obstacle au flux artériel. On obtient ainsi la pression diastolique (PD). On obtient le
schéma suivant :

PB > PS : absence de bruits

PB = PS : apparition des bruits
PD < PB < PS : les bruits augmentent d'intensité puis s'atténuent
PB = PD : disparition des bruits
Figure 36 : La pression artérielle en courbe

[Link] - consulté le 14 octobre 2018

102
La méthode palpatoire est similaire à l’autre méthode sinon qu’elle ne donne pas la pression
diastolique du fait d’utiliser les doigts et non un stéthoscope.

Il y a plusieurs techniques pour mesurer la fréquence cardiaque ou rythme cardiaque ou bien encore
pulsations cardiaques. Certaines régions du corps sont privilégiées comme le thorax, le poignet, le
cou, l’aine et le dessus du pied. Hormis pour la zone du thorax, il peut être appliqué une technique
manuelle : la technique des deux doigts avec lesquels on mesure le pouls. Il est aussi utilisé le
cardiofréquencemètre qui se place au niveau des différentes zones. Il s’agit d’une technique
mécanique, sous forme de ceinture thoracique, de bracelet ou de pince, qui acquiert les battements
du cœur à l’aide de capteurs. La pince, souvent appliquée sur un doigt, mesure non seulement les
pulsations cardiaques mais également le taux d’oxygène dans le sang. Nous y reviendrons dans la
partie sur les poumons.

Le cœur est donc un muscle qui se contracte et bat de façon autonome et régulière en mode normal.
Des informations, comme certaines pathologies, des émotions, des changements d’activité, etc
viennent l’impacter. Les changements sont alors régulés par le SNA, si possible. Les variations
peuvent être observées de différentes manières que nous avons présentées. L’ECG,
l’ultrasonographie, les traceurs sont des techniques médicales qui ne sont pas faciles à mettre en
œuvre dans notre contexte. Nous avons donc opté pour la fréquence cardiaque à l’aide d’une
ceinture thoracique et les matériaux expérimentaux que nous avons élaborés ont pour but de
déclencher des variations de fréquence cardiaque.

1.3.4. Les poumons et les relations avec les émotions : anatomie,

fonctionnement et techniques de mesures

Le système respiratoire (voir schéma ci-dessous) regroupe plusieurs organes qui permettent
d’inspirer et d’expirer l’air afin que les échanges gazeux aient lieu avec le système circulatoire.
Les poumons font partie du système respiratoire.

103
 Figure 37 : Le système respiratoire

[Link] - consulté le 1er septembre 2017

[Link]. Anatomie
Les poumons sont les deux organes de la respiration disposés dans le thorax. La cage thoracique
est délimitée par les côtes, les muscles intercostaux et le diaphragme. Elle est tapissée par la plèvre.
Les poumons rendent possible les échanges gazeux avec toutes les cellules. Les poumons sont
composés des bronches, des bronchioles et des alvéoles. Ils fournissent l’oxygène et éliminent le
gaz carbonique via le sang. L’inspiration et l’expiration sont assurées par le système nerveux
autonome par le biais des muscles intercostaux et du diaphragme. Les poumons sont ventilés par
les mouvements thoraciques (inspiration, expiration) qui correspondent à un cycle respiratoire.
Dans une respiration calme, l’air est inspiré par le nez sinon plutôt par la bouche.
La trachée se prolonge par les bronches, une pour chaque poumon. Les bronches se divisent en
bronches plus petites que l’on nomme lobes, deux dans le poumon gauche, trois dans le poumon
droit. Les bronches se ramifient de deux en deux jusqu’à la vingt-troisième génération. De la
quatrième génération à la seizième génération, il s’agit des bronchioles. De la seizième génération
à la surface respiratoire, on parle de bronchioles terminales. Celles-ci se divisent pour donner les
sacs alvéolaires via des conduits alvéolaires. Les bronchioles respiratoires, les conduits alvéolaires
et les alvéoles (300 millions par poumon) constituent les voies de transition et respiratoires et
représentent une surface de 80 m2 pour les échanges gazeux. Le phénomène des échanges se
produit au niveau de la jonction entre alvéoles et capillaires pulmonaires (1000 capillaires) appelée
unité alvéolo-capillaire (schémas ci-dessous).

104
 Figure 38 : Appareil respiratoire et échanges gazeux

[Link] - consulté le 1er septembre

2017

[Link]. Physiologie
Les poumons ne sont pas capables de se gonfler seuls. L’action se réalise grâce aux muscles
respiratoires que sont le diaphragme et les muscles intercostaux. Interviennent également d’autres
muscles dits muscles accessoires pour l’inspiration et les muscles abdominaux pour l’expiration.
Ces muscles ne se contractent pas de façon spontanée. Le rythme de la respiration dépend d’influx
nerveux. Les muscles lisses des bronches et des bronchioles sont innervés par des fibres
parasympathiques qui génèrent la bronchoconstriction. Des nerfs sympathiques innervent les
vaisseaux sanguins bronchiques. De ce fait la bronchodilatation ne fonctionne pas comme la

105
bronchoconstriction. Elle se traduit par une réponse de production d’adrénaline et de
noradrénaline. Les poumons disposent aussi de capteurs, des récepteurs sensibles aux étirements,
aux irritations … et aussi des terminaisons qui envoient des informations au SNC. Ces récepteurs
jouent un rôle important dans plusieurs réflexes respiratoires.
La respiration est associée aux variations de volume thoracique et au débit ventilatoire (schéma ci-
après). A l’inspiration la poitrine se gonfle et l’air pénètre dans les poumons. Lors de l’expiration,
le volume de la poitrine diminue et l’air est expulsé. Ce mouvement est appelé ventilation.
La régulation de la respiration dépend de la pression du dioxyde de carbone dans le sang. Toute
modification de ce taux engendre un rythme et une ventilation différents. Les variations de
l’activité respiratoire peuvent également être dues à d’autres stimulations comme des émotions par
exemple.
La fréquence respiratoire est une constante vitale et correspond au nombre de cycles par unité de
temps qui est la minute. Elle se mesure par le soulèvement du thorax ou abdomen. Un cycle
respiratoire correspondant à une inspiration et une expiration normales et faciles est appelé eupnée.

Figure 39 : Respiration et volume thoraciques

[Link] - consulté le 10 septembre 2018

Le tableau suivant montre des normes de fréquence respiratoire.

106
 Tableau 5 : Normes de la fréquence respiratoire

[Link]
recapitulatif#frequence-respiratoire – consulté le 10 septembre 2018

[Link]. Les techniques de mesures

Le volume d’air entrant et sortant des poumons durant la respiration peut être mesuré à l’aide d’un
spiromètre. Le schéma ci-dessous présente un spiromètre à cloche. La cloche est libre de se
déplacer verticalement selon l’inspiration et l’expiration.

Figure 40 : Spiromètre à cloche

[Link] - consulté le 1er septembre

2018
La trace ci-dessous montre les différents paramètres ventilatoires.

107
 Figure 41 : Courbe des paramètres ventilatoires

[Link] - consulté le 10 septembre 2018

où
VRI : volume de réserve inspiratoire ;
VC : volume courant ;
VRE : volume de réserve expiratoire ;
VR : volume résiduel.
CV (capacité vitale) = VRI + VC + VRE
CI (capacité inspiratoire) = VC + VRI
CRF : capacité résiduelle fonctionnelle CRF = VRE + VR

La pléthysmographie est également un examen médical qui permet d’évaluer la capacité

respiratoire en mesurant la capacité pulmonaire, la résistance des bronches. Ce dispositif est aussi
employé en cardiologie. Cet examen est plus précis que la spirométrie. Il se déroule en cabine
étanche.
Il y a plusieurs techniques de mesures plus simples. La technique d’inspection et palpation qui
consiste à placer la main sur le thorax et comptabiliser les cycles respiratoires durant une unité de
temps. La technique qui vise à mesurer le volume de la cage thoracique peut être obtenue en
utilisant un capteur de déformation. Le pourcentage de déformation permet de calculer les
mouvements thoraciques ou abdominaux suivant sa position.

Dans la partie sur le cœur et le système circulatoire, nous avons évoqué le taux d’oxygène dans le
sang. C’est l’air inspiré qui procure entre autres l’oxygène. L’oxymètre de pouls (schéma ci-après)
ou saturomètre est une pince que l’on place sur le doigt et qui fonctionne à l’aide de LED. Chaque
globule rouge a une forme biconcave et est composé en grande partie d’hémoglobine qui lui permet
de transporter des molécules d’oxygène. Une fois le globule rouge « chargé » en oxygène, le sang
prend une couleur rouge vif. Quand la livraison de l’oxygène est réalisée, le sang devient sombre.
108
Cette différence colorimétrique est d’une importance capitale pour la compréhension du
fonctionnement des appareils de mesure de la saturation.
Un émetteur envoie une lumière infrarouge de longueur d’onde de 950 nm et une lumière rouge
de longueur d’onde de 660 nm grâce à deux LED. Ces lumières traversent la peau et sont captées
par un récepteur, constitué d’une photodiode, qui les quantifie. La quantité de lumière absorbée va
être calculée et donner la saturation en oxygène.

Figure 42 : Fonctionnement d’un oxymètre

[Link] - consulté le 10 septembre 2018

La respiration est donc source de modulation pouvant provenir de différents événements. Nous
avons choisi d’évaluer les mouvements respiratoires en calculant les variations de la circonférence
de la cage thoracique grâce à une ceinture placée sous la poitrine. C’est un dispositif facile
d’utilisation, abordable en termes de coût, suffisant pour nos expérimentations. Pour plus de détail
sur l’utilisation de la ceinture, on pourra consulter l’annexe 10.

1.3.5. La peau et les relations avec les émotions : anatomie, fonctionnement et

techniques de mesures pour GSR et T° de surface

La peau ou système tégumentaire est le plus grand organe du corps humain. Elle protège du monde
extérieur et constitue notre première défense contre les bactéries, les virus ou autres éléments
pathogènes et contre toute agression. Elle est à la fois perméable et imperméable à certaines
substances ou organismes. Elle dispose d’un mécanisme de cicatrisation. Elle aide à réguler la
température corporelle et à éliminer les déchets par la transpiration.

[Link]. Anatomie
La peau est un organe sensoriel jouant des fonctions multiples et complexes comme la protection,
l’excrétion, la thermorégulation, des fonctions sensorielles ou encore métaboliques. Elle possède
109
différents éléments complémentaires tels que l’appareil pilosébacé, les glandes sudoripares et les
ongles. Elle est une barrière de prévention par la régulation du flux sanguin, de l’équilibre de l’eau
et de la température que l’on constate par la vasodilatation, la vasoconstriction et la production de
sueur. La peau est à l’écoute des signaux qui arrivent à son niveau et permet la mesure des
changements électriques appelés activité électrodermale.
2
La peau peut atteindre 2,5 m et 5 kg. Ceci est fonction des individus. Elle contient des poils dans
des follicules pileux et des glandes sébacées qui lubrifient les poils et la peau. Elle dispose de pores
qui évacuent la sueur.
Le schéma suivant propose une coupe de la peau faisant apparaître les différentes couches ainsi
que les principaux éléments qui la constituent et que nous présentons dans la suite.

Figure 43 : Coupe de la peau

Archive Larousse – consulté le 5 juin 2017

La peau est constituée de trois couches :

110
L’épiderme est la couche la plus extérieure. C’est un tissu épithélial de plusieurs strates. Il est non
vascularisé et desquame en permanence. Il est surtout composé de cellules de kératine et contient
des mélanocytes, des cellules de Langerhans et des cellules de Merkel.

Le derme, sous l’épiderme, est un tissu nourricier grâce aux vaisseaux sanguins. Les fibroblastes
sont les cellules majoritaires. Des vaisseaux lymphatiques et des nerfs parcourent également le
derme.

L’hypoderme est la partie la plus profonde et la plus épaisse, sous le derme. Il n’est généralement
pas considéré comme faisant partie de la peau. Il est constitué de tissu conjonctif richement
vascularisé et plus ou moins pourvu de tissu adipeux.

En ce qui concerne le poil, c’est le muscle arrecteur ou muscle horripilateur contracté par le
système nerveux sympathique qui déclenche la « chair de poule ». On ne le trouve pas au niveau
des paumes des mains et des plantes des pieds contrairement aux glandes.
Les glandes sudorales ou sudoripares sont de deux types : les glandes apocrines et les glandes
eccrines, qui nous intéressent, réparties sur tout le corps et nombreuses au niveau des mains, des
pieds et du front. Elles se situent dans le derme. Plus la sueur monte dans les canaux et plus la
résistance baisse.

La peau est riche en récepteurs pour la détection de la pression, de la température, de la vibration,

du toucher et de la douleur. Les récepteurs présents au niveau de la peau sont les suivants : les
corpuscules de Meissner, les corpuscules de Pacini, les corpuscules de Ruffini, les disques de
Merkel et les terminaisons libres (figure ci-après).
Chaque récepteur a une modalité spécifique. Les nocicepteurs ou nocirécepteurs se chargent de la
sensibilité à la douleur. Les mécanorécepteurs touchent au tactile, à la perception et la pression.
Les thermorécepteurs s’occupent de la chaleur. Par exemple, une pression sur la peau est un
stimulus qui entraîne une dépolarisation selon l’arc réflexe. Ce sont les corpuscules de Pacini,
mécanorécepteurs, qui répondent à la déformation.

111
 Figure 44 : Récepteurs de la peau

[Link] (consulté le 22 avril

2017)
Les disques de Merkel comme les corpuscules de Pacini sont des mécanorécepteurs.

[Link]. Physiologie
Comme nous venons de le voir, la peau, qui entoure notre corps, joue un rôle de barrière à double
sens. En effet, le corps est un producteur de chaleur et peut aussi subir des variations de
température provenant de l’extérieur. La thermorégulation consiste à maintenir une température
interne normale ou température de référence (homéothermie) quels que soient son métabolisme et
les conditions ambiantes. Il y a quatre modalités d’échange : la radiation (par exemple avec les
rayons du soleil), la convection (par exemple lors d’un bain de mer, contact surface cutanée et
fluide circulant), la conduction (exemple poser ses pieds sur une bouillotte) et l’évaporation (par
exemple lors de la transpiration). Ce phénomène est grandement contrôlé par l’hypothalamus et
donc lié à l’activité sympathique. L’humain sans peau meurt. La peau est le reflet de l’état de santé
et de l’âge.
Un stimulus, au niveau de la peau, engendre un changement de perméabilité ionique de la
terminaison afférente qui engendre lui-même un changement du potentiel de la terminaison
nerveuse. Un potentiel d’action apparaît et se propage vers le SNC et est ensuite interprété. Le
SNC a besoin de situer le stimulus tout comme sa nature physique et son intensité. Le stimulus
peut provenir d’un autre organe comme l’œil ou encore du cerveau. En effet, la perception d’un

112
objet qu’il soit réel ou imaginaire (pensée) peut aussi déclencher un phénomène de changement de
potentiel qui aura comme résultat un effet de sudation. Nous y reviendrons.
La température interne varie en fonction du rythme nycthéméral (le sommeil lent entraîne une
baisse de température), des hormones (la production de progestérone en période d’ovulation
engendre une augmentation de la température), de l’âge (en vieillissant la température corporelle
diminue), de l’activité physique (les muscles en fonctionnement libèrent de l’énergie sous forme
de chaleur pour une majeure partie et en travail) et enfin des émotions (la température peut
augmenter de plus de deux degrés lors de stimuli entraînant une stimulation de l’activité
orthosympathique). La température de surface ou périphérique est inférieure à la température
interne. Ce gradient peut s’inverser. La figure suivante illustre l’impact du chaud et du froid sur
les régulations et réponses thermiques.

Figure 45 : Représentation de la thermorégulation et des réponses provoquées par une

exposition au froid ou à la chaleur

[Link] – consulté le 5 juin 2017

113
Les thermorécepteurs sont insensibles aux stimuli mécaniques et chimiques. Une fréquence de
décharge constante est maintenue et varie avec un changement de température.

L’activité électrodermale (EDA) a été utilisée en recherche pour analyser les phénomènes de
l’attention, les processus de changement de l’information (information processing) et l’émotion
afin de détecter ou mettre en corrélation les comportements observés.
Cette activité porte sur les échanges électriques et chimiques de la peau. On retrouve des travaux
de Jean-Martin Charcot (1825 – 1893), neurologue et R. Vigouroux (1831 – 1911), médecin, les
successeurs de G. Duchenne, sur ces domaines et plus particulièrement sur les techniques
électriques, électrostimulations. J.M. Charcot élabore l’électrophysiologie afin de poser des
diagnostics et ainsi permet par des réponses aux stimulations galvaniques et faradiques de repérer
les nerfs ou faisceaux musculaires atteints. La réponse de la résistance de la peau est l’inverse de
la conductance de celle-ci. Elle est liée comme nous l’avons vu précédemment au flux sanguin et
de façon plus étroite à l’activité des glandes sudoripares. Elle est le reflet de l’activation
sympathique. Même si vous ne sentez ou ne voyez pas la sueur à la surface de votre peau, la
conductance électrique peut augmenter très significativement lorsque les pores se remplissent sous
l’effet d’un signal envoyé par le SNC, sous l’effet d’une charge de travail, d’une émotion ou bien
d’un effort physique. Cette manifestation première a donc lieu sans que vous ne vous en rendiez
compte et est mesurable grâce à un capteur adapté.

[Link]. Les techniques de mesures

L’activité peut être mesurée de plusieurs manières : par le potentiel cutané, par la résistance, par
la conductance, l’impédance (grandeur en courant alternatif équivalent à la résistance pour les
courants continus) et l’admittance (inverse de l’impédance). Le livre de Boucsein (2012) est une
référence en la matière. Ces différentes façons de procéder sont toutes des mesures électriques.
Les mesures sont réalisées au niveau des mains : doigts et paumes, ou des pieds. La latence
communément utilisée est de 1 à 3 s ou de 1 à 4 s. (Fowles et al., 1981)
Le tableau et la courbe intégrés dans le texte correspondent aux caractéristiques des mesures de la
conductance et à la représentation de l’activité électrodermale lors d’un stimulus.
Ces éléments sont issus de (Cacioppo, 2007).

114
 Tableau 6 : Mesures de la conductance

Figure 46 : Courbe de l’activité électrodermal lors d’un stimulus

On constate que les composants principaux de l’EDA sont : le temps de réaction (rise time) : 1 à
3 secondes tout comme la latence et le temps de récupération (half recovery time) : 2 à 10 secondes.
Différents aspects peuvent être considérés par rapport aux mesures de l’EDA (Schell et al., 2002) :
 La variance entre individu
 L’habituation à l’expérience
 La succession de stimuli qui peut engendrer un plateau, une réponse complexe à cause de
la superposition.
Il y a deux phases dans la conductance : la phase de conductance cutanée tonique (évoluant
lentement) et la réponse phasique de la conductance (par pics). Les mesures de conductance
cutanée phasique sont en général associées à des événements à court terme et se produisent en
présence de stimuli discrets tels que la vision, le son, l’odeur, les processus cognitifs précédant un
événement tels que l'anticipation, la prise de décision, etc. qui augmentent brusquement la

115
conductance de la peau. Ces pics sont généralement appelés réponses de conductance cutanée
(RCS). Le schéma suivant illustre une activité phasique.

Figure 47 : Activité phasique

[Link]
data-in-my-experiment- - consulté le 21 octobre 2018

Dans nos expérimentations nous nous sommes servis d’un capteur de conductivité électrodermale
muni de deux électrodes et donnant une mesure en µS (micro siemens). Nous avons donc mesuré
la résistance électrodermale (RED ou GSR Galvanic Skin Response). Pour plus de détail sur
l’utilisation de ce capteur GSR, on pourra consulter l’annexe 10. Le capteur de température de
surface est associé à ce capteur.

Figure 48 : Capteurs de conductivité électrodermale

Image issue de [Link] - consulté le 18 mai 2015

1.4. Conclusion

Ce chapitre nous a permis de présenter un ensemble de définitions, de théories relatives à la

compréhension de l’affectivité sous différents angles à la fois spirituel, psychique, psychologique
et biologique et ainsi nous situer. Nous avons retenu d’utiliser les termes - états émotionnels dans
notre étude et, en particulier, dans l’analyse des données physiologiques, montrant des variations
116
significatives lors de stimuli spécifiques dans certains contextes, s’illustrant par notre équation EE
= C(var)   et de courte durée, et aussi - émotion lorsqu’il s’agit d’une manifestation instinctive
de quelques millisecondes. L’usage d’état sous-entend également les changements d’états avec
une représentation potentielle d’états/transitions pour le passage d’un état à un autre comme par
exemple passer de la joie à la tristesse par un état neutre.
Nous savons que notre corps recherche l’homéostasie et que, dès qu’il est soumis à des stimuli
spécifiques, des modifications internes se font au travers des variables physiologiques. C’est ce
que nous mesurons grâce à nos quatre biocapteurs de fréquence cardiaque, fréquence respiratoire,
température de surface et résistance électrodermale.
Une de nos hypothèses est de savoir si ces variations peuvent être associées à des états émotionnels
et si ceux-ci correspondent à des manifestations reproductibles que l’on peut identifier et nommer.
Nous pourrions ainsi obtenir des signatures fréquentielles.

117
1.5. Bibliographie

Arnold, M. (1960). Emotion and personality. New York: Columbia University Press.

Balters, S., Steinert, M. (2017). Capturing emotion reactivity through physiology measurement as a
foundation for affective engineering in engineering design science and engineering practices. Journal of
Intelligent Manufacturing 28 (7), 1585-1607. doi: 10.1007/s10845-015-1145-2

Ballenghein, U., Megalakaki, O., Baccino, T. (2018, juin). Lecture de textes émotionnels : effets sur la
compréhension, les mouvements oculaires et la posture du corps. Conference: 2ème Colloque Langage et
éMOTions, Université Paul Valéry, Montpellier.

Bänzinger, T., Grandjean, D., Bernard, P. J., Klasmeyer, G., Scherer, K. R. (2001). Prosodie de
l'émotion : étude de l'encodage et du décodage. Cahier de Linguistique française, 23, 11-37.

Betella, A., Verschure, P. F. M. J. (2016). The Affective Slider: A Digital Self-Assessment Scale for the
Measurement of Human Emotions. PLoS ONE, 11(2): e0148037. doi: 10.1371/[Link].0148037

Beucler, P. (2015). De l'infusion interne à la diffusion pluri-directionnelle... : L'accompagnement de

l'AGSAS. Psychologie et Education, 4, 57-65.

Bodin, L. (2013). La bible des termes médicaux. Paris: Editions Josette Lyon.

Boucsein, W. (2012). Electrodermal activity, Springer.

Bradley, M. M., Lang, P. J. (1994). Measuring emotions: the self-assessment manikin and the semantic
differential. Journal of Behavior Therapy and Experimental Psychiatry. 25(1), 49-59. doi : 10.1016/0005-
7916(94)90063-9

Cacioppo, J.T. (2007). Handbook of psychophysiology p165, Cambridge University Press, 3 edition

Chatar-Moumni, N. (2013). L’expression verbale des émotions : présentation. Langue française. 180(4),
3-11. doi : 10.3917/lf.180.0003

Coppin, G., Sander, D. (2010) Théories et concepts contemporains en psychologie de l'émotion. Dans C.
Pelachaud (dir.), Systèmes d'interaction émotionnelle (p. 25-56). Paris : Hermès Science publications-
Lavoisier.

Cosnier, J. (2015). Psychologie des émotions et des sentiments. Paris : Retz.

Damasio, A. (1995). L’erreur de Descartes. Paris: Odile Jacob.

Damasio, A. (2002). Le sentiment même de soi. Paris: Odile Jacob.

Darwin, C. R. (1872). The Expression of Emotions in Man and Animals. London : John Murray.

Dhorme, P. (1922). L’emploi métaphorique : des noms de parties du corps en hébreu et en akkadien.
Revue Biblique, 31(4), 489-517.

Duchesneau, F. (1999). Diderot et la physiologie de la sensibilité. Dix-huitième siècle, 31, 195-216.

Ekman, P., Friesen, W. V., Ancoli, S. (1980). Facial Signs of Emotional Experience. Journal of
Personality and Social Psychology, 39(6), 1125-1134.

118
Ellis, R. (1994). The Study of Second Language Acquisition. London: Oxford University Press.

Fowles, D. C., Christie, M. J., Edelberg, R., Grings, W. W., Lykken, D. T. and Venables, P. H. (1981).
Publication Recommendations for Electrodermal Measurements. Psychophysiology, 18: 232–239.
doi:10.1111/j.1469-8986.1981.tb03024.x

Frère, J. (2009). Philosophie des émotions. Paris : Eyrolles.

Frijda, N. H. (1986). The Emotions. Cambridge : Cambridge University Press.

Frijda, N. H. (2007). The laws of emotion. Mahwah, NJ, US: Lawrence Erlbaum Associates Publishers.

Gardner, H. (1983). Frames of Mind. New York: Basic Book Inc.

Gibello, B. (2004) Corps, pensée et représentations de transformation. Neuropsychiatrie de l’Enfance et

de l’Adolescence, 52(6), 10.1016/[Link].2004.03.015

Goleman, D. (2003). L’intelligence émotionnelle. Paris : J’ai Lu.

Grandjean, D., Baenziger, T. (2009). Expression vocale des émotions. Dans D. Sander et K. R. Scherer
(dir.) Traité de psychologie des émotions. Paris : Dunod.

Grandjean, D., Scherer, K. R. (2009). Théorie de l’évaluation cognitive et dynamique des processus
émotionnels. Dans D. Sander et K. R. Scherer (dir.) Traité de psychologie des émotions. Paris : Dunod.

Heise, D. (1979). Computer-Assisted Analysis of Social Action. Chapel Hill, NC: Institute for Research
in Social Science.

James, W. (1892). Psychology (Briefer Course). Notre Dame, IN: University of Notre Dame Press.

James, W. (1903). Theory of Emotion. Notre Dame, IN: University of Notre Dame Press.

Juillet, P. (2000). Dictionnaire de psychiatrie. Paris : CILF.

Kirouac, G. (1989). Les émotions, monographie de psychologie n°8. Québec : Presses de l'Université du
Québec.

Kleinginna, P. R., Kleinginna, A. M. (1981). A categorized list of motivation definitions, with a

suggestion for a consensual definition. Motivation and Emotion, 5(3), 263-291. doi: 0146-7239/81/0900-
0263$03.00/0

Kövecses, Z. (2000). Metaphor and Emotion: Language, Culture, and Body in Human Feeling.
Cambridge: Cambridge University Press.

Lange, C. G. (1885). Om Sindsbevaegelser. Et Psyko-fysiologisk Studie. Kjobenhavn : Jacobs Lunds

Forlag.

Laplanche, J., Pontalis, J.-B. (2009). Vocabulaire de la psychanalyse. Paris : Presses Universitaires de
France.

Lazarus, R. S., Averill, J. R., Opton, E. M. Jr. (1970). Toward a cognitive theory of emotions. Dans M.
Arnold (dir.) Feelings and Emotions. New York: Academic.

Lazarus, R. S., Folkman, S. (1984). Stress, Appraisal, and Coping. New York: Springer Publishing Co
Inc.

119
Ledoux, J. (1996). The emotional brain: the mysterious underpinnings of emotional life. London: Simon
& Schuster.

Lorry, A.-C. (1765) De melancholia et morbis melancholicis. Paris : P.-G. Cavelier.

MacKinnon, N. J. (1994). Symbolic Intractionism as Affect Control Theory. New York: State University
of New York Press.

Marmion. J. F. (2018). “L’ordre étrange des choses” Entretien avec Antonio Damasio. Le Cercle Psy, 28,
66-69.

Mehrabian, A. (1971). Silent Messages. Belmont, CA: Wadsworth.

Nugier, A. (2009). Histoire et grands courants de recherche sur les émotions. Revue électronique de
Psychologie Sociale, 4, 8-14.

Öhman, A. (1999). Distinguishing unconscious from conscious emotional processes: Methodological

considerations and theoretical implications. Dans T. Dalgleish, M. Power (dir.) Handbook of cognition
and emotion. New York: John Wiley and Sons.

Osgood, C. E., Suci, G., Tannenbaum, P. (1957). The Measurement of Meaning. Champaign, IL :
University of Illinois Press.

Payne, W. L. (1985). A Study of Emotion: Developing Emotional Intelligence; Self-Integration; Relating

to Fear, Pain and Desire. (Dissertation, The Union for Experimenting Colleges and Universities).

Pinel, P. (1809). Traité médico-philosophique sur l’aliénation mentale, Paris : Brosson.

Plutchik, R. (1980). Emotion. A psychoevolutionary synthesis. New York: Harper & Row.

Pocock, G., Christopher, D. (2004). Physiologie humaine – les fondements de la médecine, Masson.

Résibois, M., Verduyn, P., Delaveau, P., Rotgé, J.-Y., Kuppens, P., Van Mechelen, I., Fossati, P. (2017).
The neural basis of emotions varies over time: different regions go with onset- and offset-bound processes
underlying emotion intensity. Social Cognitive and Affective Neuroscience, 12(8), 1261-1271. doi:
10.1093/scan/nsx051

Russell, J. A. (1980). A circumplex model of affect. Journal of Personality and Social Psychology, 39,
1161-1178.

Salovey, P., Mayer, J. D. (1990). Emotional intelligence. Imagination, Cognition, and Personality, 9, 185-
211. doi: 0.2190/DUGG-P24E-52WK-6CDG

Sander, D., Scherer, R. K. (2014). Traité de psychologie des émotions, Dunod.

Schachter, S., & Singer, J. E. (1962). Cognitive, social and physiological determinants of emotional state.
Psychological Review, 69, 379-99.

Schell, A., Dawson, M., Nuechterlein, K., Subotnik, K., Ventura, J. (2002). The temporal stability of
electrodermal variables over a one-year period in patients with recent-onset schizophrenia and in normal
subjects. Psychophysiology, 39(2), 124-132.

Scherer, K. R. (2005). What are emotions? And how can they be measured? Social Science Information,
44(4). 695-729. doi: 10.1177/0539018405058216

120
Smith-Lovin, L., Heise, D. R. (1988). Analyzing Social Interaction: Research Advances in Affect Control
Theory. Philadelphia: Gordon and Breach.

Soussignan, R. (2002). Duchenne Smile, Emotional Experience, and Autonomic Reactivity. A Test of the
Facial Feedback Hypothesis. Emotion, 2(1), 52-74. doi: 10.1037//1528-3542.2.1.52

Svec, O. (2013). Phénoménologie des émotions. Villeneuve d'Ascq : Editions Septentrion Presses
Universitaires.

Tcherkassof, A. (2008). Les émotions et leurs expressions. Grenoble : Presses Universitaires de Grenoble.

Thorndike, E. L. (1920). Intelligence and its uses. Harper’s Magazine, 140, 227-235.

Vidrascu, L. (2007). Analyse et détection des émotions verbales dans les interactions orales (Thèse de
doctorat). HAL Id: tel-00624085 [Link]

Vygotsky, L. (1998). Théorie des émotions : Etude historico-psychologique. Paris : L’Harmattan.

Watzlawick, P., Helmick Beavin, J., Jackson, D. D. (2014). Une logique de la communication. Paris :
Points.

Wechsler, D. (1939). The measurement of adult intelligence. Baltimore: Williams & Wilkins.

Wierzbicka, A. (1999). Emotions Across Languages and Cultures. Cambridge: Cambridge University
Press.

Wundt, W. (1904). Principles of physiological psychology (5th German edition, Volume 1). (E. B.
Titchener, trans.) New York: Macmillan.

Zuckerman, M. (1990). The Psychophysiology of sensation-seeking.J Pers1990,58: 313-339

121
1.6. Sitographie

Affect. (s. d.) Dans Wikipédia, l’encyclopédie libre. Repéré le 22 août 2017 à
[Link]

Affectivité. (s. d.). Dans carnets2psycho. Repéré le 25 août 2017 à [Link]

[Link]

Affectivité. (s. d.). Dans Dictionnaire de l’éducation. Repéré le 25 août 2017 à

[Link]

Barbier, J.-M. (2018) Affects émotions, sentiments : quelles différences ? Repéré le 21 mai 2018 à
[Link]

Boquet, D., Piroska, N. Une histoire des émotions incarnées. Repéré le 21 août 2017 à
[Link]

Corbin, A., Sensibilités histoire des. (s. d.). Dans Encyclopædia Universalis, repéré le 21 août 2017 à
[Link]

Cruveilhier, P. (1938). Commentaire du Code D’Hammourabi. Repéré le 21 août 2017 à [Link]

[Link]/curieux/pdf/CH_Trad_de_P_Cruveilhier.pdf

Définition de sentiment. (s. d.) Dans Les Définitions. Repéré le 13 mai 2018 à
[Link]

Emotions. (s. d.) Dans Dictionnaire Littré. Repéré le 22 août 2017 à

[Link]

Emotions. (s. d.) Dans Wikipédia, l’encyclopédie libre. Repéré le 22 août 2017 à
[Link]

Pensée. (s. d.) Dans Encyclopédie de l’Agora. Repéré le 7 mai 2018 à l’Agora
[Link]

Perception. (s. d.) Dans Wikipédia, l’encyclopédie libre. Repéré le 21 mai 2018 à
[Link]

Prost, F. (2012) La mesure des affections dans l’épicurisme. Repéré le 30 avril 2018 à
[Link]

Sentiments. (s. d.). Dans La Psychologie. Repéré le 13 mai 2018 à [Link]

[Link]/[Link]

122
 Chapitre 2
Interaction
« Grâce à la science et à la technologie, nous pourrons rencontrer des races
étrangères, et des étrangers, ce sera nous » Norman Spinrad

2. DE L’INTERACTION, DES DISPOSITIFS ET DES TECHNOLOGIES ................... 125

2.1. INTRODUCTION ........................................................................................................................................... 125
2.2. DE L’INTERACTION, DES DISPOSITIFS ET TECHNOLOGIES : AU PLUS PRES DE L’HUMAIN TOUT EN ETANT DISTANT .............. 126
2.2.1. Définitions, terminologie, théories .................................................................................................... 126
2.2.2. Des dispositifs et technologies .......................................................................................................... 136
[Link]. Dispositifs et procédés .............................................................................................................................138
[Link]. Autres principes : cybernétique, bionique et biométrie ...........................................................................154
2.3. AFFECTIQUE ............................................................................................................................................... 162
2.3.1. Définition ........................................................................................................................................... 163
2.3.2. Les voies de l’informatique affective ................................................................................................. 163
2.4. CONCLUSION.............................................................................................................................................. 164
2.5. BIBLIOGRAPHIE ........................................................................................................................................... 166
2.6. SITOGRAPHIE.............................................................................................................................................. 169

123
124
2. De l’interaction, des dispositifs et des technologies

2.1. Introduction

Tout commence autour d’un potentiel perdu dont disposent les êtres pour communiquer et que
nous souhaitons retrouver à l’aide, en autre, d’un support tel que le jeu vidéo ou pervasif, moyen
expérimental d’approche interactive, miroir possible de nos émotions. Il s’agit là, bien entendu,
d’une vision très raccourcie de notre cheminement. Le jeu et l’expérience interactive servent de
manière assez aisée, car faciles d’accès, à notre environnement pragmatique, d’une part quant à la
mesure de variables comme les mesures physiologiques au travers des stimuli-réponses qu’ils
procurent, d’autre part, à la validation de nos dispositifs de remplacement, vicariants, distants et,
par voie de conséquence, à la mise en place d’un système adaptable. D’un point de vue général,
nous, êtres vivants, évoluons dans un univers complexe avec lequel nous communiquons. Une
interdépendance, une relation s’instaure entre les êtres, avec les objets et l’environnement générant
des interactions. Qui dit interaction dit communication, échanges sous différentes formes réelles,
virtuelles.
Dans notre projet, pour communiquer, nous mettons en place un système interactif. Il est
composite et comprend des entités multiples : des humains, des objets manipulables, des objets
collecteurs … des objets numériques, physiques ou mixtes, passifs et interactifs. C’est donc une
Méta-Interactions Homme-Machine (Roudaut 2006 ; Calvary 2016). Parmi les objets, nous avons
des capteurs de contact qui concernent la collation de mesures biologiques. Compte-tenu de notre
souhait de ne plus entraver les utilisateurs, on peut se demander si ces capteurs à même la peau
peuvent être remplacés par des procédés sans contact ? Si la preuve en est faite, cela signifiera que
les dispositifs vicariants relèvent les mêmes données et une partie du pari sera gagnée. Nous
disposerons ainsi de données obtenues à distance pour la conception d’événements liés à des états
émotionnels ré-injectables dans le jeu l’adaptant à l’utilisateur. C’est bien l’humain qui est au
centre de nos préoccupations. Cette adaptation passera bien sûr par l’élaboration d’un game design
ajusté tant du point de vue des mécaniques, que des équipements. Nous abordons ce point dans le
chapitre sur le jeu.
Ceci étant, comprendre les technologies, les procédés d’interactions, tout comme l’expérience
utilisateur vécue au sein d’un système global, nécessitent quelques précisions afin d’éclairer notre
contexte et objectif de travail. Après une introduction, ce chapitre s’articule autour de définitions,
théories et technologies des interactions, des interfaces puis présente des dispositifs et procédés

125
ainsi que d’autres principes comme la cybernétique, la bionique ou la biométrie, sans oublier un
point en relation avec l’invasivité qui compte énormément dans ce projet, pour se terminer par une
conclusion. L’expérience utilisateur constitue notre premier pas vers l’interaction.

2.2. De l’interaction, des dispositifs et technologies : au plus près de

l’humain tout en étant distant

2.2.1. Définitions, terminologie, théories

Dans les années 1990, Donald Norman31 est le premier à populariser le concept d’eXpérience
Utilisateur (UX – User eXperience) qu’il ne faut pas confondre avec l’utilisabilité. Sa définition32
énoncée dans APCI (2013) est la suivante : « l’expérience utilisateur englobe tous les aspects de
l’interaction de l’utilisateur final avec une entreprise, ses services et ses produits. La première
exigence d’une expérience utilisateur réussie est de répondre aux besoins exacts d’un client, sans
difficulté ni effort. Ensuite vient la simplicité et l’élégance qui donnent naissance à des produits
désirables et plaisants dans leur usage. Une authentique expérience utilisateur ne se contente pas
d’offrir aux clients ce qu’ils disent vouloir ou de fournir une liste de fonctionnalités. Afin
d’atteindre une expérience utilisateur de haut niveau dans les prestations d’une entreprise, il doit
y avoir une fusion harmonieuse des compétences de plusieurs disciplines, dont l’ingénierie, le
marketing, le design produit, le design graphique ainsi que le design d’interface ».
L’utilisabilité se différencie de l’UX par l’absence de ressenti de l’utilisateur. Elle est liée tout
simplement à la bonne utilisation des interfaces. La norme ISO 9241-11 définit l’utilisabilité ou
usabilité comme le « degré selon lequel un produit peut être utilisé, par des utilisateurs identifiés,
pour atteindre des buts définis avec efficacité, efficience et satisfaction, dans un contexte
d’utilisation spécifié ».
Jakob Nielson (1994) apporte cinq critères qui caractérisent l’utilisabilité :
 La faculté d’apprentissage (learnability)

31
Donald Norman, né en 1935, est psychologue cognitiviste américain, professeur émérite en sciences cognitives
de l'université de Californie à San Diego. Il a introduit la notion d'affordance (actions entre le monde et l’humain)
en design i.e. l’a adapté au champ des interactions homme-machine.
32
« User Experience is the way you experience the world, it's the way you experience your life, that's the way you
experience the service, or yeah, an app or a computer system — But it's a system that's everything. » -
[Link] - consulté le 23 mars 2019
126
  La faculté de mémorisation (memorability)
 La minimisation et la prévention des erreurs (errors)
 L’efficience33 (efficiency)
 La satisfaction34 d’utilisation (satisfaction)

Les trois premiers critères représentent la facilité d’usage, notion plus large que l’efficacité, qui
« mesure l’effort nécessaire pour l’utilisation d’un produit » selon APCI (2013). La satisfaction,
l’efficience et l’efficacité sont trois composantes de l’utilisabilité. Il s’agit donc de la facilité et du
plaisir d’utilisation plus que de la performance. L’utilisabilité s’adresse à la qualité de l’interface.
Jakob Nielson parle d’utilité théorique (usefulness) regroupant l’utilité (utility) et l’utilisabilité
(usability). Depuis les années 2010, les critères d’utilisabilité ne cessent d’évoluer, de s’enrichir.
La définition de l’UX correspond mieux à notre vision car elle introduit le ressenti utilisateur et
s’unit à la notion d’émotion. L’UX est partout et donne lieu à l’émergence d’expertises comme
l’UX design, le design de service, l’UI design, le design d’interaction … Par contre, l’approche
« sans difficulté » et « sans effort » ne répond pas vraiment aux attentes utilisateur dans notre
contexte ni à nos attentes dans le cadre de ce projet. En effet, le joueur, quel qu’il soit, cherche en
général un défi. On peut aussi remarquer que, quand aujourd’hui, nous sommes assaillis de
propositions publicitaires soi-disant nous correspondant, car nous avons consulté un produit une
fois, nous finissons par être agacés. Nous n’avons pas forcément envie d’être enfermé, stéréotypé,
classé, cloisonné, formaté … ou que d’autres s’immiscent dans notre vie. Laissons-nous une forme
de liberté, des défis potentiels engendrant la réflexion, la difficulté, l’effort, le libre choix !
Surmonter des épreuves quelles qu’elles soient renvoi des émotions, source de vie. C’est ce que
nous incluons. En revanche, la définition de l’UX en termes d’englobant tous les aspects de
l’interaction du joueur avec l’environnement alimente notre orientation. Nous transposons cela
assez facilement, en particulier dans le jeu pervasif constituant l’espace ludique premier que nous
mettons en œuvre.
Les tentatives pour cartographier cette UX sont nombreuses. Celles qui ont retenu notre attention
sont représentées par les figures ci-après. L’utilisateur est bien au cœur des représentations. Il s’y
trouve le « look and feel », la prise en compte de nombreux paramètres qui contribue à une forme
de classification de l’utilisateur pour mieux décider de ce qui est bien ou bon pour lui, surtout pour
fixer son attention et le retenir.

33
« Rapport entre les sources dépensées et la précision, le degré d’achèvement selon lesquels l’utilisateur atteint
des objectifs spécifiés » - ISO 9241-11 3.2. Cette norme couvre l’ergonomie des interactions homme-système. C’est
l’efficacité de l’efficacité soit l’optimisation des moyens.
34
Correspond au confort et à l’évaluation subjective d’un système par l’utilisateur et les autres personnes
affectées par son utilisation
127
 Figure 49 : Cartographies de l’expérience utilisateur

[Link] - consulté le 16 mars 2019

Bien sûr, nous cherchons à satisfaire le joueur, qui plus est, en fonction de son état émotionnel. Le
but n’est pourtant pas toujours d’aller dans son sens. Il faut aussi être capable de lui proposer des
événements inattendus qu’il sera, peut-être, intéressé de découvrir, de résoudre … Etre surpris fait
partie des quêtes et peut révéler de nouveaux chemins d’appréciation.
Pour ce qui est de la difficulté soumise au joueur, elle a été abordée dans de nombreux travaux de
recherche et correspond toujours à un domaine actif. Levieux (2011) dans sa thèse aborde la
difficulté comme « l’effort fourni par le joueur pour atteindre ses objectifs ». Chez Ang (2017), il
128
est traité de l’expérience du joueur (PX – Player eXperience) évoluant en fonction de l’ajustement
de la difficulté. Le dosage des paramètres comme les briques de gameplay, les 3C (controls,
cameras, characters)35, la boucle de jeu, les défis et difficultés … s’imposent aux jeux vidéo et/ou
pervasifs et/ou ubiquitaires. En ce qui concerne la difficulté, par exemple, un jeu trop difficile va
rebuter le joueur, un jeu trop facile va le frustrer (voir concept du flow chapitre 5). La difficulté,
comme nous venons de l’évoquer, est un paramètre du jeu parmi d’autres. Ce sont ces paramètres
que nous pourrons faire évoluer grâce au ressenti du joueur, à la possibilité de connaître ses états
émotionnels.
Il ne faut pas non plus confondre l’UX et l’interface utilisateur (UI – User Interface). Le schéma
ci-dessous montre les différences entre les deux. Nous avons exprimé ce qu’est l’UX. L’UI quant
à elle s’applique aux dispositifs avec lesquels l’humain peut interagir et qui sont abordés dans les
prochains paragraphes.

Figure 50 : Différences entre expérience utilisateur et interface utilisateur

[Link] - consulté le
16 mars 2019
Nous ne pouvons pas ne pas parler dans ce contexte des facteurs humains (human factors) ou de
l’ergonomie qui sont définis comme « une discipline scientifique qui s’intéresse à la
compréhension des interactions entre les humains et les éléments d’un système. Elle désigne
également la profession qui applique la théorie, les principes, les données et d’autres méthodes de
conception afin d’optimiser le bien-être humain et la performance globale d’un système » selon
l’International Ergonomics Association36. Les facteurs humains concernent à la fois des
caractéristiques cognitives, physiques et sociales. Nous les prendrons en compte le moment venu.

35
Controls = contrôle i.e. interfaces de contrôle par lesquelles on peut agir correspondant au sens du toucher,
cameras = caméras correspondant au sens de la vision nous donnent le point de vue, characters = personnages et
actions qu’ils réalisent
36
« Ergonomics (or human factors) is the scientific discipline concerned with the understanding of interactions
among humans and other elements of a system, and the profession that applies theory, principles, data and
129
On trouve également la carte de l’empathie qui permet d’exprimer ce que dit, pense, fait et ressent
l’utilisateur. « L’empathy map (carte d’empathie en français) est une synthèse visuelle des propos,
pensées, actions et ressentis d’un utilisateur – ou segment d’utilisateurs – d’un produit »37. La
figure ci-dessous est l’illustration de la carte d’empathie par son créateur Dave Gray.

Figure 51: Carte d’empathie créé par Dave Gray (XPLANE)

et développée dans l’ouvrage dont il est co-auteur : Gamestorming

Il y a deux approches selon que l’on prend le point de vue du concepteur ou celui de l’utilisateur.
Dans le 1er cas, l’approche est dite techno-centrée car centrée sur la machine. L’utilisateur doit
s’adapter à la machine. Dans le 2ème cas, l’approche est dite anthropocentrée car se fonde sur
l’humain et ses besoins. La machine doit s’adapter à l’utilisateur. L’adaptation à l’utilisateur est
complexe car elle doit prendre en compte de nombreuses caractéristiques qui lui sont liées telles
que les différences physiques, le milieu socio-culturel, les connaissances, les expériences, la
psychologie (perception, logique, analyse) … mais aussi relatives au contexte (pour une facilité
de prise en main), aux types de tâches (occasionnelles ou pas, sensibles à l’environnement,
sensibles au temps …), aux contraintes techniques (plate-forme, mémoire, bande passante,
capteurs …).

methods to design in order to optimize human well-being and overall system performance »
[Link] - consulté le 17 mars 2019
37
[Link] - consulté le 16
mars 2019
130
L’utilisateur, le joueur est au centre de nos préoccupations, donc anthropocentrées, aussi bien au
niveau du confort de prélèvement d’informations physiologiques que dans l’objectif immersif
associé aux différents types d’interactions liées aux objets entendu au sens étendu du terme.
L’interaction, activité essentielle pour nous, vient du latin « inter » et de « actio » dérivé du verbe
« agere » (agir, faire) soit, entre et faculté d’agir, activité. C’est « l’action ou l’influence
réciproque qui peut s’exercer entre deux ou plusieurs objets, corps, phénomènes ou systèmes
physiques. Elle peut en changer le comportement ou la nature » selon38. On peut relever des termes
connexes comme influence, interactionnisme, interdépendance. La définition fait apparaître un
mouvement entre les éléments et le changement d’état qui colle à notre système. En effet, comme
le précise Berthoz (1997) pour l’humain, le cerveau, à partir des sens, est un simulateur pouvant
inventer des hypothèses qu’il reçoit, traite et renvoie vers le monde. Ce mouvement est
indispensable à la connaissance de l’environnement et la perception est donc un phénomène
dynamique, actif, interactif. Alors, venons-en à l’interaction humain machine (IHM), humain
système, système pris au sens large d’environnement d’où humain-environnement.
Il y a peu encore on parlait plutôt d’interaction homme-machine. Pour des raisons que nous
connaissons, cela a évolué vers humain-machine. Le terme « homme » est remplacé par
« humain ». Néanmoins, dans une grande partie des définitions présentées nous employons la
terminologie originelle sauf pour celle plus récente.
L’IHM est, comme le dit Nicolas Roussel39, la science de l’interaction, pas celle des interfaces.
Elle couvre à la fois des phénomènes sociotechniques et aussi co-adaptatifs. Elle nécessite une
approche pluridisciplinaire. D’où la nécessité de présenter les deux concepts. Beaudoin-Lafon
(2016) retrace les 50 ans d’interaction homme-machine.
La définition de l'interaction homme-machine proposée par l'association ACM SIGCHI40 est la
suivante : « L'Interaction Homme-Machine est une discipline qui s'occupe de l'évaluation et de
l'implémentation des systèmes interactifs informatisés, pour leur utilisation humaine et en étudiant
les phénomènes majeurs qui l'entourent » tiré de APCI (2013). On peut ajouter qu'elle concerne
divers domaines d'activités comme l'informatique, l'ergonomie, le design, la psychologie - plus
spécifiquement cognitive -, et aussi la sociologie. De base, la communication homme-machine ou
homme-environnement se concrétise par un échange entre l'utilisateur et la machine ou
l'environnement, au moyen de mécanismes divers d'entrées et de sorties qui doivent être le plus
invisibles possibles, le plus naturels. Beaudoin-Lafon (2004) consolide cet aspect. On peut évoquer

38
[Link]/Dictionnaire /[Link] -consulté le 12 mars 2019
39
Directeur du centre de recherche Inria Bordeaux - Sud-Ouest et chercheur en Interaction Homme-Machine
40
The first international society for professionals, academics and students who are interested in human-
technology and human-computer interaction
131
ici aussi l’homme réparé, augmenté, amélioré où l’humain recouvre ou découvre certaines
capacités. Cela n’est pas nouveau, la jambe de bois du pirate contribuait à sa réparation.
Ces relations, cette interdépendance interviennent de manière conséquente dans tous les systèmes
d’information. De nombreux travaux sont réalisés et abordés suivant différents aspects et selon
l’angle d’approche du domaine. Ceci donne lieu à une multiplicité de définitions allant de
l’Interface Homme-Machine en passant par la Communication Homme-Machine (Caelen, 1996 ;
Hoc, 1999), la Coopération Homme-Machine (Hoc, 1998) ou l’Interface Intelligente Homme-
Machine (Kolski, 2013 ; Maybury, 1999) :
 L’Interface Homme-Machine (IHM) ou HCI (Human Computer Interface) concerne
l’ensemble des dispositifs matériels et logiciels qui rendent possible à l’utilisateur
d’interagir avec le système.
 L’Interaction Homme-Machine (IHM) ou CHI (Computer Human Interaction) ou MMI
(Man-Machine Interaction), définie plus haut, est l’ensemble des aspects d’interaction, des
phénomènes établissant un lien entre un ou plusieurs utilisateurs et un ou plusieurs
systèmes. On cherche à savoir comment les humains se servent des systèmes pour proposer
une conception plus adaptée et satisfaisante.
 La Communication Homme-Machine (CHM) prend en compte la conception globale
d’utilisation, à la fois l’interface et le processus informationnel ainsi que les aspects
techniques tels que la modalité. Les capacités de communication de la machine se sont
développées au cours du temps sans s’intéresser aux contenus ni aux objectifs et ont donné
lieu à cette dénomination (Hoc, 1999). « …, la CHM ne peut être réduite à un simple
échange d’informations, elle doit en fait assurer la coordination entre deux processus
intelligents qui se déroulent l’un dans le cerveau de l’utilisateur, l’autre dans la machine,
que ce soit pour la coordination de travaux collectifs aussi bien que pour la simulation de
tâches ou l’aide coopérative (assistance) » Caelen (1996).
 Le Dialogue Homme-Machine (DHM) est défini comme une manière particulière de
communiquer. Il existe dans ce cas une dimension relative au langage mais il ne s’agit pas
du dialogue naturel propre à l’homme puisqu’il est établi entre l’homme et le matériel.
 La Coopération Homme-Machine (CHM) est un concept qui renvoie aux activités
coopératives « intelligentes » c’est-à-dire adaptées. Ces activités peuvent améliorer les
capacités adaptatives des systèmes Homme-Machine aux différents environnements
rencontrés (Hoc, 1998).

132
  L’Interface Intelligente Homme-Machine (IIHM) est un domaine vaste qui se situe à la
croisée de plusieurs disciplines comme l’interaction homme-machine, l’intelligence
artificielle, l’ergonomie et les sciences cognitives comme l’exprime M. Mayburry :
« Intelligent User Interfaces (IUI) are human-machine interfaces that aim to improve the
efficiency, effectiveness, and naturalness of human-computer interaction by representing,
reasoning, and acting on models of the user, domain, task, discourse, and media (e.g.,
graphics, natural language, gesture). IUI are multifaceted, in purpose and nature, and
include capabilities for multimedia input analysis, multimedia presentation generation,
model-based interfaces, agent-based interfaces, and the use of user, discourse and task
models to personalize and enhance interaction. [. . . ] » Maybury (1999).
Différentes approches des interfaces utilisateur intelligentes sont également énoncées
dans le chapitre 11 de Kolski (2013).
Sans système interactif il n’y a pas d’IHM. Le schéma ci-dessous montre la place de ce système.
Il est matérialisé par l’encadré bleu. Ce système prend en compte les entrées de l’utilisateur de
manière interactive et lui fournit une représentation perceptible de son état interne associé.

Figure 52 : Schéma de base d’un système interactif

[Link]
systemes_interactifs_pour_la_maintenance_des_systemes_industriels_theorie_et_applications/fi
gures?lo=1&utm_source=google&utm_medium=organic – consulté le 28 mars 2019

Dans un système interactif, il y a la notion de réactivité. Le système doit pouvoir réagir à tout
moment, même s’il exécute une autre action. Ce n’est pas facile à faire fonctionner compte tenu
que les entrées sorties sont gérées par des algorithmes.
Pour revenir aux multiples définitions, d’autres préfèrent utiliser le terme d’interaction personne-
système. Nous utiliserons l’interaction humain-environnement impliquant l’humain et tous les
dispositifs que ce soit un ordinateur, une lampe connectée, un cerveau ou une onde. Pour plus de
détails sur tous ces aspects, on pourra consulter (Caelen, 2007 ; Cannan, 2011 ; Karray, 2008). Les
interactions sont possibles parce qu’il existe une liaison entre au moins deux éléments, dans notre

133
situation entre l’humain et l’environnement parsemé de dispositifs variés ou entre plusieurs
humains, soit directement, soit par des mécanismes ou mécaniques.

Les interfaces, quant à elles, établissent cette liaison de diverses façons. Ces interfaces, les IHM
sont prises au pluriel car il existe une grande disparité selon que l’on se tourne vers les utilisateurs,
les contextes d’utilisation, les contraintes aussi bien informatiques, économiques que politiques ou
bien encore en fonction des domaines d’application comme le web, les jeux, le calcul scientifique,
l’informatique médicale, les systèmes de contrôle, de commande… Elles sont en évolution
permanente. Une interface est donc un ensemble de dispositifs matériels, logiciels, physiques ou
non, d’ondes, permettant à l’utilisateur d’interagir avec un système interactif selon un ensemble
d’actions rendant possible cette communication (les interactions).
Nous venons de voir quelques définitions d'interfaces et d'interactions entre les humains, les
machines ou les systèmes externes. Nous pouvons compléter par le fait qu’une interface peut
également relier directement le cerveau et un dispositif externe, c'est l'interface neuronale directe
(IND), encore appelée Interface Cerveau Machine ou Interface Cerveau Ordinateur ou Brain
Computer Interface (BCI). Ce domaine est relativement nouveau et provient des avancées récentes
dans la discipline des neurosciences avec les évolutions dans le traitement des signaux,
l'apprentissage et les technologies de l'information (Rao, 2013). On peut citer aussi les travaux de
Clerc (2016) ainsi que de la communauté sur les interfaces cerveau-machine française41. La
communication directe est cependant différente des interactions que nous venons de présenter. En
effet, les signaux correspondant à l'activité cérébrale ne nécessitent pas de transformation. Ce sont
des signaux électriques directement exploitables. Une IND relie le système nerveux à un ordinateur
ou un autre dispositif sans intermédiaire, sans transformation du signal électrique et peut être
unidirectionnelle ou bidirectionnelle à ne pas confondre avec les neuroprothèses. En effet, celles-
ci, comme les implants cochléaires, se connectent au système nerveux pour fonctionner en interne
via la stimulation d’un nerf, dans notre exemple, le nerf auditif. La différence principale entre une
IND et une neuroprothèse est le mode de connexion. La neuroprothèse vient stimuler une
terminaison nerveuse. L’IND est branchée en direct au système nerveux central. Ici, nous sommes
loin des interfaces telles que les souris, les écrans, les dispositifs avec retour de force, les lecteurs
d’empreintes, les tablettes … Quelles qu’elles soient, les interfaces sont des dispositifs d’entrée-
sortie positionnés possiblement à différents endroits. Nous parlerons de leur localisation, pour
certaines d’entre-elles, en particulier les capteurs, dans la partie sur l’invasivité.

41
La communauté BCI s’est fédérée en France au travers d’un groupe national de recherche et développement sur
les interfaces cerveau-machine aux alentours de 2014 pour aboutir en 2017 à la création d’une association
« CORTICO » Collectif pour la Recherche Transdisciplinaire sur les Interfaces Cerveau-Ordinateur. [Link]
134
Selon leur utilisation, on peut parler de :
 Multimodalité, lorsqu’il y a combinaison de plusieurs moyens de communication entre
l’humain et la machine comme par exemple interactions à deux mains sur une tablette,
combinaison de la voix et du geste pour indiquer une instruction … On pourra se référer à
Abdat (2010).
 Réalité virtuelle, lorsque l’environnement est simulé par une machine et qu’il en ressort
une expérience d’immersion avec une activité sensorimotrice dans un monde artificiel.
 Réalité augmentée, mixte, diminuée, lorsqu’on superpose dans le monde réel du contenu
numérique, qu’on enlève de manière numérique des objets présents ou lorsqu’on conjugue
les deux.
 Interfaces tangibles, lorsque la technologie se déporte dans les objets avec lesquels on
interagit. « Les interfaces tangibles (en anglais, Tangible User Interfaces ou TUI) désignent
des interfaces homme-machine telles que l’utilisateur interagit avec un système numérique
au moyen d’objets physiques (Fitzmaurice et al., 1995 ; Holmquist et al., 1999 ; Hornecker
& Buur, 2006 ; Ishii, 2008a, 2008b ; Ullmer & Ishii, 2000) »42.
 Informatique vestimentaire, lorsqu’on intègre des dispositifs informatiques dans des tissus,
bijoux, accessoires divers pouvant être portés par l’humain.
 Informatique mobile, nomade, lorsqu’on dispose d’équipement, d’outils pouvant être
itinérants, ambulants.
 Objets intelligents, internet des objets, lorsqu’on dispose d’objets pouvant communiquer
du fait qu’ils disposent d’émetteurs et de récepteurs et sont dits « intelligents » de par leur
fonctionnement autonome. L’internet des objets est une forme de matérialisation de
l’internet dans notre monde réel.
 Environnement pervasif, ubiquitaire, lorsque les objets de l’environnement communiquent
avec ou sans action de l’humain. Nous développerons ce point au moment où il sera
question d’informatique diffuse de Mark Weiser et dans le chapitre sur le jeu.

Dans notre démarche, nous souhaitons que l'interaction soit la plus naturelle possible, se
rapprochant des échanges humain-humain. Rappelons que les « interactions naturelles » se
rapportent aux nouvelles modalités d’interactions faisant appel à tous les sens et aussi aux
mouvements, qui permettent aux utilisateurs de contrôler des applications non plus via un
dispositif d’indirection classique tel qu’une souris, mais par des gestes plus naturels plus intuitifs

42
[Link] - consulté le 31 mars 2019
135
avec ou sans contact. En ce sens, nous nous rapprochons de l’Interface Intelligente Homme-
Machine (IIHM) sans nous satisfaire complètement car trop restrictive. La dimension de
l’environnement n’apparaît pas dans sa définition. De plus, le i pour interface implique un
dispositif et est donc limitatif par rapport à l’interaction dans son ensemble telle que nous le
souhaitons.

2.2.2. Des dispositifs et technologies

Depuis les années 1945 environ, date des prémisses d’apparition des dispositifs d’entrées-sorties,
un long chemin a été parcouru, les évolutions technologiques sont conséquentes et bien réelles.
Elles continuent de progresser. Nous sommes passés du perforateur-lecteur de cartes à une
informatique nouvelle communicante. Les objets réels s’associent aux objets numériques avec
l’informatique tangible. Les dispositifs se portent sur le corps sous forme de vêtements ou
d’accessoires. Il s’agit de l’informatique « wearable ». Les objets « intelligents », « ambiants »
occupent notre univers réel et virtuel de façon pervasive et/ou ubiquitaire et peuvent circuler d’une
zone à une autre par mobilité, nomadisme. C’est la miniaturisation – les micro et nanotechnologies
- qui a permis d’accéder à une plus grande mobilité grâce à la diminution de l’encombrement des
dispositifs, à leur baisse de consommation, à leur autonomie prolongée. D’ailleurs, certaines
caractéristiques utilisées en micro-électronique, comme les effets quantiques (effets tunnel43),
n’apparaissent qu’à ce niveau microscopique. Axisa (2005) et Dittmar (1997, 2004, 2007)
montrent comment ont évolué les nanosciences et leurs applications dans les domaines comme
ceux de la médecine, de la santé. Il y est fait mention de dispositifs portables et ambulants, de
capteurs et de vêtements intelligents. La mobilité connectée, encore appelée nomadisme
numérique, se développe de plus en plus grâce à ces nouvelles technologies. Les objets
communicants interagissent entre eux ou avec l’homme dans un univers dit pervasif (identification
et localisation possible directement par l’objet) ou ubiquitaire (informatique intégrée, enfouie,
omniprésente dans les objets usuels intelligents du monde réel accessibles aux usagers) voire
mobiquitaire (mobile et ubiquitaire). Il est aussi fait référence dans ce cas à l’informatique diffuse.
Mark Weiser (1991, 1996) avait fait ce constat de l’informatique omniprésente, de son évolution
vers une technologie dite calme ou discrète c’est-à-dire « invisible et partout » ou encore « qui
informe mais ne nécessite pas votre attention ». Il a également illustré sa vision de l’informatique

43
L’effet tunnel est un phénomène de la physique quantique qui fait qu’un objet quantique franchit une barrière
de potentiel alors qu’il ne dispose pas de l’énergie nécessaire à ce franchissement
136
ubiquitaire au travers d’un scénario reprenant la journée d’une mère de famille portée et aidée dans
toutes ses actions, augmentant ses capacités (Weiser, 1991).
Le tableau suivant, issu des travaux de Claverie (2010) et repris dans la thèse de Marty (2015),
présente un concentré d’augmentation humaine par la technologie. Il porte sur « quelques exemples
de technologies présentées selon qu’elles sont naturelles ou aidées, gérant ou non une information
additionnelle et nécessitant ou non une action en retour ».

Tableau 7 : Quelques technologies d’augmentation humaine

Ces apports technologiques peuvent être triés selon quatre grandes classes : la cognition portant
surtout sur l’aide à la décision, le contrôle moteur avec substitution de l’élément défaillant ou
l’aide voire le perfectionnement de celui-ci, la perception et sensation portant sur l’amélioration
ou la substitution d’une fonction déficiente et enfin une classe combinant tout ou partie des trois
autres.
La perception est au centre de toute communication. La définition suivante exprime bien la
dimension portée par cette faculté. « La perception est une faculté biophysique ou le phénomène
physio-psychologique et culturel qui relie l'action du vivant aux mondes et à l'environnement par
l'intermédiaire des sens et des idéologies individuelles ou collectives ».44
La communication que nous cherchons à établir dans notre exploration devrait s’affranchir des
dispositifs et procédés envahissants même si dans un premier temps ils nous aident à comprendre
et nous servent de témoins. Passons en revue quelques-uns d’entre eux en liaison avec certains
canaux sensoriels classiques.

44
[Link] (consulté le 15 mai 2015)
137
[Link]. Dispositifs et procédés
Les dispositifs en relation avec nos perceptions sont nombreux, nous avons choisi d’examiner
certaines technologies liées aux sens comme des lunettes ou casques de réalité augmentée, des
oreillettes, des gants avec capteurs (Biet, 2007), ou traitant du goût (Ceto, 2013) et de l’odeur avec
les exemples du nez électronique45,46. Cela nous a permis de comprendre leur fonctionnement et
en quoi ils pouvaient participer au déclenchement de sensations. Certains de ces équipements en
relation avec des canaux sensoriels courants liés aux sens de base servent donc d’interfaces entre
le cerveau et l’univers. De manière simplifiée, les sens transmettent au cerveau des informations
qui sont interprétées pour construire une représentation mentale de l’environnement. Cela se
traduit par une activité électrique mesurable du cerveau. On retrouve un système approchant dans
les principes de l'interface cerveau-machine. Ils sont utilisés au moyen de matériels afin de pallier
des déficits fonctionnels (cognitifs ou moteur) mais aussi pour jouer, contrôler divers appareils
voire communiquer par la pensée.
Nous avons évoqué les canaux sensoriels de base relatifs à l’œil, l’oreille, le nez, la peau et la
langue, les cinq sens. Nous ne pouvons pas ne pas mentionner qu’il existe des capteurs
supplémentaires dans les muscles, l’oreille interne, les articulations … mais aussi les sens comme
celui du soi, de l’équilibre, de l’espace, du mouvement, de la décision … Ils sont également à
prendre en compte dans les mécanismes de perception. Ceci implique une redéfinition du terme
« sens ». Alain Berthoz (1997) écrit : « Le sens est ainsi restitué comme une direction qui
accompagne le sujet vers un but et qui est déterminé par lui ». Il indique que la classification des
sens correspond à des fonctions perceptives. Des capteurs spécifiques où certaines de leurs
caractéristiques sont utilisés par chacun des sens, les données recueillies sont ensuite filtrées par
le cerveau en fonction des buts à atteindre. Le système est très complexe, les fonctions mises en
œuvre ne sont pas localisées dans une seule partie du cerveau ou dans une seule structure. De
grands progrès ont été réalisés dans la compréhension des mécanismes mais beaucoup de chemin
reste à parcourir. Ceci nous ramène à la perception en tant que phénomène psycho-physiologique
et culturel que nous avons déjà énoncé.
Dans le chapitre sur les émotions, nous avons présenté la perception sous l’angle plutôt
physiologique, biologique, anatomique. Positionnons-nous maintenant dans le processus de
perception d’un point de vue psychologique et fonctionnel, de la psychologie cognitive. Cet aspect
est en relation directe avec l’interaction. Tijus (2004) analyse le fonctionnement de la pensée pour

45
[Link] - consulté le 6 avril 2019
46
[Link] -
consulté le 6 avril 2019
138
un meilleur apprentissage sous cet angle. Lieury (2008) explique les bases de ce domaine et nous
éclaire sur les grands principes. Quant à Dortier (2014), il nous présente l’histoire, les modèles,
les différentes disciplines ainsi que les discussions qui animent les sciences cognitives. Nos
récepteurs, nos sens reçoivent, collectent de l’information de l’environnement. Perception et réalité
diffèrent parfois comme dans le cas où deux individus peuvent percevoir et agir de manière
distincte suite à la perception d’une même information. Quoi qu’il en soit, la perception est un
processus complexe qui récupère, sélectionne, organise et interprète. Les réactions, les décisions
issues du traitement de l’information dépendent de la qualité et de la justesse de perception. De
nombreux facteurs influent sur le processus comme :
 L’individu lui-même. En effet, il perçoit en fonction de ses expériences, ses besoins, ses
motivations, sa personnalité, ses attentes, ses valeurs …
 Le contexte, l’environnement soit physique, social, organisationnel …
 Les caractéristiques de l’objet telles que le contraste, l’intensité, le mouvement, la taille, la
nouveauté …
De manière simplifiée, l’humain suit un processus général dans le cycle de traitement de
l’information qui se découpe lui-même en nombreuses étapes. La modélisation du processus de
traitement de l’information chez l’humain se traduit par trois éléments : la perception, la mémoire
et le système moteur. Le schéma, ci-dessous, très connu, expose ces éléments avec des temps de
traitement.

Figure 53 : Processus général du cycle de traitement de l’information

[Link] -
consulté le 28 mars 2019
139
On peut aussi évoquer le modèle ci-après, résultat du travail de Card (1983) incluant l’attention de
Wickens47.

Figure 54 : Traitement de l’information et attention

Schéma augmenté issu de [Link] -

consulté le 28 mars 2019

Les différentes étapes se traduisent par le processus simplifié suivant : les stimuli arrivent par les
sens et sont stockés dans l’espace sensoriel (1) à court terme. Le processeur perceptuel (2) prend
en entrée les informations provenant de (1) afin de tenter de reconnaître les éléments. Il est aidé
par la mémoire à long terme qui contient les éléments déjà connus. Le processus cognitif (3) se
saisit des éléments reconnus par (2) et réalise des comparaisons et des décisions. Il peut aussi
stocker et récupérer des éléments de la mémoire de travail (7). Le fait de penser est le rôle de (3).
Le processeur moteur (4) reçoit une action de (3) et demande aux muscles de l’exécuter. C’est ce
que l’on appelle la boucle de rétroaction (5). L’attention (6) joue comme un rôle de contrôle.
Chaque étape prend un certain temps en fonction du traitement nécessaire dont les mesures
moyennes sont indiquées sur le schéma selon le processeur requis.
Dans le chapitre sur les émotions nous avons présenté les différentes techniques de mesures au vu
des appareillages exposés, nous n’y revenons pas. Nous examinons à présent des systèmes liés au
sens qui sont soit déjà commercialisés parfois en cours d’amélioration ou encore à l’étape de
prototypes.

[Link] La vue
En matière de dispositifs, les lunettes ou casques de réalité augmentée nous apportent un nouveau
regard sur notre environnement en y intégrant du virtuel. L’oculus rift développé par l’entreprise

47
Wickens, Engineering Psychology and Human Performance, Charles E. Merrill Publishing Company, 1984
140
Oculus VR est un exemple de dispositif de réalité virtuelle utilisé principalement dans les jeux
vidéo, et, en particulier, dans le domaine médical, pour le traitement des phobies.

48

Figure 55 : Oculus

Un kit de développement DK2 est apparu offrant des applications plus réactives, précises et plus
immersives. Le problème de cinétose49 parfois appelé mal de la réalité virtuelle a été amélioré. Il
reste des points à perfectionner comme le champ de vision ou la résolution.
On peut évoquer le projet de Leap Motion North Star qui n’a pas encore vu le jour et prévoit une
plate-forme de réalité augmentée open source avec un prototype de casque associé. Il aurait un
champ de vision combiné de 100 degrés, une résolution de 1 600 × 1 400 par œil à 120 images par
seconde et une technologie optique de suivi des mains. La société en est à sa troisième version
relative à l’amélioration ergonomique du point de vue de la stabilité et la compatibilité avec des
lunettes de vue.

Figure 56 : Casque VR leap motion

[Link]
14259/ - consulté le 31 mars 2019

48
[Link] (consulté le 15 mai 2015)
49
trouble qui apparaît lors d’une discordance entre la perception visuelle et le système vestibulaire
141
La technique d’affichage appelée « enhancement view » de Laster Technologies permet d’afficher
des informations sur un verre transparent. On peut dire que ce sont des Google Glass à la française.
« Le principe de cette technique repose sur la courbure spécifique d’un dioptre semi-
réfléchissant qui renvoie l’image d’une source de lumière polychromatique collimatée50 dans le
champ de vision du porteur » avance Laster technologies.

51

Figure 57 : Lunettes de Laster Technologies

Cette technologie embarquée sur des lunettes touche différents domaines comme le sport, la
médecine… Les expériences montrent qu’il y a un problème d’adaptation des utilisateurs comme
avec de nombreuses interfaces jouant avec la perception visuelle. Les repères sont différents, ce
qui provoque la cinétose évoquée plus haut.
Le dispositif LightVision est composé d’un système d’eye-tracking et de lunettes de réalité
augmentée couplés. Les lunettes projettent des images sur la rétine qui sert d’écran. La pupille
commande le système.
Ces appareillages sont en relation directe avec la perception visuelle. Abordons maintenant la
perception auditive au cœur des dispositifs ci-après.

[Link] L’ouïe
En téléphonie, les oreillettes bluetooth ont permis de remplacer les écouteurs filaires. Des micro-
oreillettes à induction magnétique moins consommatrices d’énergie, filtrant les bruits parasites et
de plus en plus petites, améliorent les interactions de l’utilisateur. Ces dispositifs sont des moyens
de communications sans fil discrets. Ils nous intéressent également de par leur utilisation de champ
d’induction magnétique.

50
Allignée précisément
51
[Link] (consulté le 30 mai 2015)

142
 52

Figure 58 : Oreillettes bluetooth

Et de plus en plus discrètes, des oreillettes invisibles fonctionnent en bluetooth. L'émetteur

bluetooth transmet le son vers la micro oreillette par induction. Elles nécessitent l’utilisation d’un
collier amplificateur audio. Ce dispositif est relié au téléphone.

53

Figure 59 : Oreillettes bluetooth et induction

Les aides auditives ou assistants d’écoute, appareils électroniques embarqués, corrigent la perte
d’audition. Elles connaissent une évolution quant à leur dimension et à leur bibliothèque sonore.

52
[Link] (consulté le 30 mai 2015)
53
[Link] -
consulté le 31 mars 2019
143
 54

Figure 60 : Modèle d’aide auditive

Les technologies ayant évoluées, les aides auditives se sont transformées.

55

Figure 61 : Modèle d’aide auditive miniaturisée

Les procédés vont bien plus loin puisqu'il est possible dans certaines affections de retrouver tout
ou partie de l'audition grâce à des implants plus invasifs.

56

Figure 62 : Implant auditif

On trouve des appareils utilisant la conduction osseuse. L’os est l’interface avec l’oreille interne,
à savoir la cochlée, et ne passe pas par le canal auditif ni l’oreille moyenne. L’implant est dans le
tissu vivant.

54
[Link] - consulté le 30 mai 2015
55
[Link]
[Link] - consulté le 31 mars 2019
56
[Link] - consulté le 31 mars 2019
144
[Link] Le toucher
Les interfaces liées au toucher, donc dites tactiles, sont peut-être celles qui sont les plus intuitives
puisqu'elles correspondent le plus souvent au prolongement de la main ou bien s’apparentent à
notre peau comme l’e-skin.
Le professeur Haick et son équipe travaillent sur l’utilisation de nanoparticule d’or sur film
polymère pour constituer une peau électronique. Elle permet de mesurer la température, la pression
du toucher et l’humidité et pourrait permettre par exemple de remplacer des tissus humains
endommagés.

La peau électronique – épaisseur 1 micron – développée par Takao Someya de l’université de

Tokyo57

Figure 63 : Peau électronique

Le Nokia N900 avec écran tactile à retour de force par électro-vibration donne une illusion de
textures. C’est la circulation d’un courant alternatif à la surface de l’écran qui, au contact de
l’épiderme, donne une sensation de friction ou de vibration.
Une société finlandaise, Senseg58, a développé une technologie similaire où la friction entre le
doigt et l’écran reproduit différentes textures : le gazon, la soie … Pour l’instant une seule
sensation est possible à la fois.

Le gant-téléphone pour les personnes malentendantes ou malvoyantes a été conçu à l’université

de Berlin. Ce gant est muni de capteurs de pression reproduisant des signaux pour chaque lettre de

57
[Link] p2 - consulté le 17 mai 2015
58
[Link] - consulté le 17 mai 2015
145
l’alphabet de Lorm59 et permettant d’utiliser un téléphone portable. Le gant reste complexe et
encombrant.

60

Figure 64 : Gant-téléphone

Le dispositif ci-dessous a été développé par l’équipe de Betty Semail61, le STIMTAC (Stimulateur
Tactile). Il est fondé sur le contrôle de la friction entre une surface vibrante et le doigt. Ce sont des
céramiques piézo-électriques qui génèrent une onde à fréquence ultrasonore (30 khz) et
d’amplitude de 1m. Une surpression encore appelée squeeze film est créée à la surface de la plaque.
Cette variation est ressentie par l’utilisateur lorsqu’il frotte son doigt.

62

Figure 65 : Simulateur tactile

Les illusions tactiles sont plus difficiles à obtenir que les illusions optiques du fait que la physique
du toucher fait appel à des phénomènes multi-échelles (forme, glissement, orientation du bout du
doigt, souplesse) (Biet, 2007).

59
Technique de communication avec les sourds-aveugles inventée par Heinrich Landesmann. Chaque lettre est
positionnée sur la paume de la main. En touchant les lettres, on construit des mots et des phrases.
60
[Link]
ologies_au_service_du_handicap.pdf - consulté le 31 mai 2015
61
Betty Semail est professeur à Polytech'Lille (Université de Lille 1) / L2EP
62
[Link] - consulté le 31 mars 2019
146
[Link] Le goût et l’odorat
Le goût et l’olfaction sont des sens que l’on nomme « chimiques ». Ce sont des sens polysémiques.
Bien souvent, les moyens utilisés pour simuler ces perceptions sont à base de cartouches contenant
des odeurs.

Le Meta Cookie est un appareillage qui transforme la perception visuelle et la perception olfactive.
Un biscuit sans saveur prend différents goûts grâce au système qui trompe l’utilisateur à l’aide de
réalité augmentée et d’un distributeur d’odeurs associé au casque.

Figure 66 : Meta Cookie 63

Des chercheurs espagnols ont tenté d’imiter le fonctionnement de l’organe du goût à savoir la
langue. La langue artificielle ou e-langue est constituée d’un ensemble de 21 capteurs capable de
détecter différentes variétés de bière. Les électrodes sont capables de déceler des ions positifs tels
que l’ammonium et le sodium ou négatifs comme le nitrate et le chlore qui sont des caractéristiques
de types de bière. Le dispositif ne peut reconnaître que des signatures chimiques déjà connues
contrairement à ce que sait faire l’humain (Ceto, 2013).

63
[Link] (consulté le 15 mai 2015)
147
Il est vrai que la langue est un organe complexe disposant de nombreuses papilles différenciées
qui émettent des signaux spécifiques en fonction des molécules distinguées au niveau de la bouche.
Ces signaux sont ensuite envoyés au cerveau pour analyse.
Une sucette numérique à base d’éléments thermoélectriques, mise en place par Nimesha
Ranasinghe et sa collègue Ellen Yi-Luen Do de la National University de Singapour, envoie des
saveurs sucrées ou épicées en fonction de la chaleur. Les concepteurs envisagent d’intégrer ce
système à un verre ou une tasse pour donner un goût sucré aux boissons sans sucre.

64

Figure 67 : Sucette numérique

La perception gustative comme olfactive n’est pas simple à modéliser. La diversité génétique
interindividuelle est sans doute ce qui expliquerait les différences de perception entre les humains
et donc la difficulté à les simuler (Le Bon, 2010).
Depuis de nombreuses années, des équipes ont cherché à donner aux usagers la possibilité de
bénéficier des odeurs liées à des images. Un problème important était la rémanence.
Une équipe japonaise a développé un produit à base de cartouches olfactives à connecter à un
casque de réalité virtuelle. Le système fonctionnerait en bluetooth et serait placé proche du nez de
l’utilisateur. Ce dispositif déclenche un signal odorant en fonction de l’environnement virtuel
représenté. Il y a cinq cartouches possibles pouvant être remplacées et/ou installées. Pour l’instant
il existe quinze parfums.

64
[Link]
innovations-pleines-gout - consulté le 31 mars 2019
148
 65

Figure 68 : Cartouches olfactives

Un autre système, datant de 2015, associe odeurs et images de films. Il s’agit de l’odoravision. La
programmation et la diffusion d’odeurs se fait à l’aide du logiciel See-Nez. Au montage, il est
possible d’associer une odeur à une image ou à une séquence d’images. Le fichier numérique
généré contient un code pour chaque image, un code pour chaque odeur. Une enceinte olfactive se
place à côté de l’écran. La synchronisation entre l’odeur et l’image est aussi fonction de la distance
du public.

logiciel See-Nez

Figure 69 : Odoravision

65
[Link] - consulté le 31 mars 2019
149
 66

Voici leurs nouvelles odeurs mises à disposition en 2018.

67

Figure 70 : Nouvelles odeurs pour odoravision

La perception olfactive commence donc seulement à être intégrée à des systèmes. Elle connaîtra
certainement un développement futur.
Nous venons de passer en revue certains équipements en relation avec des canaux sensoriels
courants liés aux sens de base et servant d’interfaces entre le cerveau et l’environnement immédiat.
Pour rappel, les sens transmettent au cerveau des informations qui sont interprétées pour construire
une représentation mentale de l’environnement. Cela se traduit par une activité électrique
mesurable du cerveau. On retrouve un système approchant dans les principes de l'interface
cerveau-machine. Ils sont utilisés au moyen de matériels afin de pallier des déficits fonctionnels
(cognitifs ou moteur) mais aussi pour jouer, contrôler divers appareils ou communiquer par la
pensée. Nous pourrons éventuellement détourner ces outils pour rendre le jeu plus attrayant en
intervenant sur les sens.

66
[Link] - consulté le 19 mai 2015 et [Link]
[Link]/actualite-de-nos-metiers/les-odeurs-debarquent-dans-votre-home-cinema/ - consulté le 30 mai 2015
67
[Link] - consulté le 31 mars 2019
150
D’autres appareillages ont été conçus, fondés sur la communication cerveau-machine et plus
exactement sur l’activité cérébrale. Comme nous l’avons énoncé précédemment, l’activité
cérébrale peut être quantifiée et tracée. Les rythmes obtenus dépendent de l’état émotionnel, de
l’état de vigilance et de nombreux autres paramètres comme les états psychologiques,
pathologiques. L’état émotionnel est un paramètre clé dans notre étude sur les échanges homme
environnement et la rétroaction biologique. Nous présentons donc quelques exemples
d’appareillages usant de l’activité cérébrale.
Le casque NeuroSky Mindwave Mobile est un capteur de type électro-encéphalogramme (EEG).
Le casque lit, mesure et transfère sans aucun risque les données spectrales de puissance (ondes
alpha, ondes beta, etc) i.e. les ondes cérébrales via Bluetooth pour communiquer sans contact avec
l’ordinateur ou appareil sous iOS ou Android. Un convertisseur les transforme afin de piloter un
système motorisé.

Pilotage d’un servomoteur ou d’une sortie avec les ondes cérébrales (Version 12/05/2014). Il
s'agit du casque Neurosky.68
Figure 71 : Neurosky

Ce dispositif dispose d’un kit de développement69 pour écrire ses propres programmes et interagir
avec l'esprit Wave mobile, les outils de développement sont gratuits. La figure ci-dessous décrit
brièvement le casque. On peut voir deux capteurs un frontal sur le bras articulé et un au niveau de
la pince se plaçant sur l’oreille.

68
[Link] - consulté le 1er juin 2015
69
[Link] - consulté le 5 avril 2019
151
 70

Figure 72 : Description des différentes parties du Neurosky

Cet appareil nous a servi dans une de nos expériences en tant que matériau expérimental mais pas
pour mesurer des ondes cérébrales.

D’autres matériels comme le Mindflex utilise aussi les "ondes cérébrales" pour commander une
balle à travers un parcours d'obstacles. La commande se fait par le biais d'un casque et de capteurs
de type EEG. Les signaux recueillis par les capteurs sont transmis à un ventilateur qui fait léviter
la balle.
Il se joue soit en mono-joueur

soit en duel

71

Figure 73 : Mindflex

Les necomimi, qui signifient « oreilles de chat » en japonais, peuvent être portés non seulement
comme un serre-tête comportant des oreilles de chat mais aussi en queue de chat. Ils disposent de

70
[Link]
- consulté le 5 avril 2019
71
[Link] - consulté le 1er juin 2015
152
trois capteurs qui analysent les signaux électriques (type EEG) de la personne qui les porte. Les
oreilles bougent et expriment "l'émotion" du porteur en fonction de l'information recueillie et
traduite. Ce sont des jouets appartenant aux prothèses émo-kawaii. Elles offrent une forme de
communication.

72

Figure 74 : Necomimi et communication

Avec ces différents dispositifs EEG grand public nous sommes loin des matériels professionnels
mais ils peuvent faire partie d’un environnement interactif ludique.

Le dernier appareil, The audeo, est un moyen de transmettre la voix sans faire usage de sa voix. Il
détecte l’activité électrique entre le cerveau et les cordes vocales puis la transforme en un discours
sur des enceintes.

72
[Link] (consulté le
1er juin 2015)
153
 Figure 75 : Audeo

The Audeo: How It Works« Three electrode sensors on the user's neck capture electrical signals
between the brain and the vocal cords. The device's processor sends the amplified signals to
computer software, which decodes them and turns them into spoken words that can be heard
through the speakers Bland Designs ». 73

La production du langage est sous contrôle des aires sensori-motrices dans le cerveau, notamment
de l'aire motrice qui contrôle les muscles du larynx. L'Audeo est donc un appareil qui capte les
signaux électriques qui vont du cerveau aux cordes vocales. Il ne nécessite aucun mouvement
physique ni aucune intervention chirurgicale invasive et pourrait changer la façon dont les gens
interagissent avec les ordinateurs.

Au final, nous n’en sommes pas à la vision à distance, à la clairaudience, à la transmission de

pensée, la précognition ou rétro-cognition dans le sens de perception extra-sensorielle mais nous
pourrions peut-être approcher ce type de perception à l’aide d’exo-capteurs. Il est également
important d’aborder un autre domaine lié à la rétroaction qui est au cœur de l’étude. Il s’agit de la
cybernétique ou bionique. Ces éléments font l’objet de la partie qui suit.

[Link]. Autres principes : cybernétique, bionique et biométrie

La cybernétique en tant que « théorie entière de la commande et de la communication, aussi bien
chez l'animal que dans la machine » (Weiner, 2014) est un mouvement qui a donné lieu dans les
années 40 et 50 à des travaux regroupant mathématiciens, logiciens, ingénieurs, physiologistes,
anthropologues, psychologues… Les travaux portent sur la rétroaction ou mécanisme

73
[Link] (consulté le 1er juin 2015)
154
téléologique. Les conséquences de la cybernétique même si celle-ci fut très rejetée a influencé de
nombreux domaines tels que l'ingénierie, la biologie, l'informatique, la sociologie et a permis
l'émergence des sciences cognitives ou encore de la robotique. Le mot cybernétique vient du grec
« κυβερνητική » (prononcé : kyvernitikís) et désigne le pilotage des bateaux ou encore le
gouvernail. Le terme fut choisi par Norbert Wiener, fondateur de la cybernétique.

Dans les années 60 apparaît le mot bionique qui vient de la contraction de biologie et
d'électronique. Il s'agit d'une science qui construit des modèles à des fins technologiques à partir
de systèmes naturels biologiques. L'expression est récente mais le principe est ancien. L'homme a
toujours essayé de copier la nature pour inventer de nouveaux objets par mimétisme ou
biomimétisme. Les chercheurs sont toujours en quête d’études des végétaux, des animaux et des
minéraux qui restent des modèles d’inspiration. La médecine a bénéficié des progrès
technologiques de la bionique. Il est possible aujourd'hui de réaliser des membres ou des organes
capables de communiquer avec le cerveau.

Pour appréhender de nouvelles interactions associées au confort, bien-être ou plaisir, et chercher

à satisfaire des désirs, il est nécessaire de mieux comprendre l’homme. L’évolution des
connaissances, des technologies, des matériaux nous dévoile de plus en plus d’informations sur la
structure et le fonctionnement du monde et en particulier du vivant donc de l’homme. Les études
menées sont souvent issues de la biométrie. Les technologies ou techniques cherchant à mesurer
les activités électriques physiologiques en font partie et sont principalement utilisées dans le
domaine médical. Elles sont souvent envahissantes comme les techniques d’imagerie par
résonance magnétique (IRM).
Les dispositifs ou méthodes nous renseignent sur l’activité de notre corps. Ils peuvent être invasifs
(introduction dans le corps), mini-invasifs (introduction moindre dans le corps), non-invasifs (à la
surface du corps) ou encore dans un environnement proche du porteur - ce sont dans ce cas des
exo-capteurs.

Le moment est venu de clarifier l’utilisation des mots invasifs, non invasifs et tous leurs dérivés.
L’invasivité est très différente selon les approches. En effet, son utilisation dans d’autres contextes
que le nôtre change. La définition d’invasif donnée par Larousse74 indique qu’une technique
invasive est : « une méthode d'exploration médicale ou de soins nécessitant une lésion de
l'organisme ». Nous sommes d’accord avec cette définition mais nous apportons un complément.

74
[Link] - consulté le 5 avril 2019
155
Pour nous, les dispositifs sont dits « invasifs » dès qu’ils touchent le corps que ce soit de manière
intrusive pour les cellules du corps, pour les tissus ou de manière superficielle c’est-à-dire à la
surface de la peau. Dans le premier cas, des incisions ou introduction de corps étrangers sont
nécessaires, nous les définirons comme très invasifs. Il existe également des techniques mini-
invasives, elles sont, de notre point de vue, très invasives. Il s’agit de techniques chirurgicales qui
limitent le traumatisme opératoire car les incisions sont petites. Les dispositifs à la surface de la
peau que l’on dit non invasifs seront considérés invasifs ou légèrement invasifs dans notre étude
car gênant les mouvements, dérangeant l’utilisateur et entravant sa pleine immersion. Nous
définissons les appareillages comme non invasifs à partir du moment où ils sont sans contact, donc
distants, offrant une grande liberté de mouvement et d’action ou faisant partie de l’environnement
du jeu.
Notre position sur l’invasivité concerne principalement les mesures physiologiques dont nous
avons besoin et qui passent le plus souvent par des dispositifs médicaux ou s’en rapprochant et
posés sur une partie du corps ou y entrant (orifices naturels) entraînant une incommodation. En ce
qui concerne l’interaction avec le jeu, certaines interfaces peuvent être considérées comme le
prolongement du corps si elles ne sont pas trop encombrantes ou faisant partie de la communication
avec l’environnement. Une baguette interactive, ainsi un bâton de sorcier ou de mage par exemple,
ou bien encore un bracelet ou une bague peuvent être considérés comme faisant entièrement partie
du gameplay contrairement aux lunettes de réalité virtuelle dont l’encombrement et la gêne se font
bien sentir. Les aperçus ci-dessous illustrent nos propos. Les premières images montrent des
méthodes très invasives.
Le premier exemple montre un implant cérébral qui permet aux personnes atteintes de paralysie
de retrouver les fonctions motrices du bras et de la main. On constate deux parties importantes au
niveau du crâne qui correspondent aux implants intracérébraux. Ici on est en présence d’une
personne tétraplégique. Il s’agit d’un dispositif intrusif donc très invasif.

156
 75

Figure 76 : Implants cérébraux sur personne paralysée

Le deuxième exemple porte sur un dispositif implanté à l’arrière du crâne dans l’os et muni d’une
caméra servant d’œil.

76

Figure 77 : Implant transcrânien et œil robotique

C'est l'œil robotique (eyeborg) installé sur sa tête par ancrage osseux qui permet à ce daltonien
d'entendre les couleurs. Chaque couleur correspond à un son que Neil Harbisson a dû apprendre.
Sans cet œil, il voit le monde en nuances de gris. Un capteur détecte la fréquence de la couleur qui

75
[Link]
[Link] - consulté le 5 avril 2019
76
[Link] - consulté le 5 avril 2019
157
est traduite en une onde qui circule au travers de l’os du crâne jusqu’au système auditif. Cet
équipement est très invasif.
Le troisième exemple, très invasif, présente le body hacker Tim Cannon qui s'est fait implanter
sous la peau du bras un système électronique pour mesurer en permanence ses données
physiologiques transmises à un ordinateur.

77

Figure 78 : Implant sous peau pour mesures physiologiques

Les images suivantes proposent des exemples de procédés que l’on dispose sur la peau que nous
considérons aussi comme invasifs.
Le premier exemple est un cardiofréquencemètre se plaçant sur la peau au niveau du thorax. Ce
dispositif peut être gênant pour l’utilisateur du fait de sa position. Nous avons exploité ce type de
matériel afin de pouvoir le comparer à du matériel non invasif. En effet, plus on est proche de
l’organe nous procurant la mesure plus la mesure devrait être fine, d’où la nécessité d’établir un
rapprochement entre cette ceinture thoracique et la technique sans contact.

78

Figure 79 : Cardiofréquencemètre

Le deuxième exemple est bien aussi une entrave dans l’utilisation de la main. Il s’agit d’un
oxymètre qui mesure également les pulsations cardiaques. Dans le cas d’un jeu, ce matériel

77
[Link] _ consulté le 5
avril 2019
78
[Link]
cardio-run/[Link] - consulté le 6 avril 2019
158
entraverait la manipulation d’objets comme un clavier et une souris, pour ne parler que d’interfaces
très classiques en informatique.

79

Figure 80 : Oxymètre

Ce troisième exemple est l’emploi d’un casque de réalité virtuelle. Comme nous pouvons le voir
il enveloppe le visage et dispose de manettes pour l’interaction. Les manettes en soi ne sont pas
dérangeantes puisqu’elles constituent les objets à manipuler dans l’application ou le jeu et forment,
comme vu précédemment, une extension de la main pour atteindre le but. Par contre, le casque est
lourd et souvent non adapté au port de lunettes de vue. Il y a eu malgré tout de gros progrès de
réaliser dans l’élaboration des casques de ce type en particulier au niveau de la latence qui
provoquait le phénomène de « Motion Sickness80 ».

81

Figure 81 : Casque de réalité virtuelle associée à des manettes

L’exemple ci-dessous s’apparentent aux manettes dont nous venons de parler à l’instant et entre
dans les objets du jeu. Il s’agit du bâton de mage, objet appartenant totalement au jeu ou à l’univers
dans lequel évolue l’utilisateur ou le joueur.

79
[Link]
- consulté le 6 avril 2019
80
La cinétose ou mal des transports
81
[Link] - consulté le 6 avril 2019
159
 82

Figure 82 : Bâton de mage du monde réel

Pour compléter notre propos, les éléments ci-après entrent dans les dispositifs non invasifs tels que
nous l’entendons :
 Un thermomètre infrarouge comme appareil de mesure de la température sans contact. Le
thermomètre infrarouge permet la mesure de la température sans contact à travers la
radiation infrarouge d'un corps. Il intègre un rayon laser pour pouvoir indiquer le point de
mesure. Il mesure ainsi seulement la température superficielle de tout objet visible.
 Un vêtement intelligent a été créé par des chercheurs du Centre d’optique, photonique et
laser (COPL) de l’Université de Laval rendant possible la mesure à distance et en temps
réel de la fréquence respiratoire de la personne qui le porte. Ceci oblige à avoir un vêtement
disposant d’une antenne fixée sur celui-ci au niveau de la poitrine. Elle est faite d’une fibre
optique creuse dont la paroi intérieure est recouverte d’une mince couche d’argent. Un
polymère déposé sur la couche extérieure de la fibre assure la protection de l’ensemble.
«Cette antenne sert à la fois de capteur et d’émetteur des signaux induits par les
mouvements respiratoires » … « Les données peuvent être transmises au téléphone
intelligent de l’utilisateur ou à un ordinateur situé à proximité » selon le professeur
Messaddeq83. Si ce vêtement est propre à chacun et fait partie de son habillement, nous
pouvons le considérer comme non invasif, dans le cas contraire, il entre dans les dispositifs
invasifs.
 EQ-Radio84 est une technologie qui semble déduire les émotions d'une personne en
utilisant des signaux sans fil. Il transmet un signal radio fréquence et analyse ses
réflexions sur le corps d'une personne pour reconnaître son « état émotionnel » (heureux,
triste, etc.). Le facteur clé serait un algorithme permettant d'extraire les battements de

82
[Link] – consulté le 6 avril 2019
83
Younes Messaddeq est titulaire de la Chaire d’excellence en recherche du Canada sur l’innovation en
photonique dans le domaine des télécommunications et de l’information, Université Laval, depuis 2010
84
[Link] - consulté le 6 avril 2019
160
 cœur individuels du signal sans fil avec une précision comparable à celle des moniteurs
d'ECG sur le corps (Zhao, 2016).
 Une caméra thermique fournit des mesures précises, quantifiables et sans contact des
écarts thermiques sans affecter la cible. Elle peut permettre les mesures fines des
variations de la température. En fonction du modèle, les mesures peuvent être effectuées
en mouvement.

Sur la figure suivante, issue de Dittmar (2004), est mentionnée la plupart des mesures dites non
invasives et invasives pour nous. C’est une bonne synthèse des mesures potentielles pouvant être
pratiquées sur l’humain. Elle nous a permis de nous situer et de trouver différentes techniques liées
aux micro et nanotechnologies.

Figure 83 : Synthèse de mesures potentielles sur l’humain

Les micro/nanotechnologies se révèlent comme une source importante en génie biomédical. De

par la miniaturisation des composants et la baisse des coûts, l’acquisition de matériels biomédicaux
se popularise et permet ainsi un élargissement des études. De nombreux objets connectés nous
entourent et ont changé notre vie : de la brosse à dents au réfrigérateur en passant par les bracelets
ou pèse-personne permettant le « quantified self85 » ou le « self tracking86 ». Colombain (2015)

85
Qui représente la collecte et le partage de certaines données personnelles.
86
Qui permet l’enregistrement de données biologiques ou de la vie quotidienne.
161
offre une sélection d’objets connectés couvrant la santé et le bien-être, la communication, la
maison ou la vie pratique, dans ce vaste univers des objets usuels dotés de fonctions de
communications et d’une forme d’intelligence.

Les capteurs non invasifs constituent une piste intéressante dans notre projet pour les raisons
évoquées plus haut. Parmi les capteurs légèrement invasifs, du fait de leur présence en surface de
la peau, présentés en annexe 10, il y a ceux dits thermo-vasculaires qui mesurent les
caractéristiques de thermorégulation comme la température (T°), ceux dits bioélectriques qui
mesurent les variations électriques à la surface du corps comme l’activité électrodermale (GSR)
ou des muscles et ceux dits cardio-respiratoires qui mesurent la fréquence cardiaque (CFM) ou
respiratoire (respiration).
Nous nous sommes servis de quatre de ces capteurs (GSR, CFM, T° et respiration) dans les
premières expérimentations présentées en annexe 10. Il s’agit dans l’étude globale de trouver les
pendants distants offrant les mêmes données de manière à pouvoir appliquer notre modèle
d’analyse présenté dans le chapitre sur les données. Nous avons envisagé et évoqué certains
procédés distants pour remplacer nos capteurs de contact comme l’infrarouge, les radio fréquences.
Ils feront l’objet d’une autre étude.

2.3. Affectique

Pour faire écho au chapitre sur les émotions qui sont au cœur de nos préoccupations, tout comme
les procédés permettant à l’humain d’obtenir un environnement qui s’adapte à son état émotionnel,
ce chapitre sur les interactions a montré l’importance de prendre en compte l’utilisateur. Tout le
monde s’accorde sur le fait que l’émotion est fondamentale dans l’expérience humaine, quelle
qu’elle soit, car elle influence la cognition, la perception et les actions quotidiennes telles que
l’apprentissage, la communication et les prises de décisions. Les concepteurs d’applications, de
produits, de matériels divers, d’interactions se sont rendus compte qu’ils ont eu tort d’ignorer les
émotions car elles impactent notre vie, nos choix. Depuis quelques années, elles sont au centre des
investigations. Il est vrai que les mesurer est complexe. La recherche s’en est saisie et a donné
naissance au domaine combinant l’ingénierie, l’informatique, la psychologie, les sciences
cognitives, les neurosciences, la sociologie, la psychophysiologie, l’éthique… que l’on nomme
« l’affective computing » ou « l’informatique affective ».

162
2.3.1. Définition

Ce terme d’affective computing est issu d’un texte fondateur de Rosalind Picard (1995, 2000,
2004) qui dit que « l’informatique affective est une informatique qui se rapporte à, découle de, ou
influence délibérément des émotions » 87 ou d’autres phénomènes affectifs.

2.3.2. Les voies de l’informatique affective

L’affective computing fédère trois grandes voies :

 la reconnaissance des émotions humaines
 le raisonnement et la prise de décision associant les informations émotionnelles
 la génération d’expressions émotionnelles via la programmation.

La détection, l’interprétation, la compréhension des émotions leur simulation et le déclenchement

d’une action associée sont du domaine de l’intelligence artificielle (IA). Heudin (2017) permet de
se familiariser avec cette IA de façon simple et ludique au travers des « en-jeux » scientifiques,
communautaires, économiques et éthiques.
Nous sommes tout à fait dans cette mouvance puisque nous cherchons à détecter, par le biais
d’interactions, une biométrique des états émotionnels afin d’y lier une action adaptée.
Plutôt qu’informatique affective ou informatique émotionnelle, nous préférons le terme
d’affectique car ce n’est pas l’informatique qui a trait aux émotions ou qui concerne les sentiments
ou émotions. L’informatique est une technique, un outil de traitement et de restitution, d’où
affectique pour traduire la science du traitement informatisé de l’affect, l’affect étant, comme
indiqué dans wikipédia, « un état d’esprit tel qu’une sensation, une émotion, un sentiment, une
humeur ».
Si l’émotion est fondamentale dans l’expérience humaine, sa compréhension est indispensable
dans la conception des technologies, de l’environnement et nécessite l’utilisation de
l’informatique, de l’intelligence artificielle, des sciences cognitives… C’est en cela que les
interactions humain environnement vont changer.
Contrairement aux travaux menés en robotique ou autour des agents virtuels, en matière de
simulation ou d’expression émotionnelle, notre but n’est pas de permettre à la machine de disposer
d’émotions pour ressembler à l’humain mais d’être en capacité de découvrir les émotions ou états
émotionnels de l’utilisateur afin de lui transmettre et/ou proposer une réponse adaptée à l’activité
en cours. Ainsi, en connaissant ses états émotionnels, il sera possible de lui fournir des scénarii et

87
« I call « affective computing, » computing that relates to, arises from, or deliberately influences emotions »
163
lui faire vivre d’autres émotions et, au final, grâce aux technologies de pointe de se trouver ou se
retrouver.
Dans la modélisation des émotions au niveau des machines, il n’y a aucun réel sentiment. Elles ne
font que ce pour quoi elles sont programmées, même si elles peuvent sembler comprendre et
simuler des expressions émotionnelles dans les gestes, les expressions vocales ou faciales comme
certains robots tels que Pepper, humanoïde conçu pour l’interaction avec les humains, Paro, le
robot émotionnel socio-éducatif utilisé dans l’animation, les thérapies pour les malades
d’Alzheimer et maladies apparentées, Matilda, un PaPeRo (Partner Personal Robot – robot
partenaire personnel), destiné à tenir compagnie aux personnes handicapées et aux personnes âgées
ou Buddy, le premier robot compagnon familial. C’est l’humain par transposition, projection
personnelle qui rend la machine ou l’objet presque anthropomorphique.

2.4. Conclusion

Dans cette partie, nous avons énoncé différentes définitions relatives aux interactions et à la
manière de les aborder intelligemment, en mettant l’utilisateur, l’expérience utilisateur, au cœur
de la réflexion. Nous avons ainsi pu montrer combien de nombreux paramètres influent sur le
processus de perception via les sens. Les émotions, par exemple, sont un facteur primordial. Nous
avons exposé différents dispositifs sensoriels plus ou moins invasifs pouvant simuler des situations
plus ou moins immersives. Comme nous nous sommes fixés, pour une plus grande liberté d’action,
d’immersion et de bonne communication, de remplacer le matériel de captation de surface corporel
et invasif par des éléments non invasifs, la première phase du travail a consisté, au vu de l’existant,
en l’emploi de capteurs de contact afin d’établir un système étalon, une référence, avant d’en
changer. Les micro et nano technologies nous ont offert des possibilités auxquelles nous n’aurions
pas pu accéder il y a encore quelques années. Nous avons également cherché d’autres moyens
d’obtenir des indicateurs biologiques. La prospection a donné des pistes de substitution à base
d’ondes radio, infrarouges … Il faudra par la suite s’assurer que les relevés soient équivalents.
C’est l’intelligence artificielle au sens large qui nous aidera à prendre des décisions grâce à des
méthodes mathématiques, statistiques et d’apprentissage dont nous avons parlées dans le chapitre
sur les données. C’est elle qui nous permet de détecter les schémas de conception de
reconnaissance d’états émotionnels, de patrons. Et contrairement à ce que l’on pourrait penser, elle
ne constitue pas la source émotionnelle, elle n’exprime pas les émotions comme le dit Heudin
(2017), elle constitue l’outil indispensable à la construction d’algorithmes d’analyse, de

164
compréhension et de propositions. Tout comme nous avons défini et soumettons le terme
affectique à la place d’informatique affective afin de mieux nous positionner.
Notre travail ne se restreint pas à cela. Il s’intéresse aussi aux moyens à mettre en œuvre dans le
jeu à savoir les outils et interfaces interactives comme par exemple le tissu et l’encre conducteurs
ou autres dispositifs visuels ou sonores tels que présentés dans le chapitre sur les réseaux et faisant
partie de l’univers ludique. Pour l’instant, nous nous focalisons sur un espace interactif ambiant,
jeu pervasif appréhendé dans le chapitre 5 sur le jeu. Nous voulons aussi, par la suite, nous
intéresser au jeu vidéo sous sa forme plus classique.
Au final, notre projet se veut de proposer de nouvelles interactions sur deux plans :
- Le plan des mesures biométriques
- Le plan interactionnel ludique.

165
2.5. Bibliographie

Abdat, F. 2010 Reconnaissance automatique des émotions par données multimodales : expressions
faciales et signaux physiologiques – thèse soutenue le 15 juin 2010 à l’université Paul Verlaine de
Metz

Ang, D., 2017. Difficulty in video games. ACM C&C’17 june 2017 Singapore

APCI, 2013 « Le design des interfaces numériques en 170 mots-clés : des interactions homme-
machine au design interactif, Dunod, Paris 2013

Axisa F., Schmitt P.M., Gehin C., Delhomme G., McAdams E., and Dittmar A., Flexible
Technologies and Smart Clothing for Citizen Medicine, Home Healthcare, and Disease
Prevention, IEEE transactions on information technology in biomedicine, vol. 9, n° 3, September
2005

Beaudouin-Lafon, M., 2016 50 ans d’interaction homme-machine : retours vers le futur.

Interstices, INRIA, 2016. 〈inria-00174327v2〉

Beaudouin-Lafon M., 2004 Designing interaction, not interfaces, AVI '04 Proceedings of the
working conference on Advanced visual interfaces pp 15-22 ACM DL

Berthoz, A., 1997 Le sens du mouvement, Odile Jacob

Biet, M. 2007 Conception et contrôle d'actionneurs électro-actifs dédiées à la stimulation tactile –

thèse soutenue le 13 décembre 2007 à l’université des sciences et technologies de Lille spécialité
Génie électrique

Caelen J. et al., OFTA 1996 Nouvelles Interfaces Homme-Machine, Observatoire Français des
Techniques Avancées, Diffusion Lavoisier, Paris Décembre 1996, ISBN 2-906028-04-5.
Chapitre 1

Caelen J., 2007 Interaction et pragmatique : jeux de dialogue et de langage, Science informatique
et SHA, Hermès science publications, 2007

Calvary G. et al., 2016 Composition opportuniste de fragments d'IHM pour une interaction
adaptative en environnement ambiant. Ubimob 2016, Lorient, juillet 2016.

Cannan J., Hu H., 2011 Human-Machine Interaction (HMI) : A survey, Technical report : CES
508, School of Computer Science & Electronic Engineering, University of Essex

Card, S.K., Moran, T.P., Newell, A., 1983 The Psychology of Human-Computer Interaction,
Editions Lawrence Erlbaum Associates, 1983

Cetó, X., Gutiérrez-Capitán, M., Calvo, D., del Valle, M. 2013 Beer classification by means of a
potentiometric electronic tongue - Food Chemistry Volume 141, Issue 3, pp 2533-2540

Claverie B. 2010 L’homme augmenté, Néotechnologies pour un dépassement du corps et de la

pensée. Col: Cognition et Formation. L’Harmattan. 2010.

166
Clerc, M., Bougrain, L., Lotte, F., 2016 (sous la direction de). Les interfaces cerveau-ordinateur 1
- fondements et méthodes – Editions ISTE

Clerc, M., Bougrain, L., Lotte, F., 2016 (sous la direction de). Les interfaces cerveau-ordinateur2
- technologies et applications – Editions ISTE

Colombain, J., Lecomte, Y., Sorel, F. 2015 Ces objets connectés qui vont changer votre vie –
Editions First

Dittmar, A., Gehin, C., Delhomme, G. 2004. Spécificités des micro et nanotechnologies liées au
biomédical.

Dittmar, A., Delhomme, G, Roussel, Ph., Barbier, D. 1997. Les microcapteurs et microsystèmes
biomédicaux - Revue de l’électricité et de l’électronique n° 8 septembre 1997

Dittmar, A., Gehin, C., McAdams, E., Rmon, C., Meffre, R., Nocua R., Delhomme, G. 2007
Microcapteurs, vêtements, habitats intelligents pour le monitoring permanent : impact sociétal et
éthique, Editions Dalloz, 3e partie du livre La nanomédecine – Enjeux éthiques, juridiques et
normatifs décembre 2007

Dortier, J.F., 2014 (sous la direction de). Le cerveau et la pensée, le nouvel âge des sciences
cognitives sous la direction de Jean-François Dortier, Editions Sciences Humaines

Heudin, J.C., 2017 Intelligence Artificielle – Manuel de survie, Editions Science eBook

Hoc, J.M. 1999 Conditions et enjeux de la coopération homme machine dans le cadre de la fiabilité
des systèmes. In J. G. Ganascia (Eds.), Sécurité et cognition (pp. 147-164). Paris : Hermès.

Hoc, J. M. 1998 L'ergonomie cognitive un compromis nécessaire entre des approches centrées sur
la machine et des approches centrées sur l'homme, Actes du colloque « Recherche et Ergonomie
», Toulouse, février 1998

Karray F., Alemzadeh M., Abou Saleh J., Nours Arab M., 2008 Human-Computer Interaction:
Overview on State of the Art, International journal on smart sensing and intelligent systems, vol.,
n° 1, march 2008

Kolski, C., Boy, G.A., Mélançon, G., Ochs, M. &Vanderdonckt, J. 2013. Fertilisation croisée entre
interaction personne-système et intelligence artificielle. Marquis P., Papini O., Prade H. (eds).
L'intelligence artificielle : frontières et applications. Editions Cépaduès, Toulouse, France, Vol. 3,
Chapitre 11, pp. 1117-1141.

Le Bon, A.M., Briand, L., 2010. La Lettre d’ORL et de chirurgie cervico-faciale - Dossier
thématique Spécial “Odorat” - n° 321 - avril-mai-juin 2010

Levieux, G., 2011. Mesure de la difficulté des jeux vidéo – thèse de doctorat du Cnam 2011

Marty D. 2015 Le patient d’hier d’aujourd’hui et de demain dans l’enjeu des reconstructions
maxillo-faciales – thèse soutenue en chirurgie dentaire le 5 mars 2015 à l’université de Toulouse
III

Lieury, A., 2008 Psychologie cognitive Dunod

167
Maybury, M. T. 1999 Intelligent user interfaces : an introduction (tutorial notes).

Nielson, J., 1994. Usability Engineering - Edition Morgan Kaufmann, 1994

Picard R.W. 2004 Affective computing : challenges, rapport interne du MIT Media Lab
Cambridge, MA USA 2004

Picard R.W. 2000 Affective computing - MIT Press 2000

Picard, R.W., 1995 Affective computing – MIT technical report n° 321

Rao P.N.R., 2013 Brain Computer Interface - An introduction, Cambridge University Press, 30
septembre 2013

Roudaut A., Coutaz J., 2006 Méta-IHM ou comment contrôler l’espace interactif ambiant, Ubimob
2006, Cnam Paris septembre 2006

Tijus, C., 2004 Introduction à la psychologie cognitive, Armand Colin

Weiser, M., 1991 The computer for the 21st century. Scientific American, 265(3), 94-104, 1991
Weiser, M., Brown J.S., 1996 The coming age of calm technology, Xerox Parc, 1996
Wickens, C.D. (1984). Engineering Psychology and Human Performance, Charles E. Merrill
Publishing Company, 1984
Wiener, N., 2014 La Cybernétique : Informatique et régulation dans le vivant et la machine, Seuil
Zhao, M., Fadel, Adib F., Katabi, D., 2016 Emotion Recognition using Wireless Signals -
MobiCom’16, October 03 - 07, 2016, New York City, NY, USA

168
2.6. Sitographie

eXpérience Utilisateur. (s.d .) dans « User Experience is the way you experience the world, it's the
way you experience your life, that's the way you experience the service, or yeah, an app or a
computer system — But it's a system that's everything. » Repéré le 23 mars 2019
[Link]

Facteurs humains. (s.d.) dans « Ergonomics (or human factors) is the scientific discipline
concerned with the understanding of interactions among humans and other elements of a system,
and the profession that applies theory, principles, data and methods to design in order to optimize
human well-being and overall system performance ». Repéré le 17 mars 2019
[Link]

Empathy map. (s.d.) dans usabilis. Repéré le 16 mars 2019

[Link] -

Interfaces tangibles. (s.d.) dans oatao. Repéré le 31 mars 2019

[Link]

Invasif. (s.d.) dans Larousse. Repéré le 5 avril 2019

[Link]

Perception. (s.d.) dans wikipedia. Repéré le 15 mai 2015

[Link]

Nez électronique. (s.d.) dans neosepro. Repéré le 6 avril 2019

[Link]

Nez électronique. (s.d.) dans cea-tech. Repéré le 6 avril 2019

[Link]
[Link]

169
170
 Chapitre 3
Mise en réseaux

« Les ordinateurs, ces machines qui sans doute rendront paradoxalement à

l'homme le sens de sa dignité et de sa liberté » Pierre Demarne et Max Roquerol

« Il ne sert à rien d’éprouver de beaux sentiments si l’on ne parvient pas à les

communiquer. » Stefan Zweig

3. RESEAUX ET MISE EN PLACE DES DISPOSITIFS DE COMMUNICATION ....... 173

3.1. INTRODUCTION ........................................................................................................................................... 173
3.2. PLATE-FORME SANS FIL ................................................................................................................................ 174
3.2.1. Les capteurs – nos capteurs .............................................................................................................. 175
3.2.2. Les réseaux de capteurs sans fil ........................................................................................................ 179
3.3. ARCHITECTURE SELECTIONNEE ....................................................................................................................... 195
3.3.1. Matériel ............................................................................................................................................. 196
3.3.2. Logiciel............................................................................................................................................... 203
3.3.3. Fonctionnement ................................................................................................................................ 205
3.4. CONCLUSION.............................................................................................................................................. 205
3.5. BIBLIOGRAPHIE ........................................................................................................................................... 207
3.6. SITOGRAPHIE.............................................................................................................................................. 209

171
172
3. Réseaux et mise en place des dispositifs de communication

3.1. Introduction

La micro-électronique et les communications sans fil connaissent un essor de par leur

miniaturisation, leur coût en baisse, leurs faibles besoins en énergie.
Nous avons ainsi pu manipuler dans nos premières expérimentations des capteurs physiologiques
de contact sans fil afin de nous extraire des enchevêtrements de fils même si la plate-forme
expérimentale était fixe. Cela nous a donné de l’aisance. La collecte des données s’est faite par le
biais d’une communication sans fil radio, d’un récepteur transférant les mesures recueillies des
biocapteurs directement au PC ou aux sorties analogiques et également d’un convertisseur
numérique-analogique. Ce matériel est décrit dans l’annexe 10 relative aux expérimentations
initiales.

L’approche sans fil dans l’installation d’un jeu pervasif88 s’impose. En effet, comme nous l’avons
déjà mentionné, l’utilisateur se meut dans un lieu réel et aucune entrave ne doit le gêner, ni fil, ni
dispositif invasif, pour une bonne attention et une meilleure immersion. Il s’avère que la
communication entre les différents dispositifs et l’utilisateur doit être transparente et pratiquement
invisible au sens de Mark Weiser (1991, 1996). Nous souhaitons de ce fait utiliser des ondes et,
aussi, remplacer les capteurs physiologiques de contact par des matériels distants proposant les
mêmes services dont la récupération des mêmes données.
Dans notre projet, plusieurs types de communications sont à considérer pour prendre en charge :
 La collecte des données physiologiques provenant de l’utilisateur et devant être stockées
sur un disque pour analyse
 La collecte des actions du joueur pour le jeu
 L’envoi des feedbacks en fonction des collectes et analyses qui en résultent et du jeu.
Fondamentalement, nous devons disposer d’un réseau informatique sans fil assurant la
communication entre l’ordinateur central, les différents capteurs interactifs, les dispositifs de
captation des mesures physiologiques et le jeu.

88
Voir le chapitre sur le jeu
173
Les réseaux de capteurs sans fil (RCSF ou WSN Wireless Sensor Network) répondent à l’absence
de câblage, facilitent les déplacements et peuvent assurer la ou les communications requises.
Notre travail ne porte pas sur la mise en place de nouveaux réseaux de communication sans fil, il
consiste à décrire ce que l’on peut utiliser pour réaliser notre plate-forme et notre prototype. Le
réseau envisagé dans un premier temps reprend tout simplement des dispositifs faciles à acquérir
et que nous avons déjà manipulés. Au-delà de la thèse, nous avons d’autres perspectives au vu des
travaux sur l’ordonnancement et le routage menés par Lilia Lassouaoui (2018). Néanmoins, nous
proposons de décrire la structure, l’architecture et les fonctionnalités du réseau sur lequel nous
avons ébauché une approche afin d’offrir des interactions à distance quant à la collecte des données
physiologiques, d’abord à partir de biocapteurs de contact puis de matériels distants, des actions
du joueur et des retours de jeu. Les informations de base sur les réseaux ont été puisées de
différents ouvrages et sites. On peut signaler les livres de Pujolle (2018), de Tanenbaum et
Wetherall (2011) et de Servin (2013).

Ce chapitre a pour objectif de présenter différents types de capteurs ainsi que les réseaux sans fil
disponibles de manière à concevoir notre plate-forme de communication et d’environnement.
Notre sélection sera développée et s’orientera, pour conclure, vers des propositions formulées qui
feront l’objet d’essais.

3.2. Plate-forme sans fil

Un réseau sans fil est un réseau informatique qui relie différents systèmes ou éléments en les
interconnectant par des ondes. Notre système est composé de plusieurs dispositifs tels que capteurs
physiologiques ou équivalents, capteurs tactiles, photodiodes, capteurs sonores, capteurs visuels,
caméra, ordinateurs … répartis dans un environnement clos et communicant. Nous nous plaçons
dans un réseau dit personnel, car il couvre de faibles distances de l’ordre de quelques mètres,
encore appelé WPAN pour Wireless Personal Area Network.
Pour information, le schéma ci-après montre ce que l’on appelle le spectre des ondes
électromagnétiques. On peut voir sur cette figure que la plage de la lumière visible est très étroite
et que plus on se déplace vers la droite, plus la fréquence augmente et plus la distance diminue, et
inversement.

174
 Figure 84 : Spectre des ondes électromagnétiques

[Link] - consulté le 26 janvier

2019

3.2.1. Les capteurs – nos capteurs

Il existe différents types de capteurs. Nous allons tout d’abord expliquer ce qu’est un capteur et
ses caractéristiques avant de les présenter puis en quoi consiste un réseau de capteurs.

[Link]. Généralités sur les capteurs

Un capteur est un dispositif capable d’acquérir des grandeurs physiques à mesurer (mesurandes :
m) et de les transformer en grandeurs physiques exploitables (s) qui s’expriment de la façon
suivante : s=f(m) où f est la fonction qui caractérise le capteur. Il est le premier élément d’une
chaîne d’acquisition et délivre un signal en sortie. La tendance actuelle est au développement de
capteurs dits « intelligents » à microprocesseurs.
Un ensemble de critères usuels définit un capteur comme :
 la grandeur physique observée
 le temps de réponse
 la plage de mesures ou étendue de mesures qui se traduit par une valeur minimale et une
valeur maximale

175
  la résolution qui est exprimée par la plus petite variation perceptible par le capteur
 la précision qui est la valeur la plus proche de la valeur vraie, celle que l’on cherche à
mesurer
 la sensibilité qui représente le facteur de proportionnalité entre le signal de sortie et la
grandeur mesurée
 la bande passante qui représente la gamme de fréquences pour laquelle fonctionne le
capteur. Elle exprime la rapidité du capteur i.e. sa capacité de réponse aux variations du
mesurande au cours du temps
 la linéarité qui signifie que les valeurs de sortie sont proportionnelles aux valeurs d’entrée
 la fidélité qui montre qu’on obtient les mêmes résultats pour les mêmes détections
 l’hystérésis qui correspond au retard de l’effet sur la cause (le résultat dépend de la mesure
précédente).

D’autres caractéristiques font partie également du choix d’un capteur comme l’encombrement, le
coût, la consommation et la facilité de mise en œuvre.

La figure ci-dessous explique le fonctionnement d’un capteur en présentant la chaîne

d’information d’un système, la chaîne d’acquisition, de traitement et de communication.

Figure 85 : Fonctionnement d’un capteur sur toute la chaîne

[Link] - consulté 21 juillet 2017

176
Il y a deux grandes familles de capteurs : les capteurs passifs et les capteurs actifs. Les premiers
ont besoin d’une énergie extérieure pour fonctionner, l’application d’une tension pour donner un
signal de sortie. Leur modélisation est obtenue par l’impédance équivalente à la résistance dans un
circuit électrique à courant continu. Suivant les mesurandes, les effets nécessaires à la mesure sont
mentionnés dans le tableau suivant :

Tableau 8 : Capteurs passifs

[Link] - consulté le 10 novembre 2018

Les seconds transforment directement les captations en grandeur électrique. Leur sortie est
assimilée à un générateur et correspond à une différence de potentiel. Ces capteurs sont décrits
comme des dipôles actifs pouvant être de type courant, tension ou charge électrique.
Le tableau suivant illustre les effets utilisés en fonction des mesurandes.

Tableau 9 : Capteurs actifs

[Link] - consulté le 10 novembre 2018

Nous ne présenterons pas la constitution d’un détecteur, ni les différentes informations transmises
par les capteurs ni la représentation des signaux. Pour plus d’informations on pourra compulser
Bissieres (2008) et Asch (2017).

177
Sans entrer dans le détail du signal, les capteurs sont classés par le type de signal transmis. Ainsi,
les capteurs très répandus en automatisation sont les capteurs à signal tout ou rien appelé TOR. Ce
signal est binaire. En général, ces capteurs sont appelés détecteurs. Ils sont utilisés par exemple
dans les détections de position pour un interrupteur. Les capteurs à signal analogique traduisent
des valeurs de température, de pression, de position … Le signal varie dans ce cas entre deux
valeurs limites. Quant aux capteurs à signal numérique, ils produisent des signaux qui sont la
combinaison de bits. Baudouin et Lavabre (2007) proposent une exploration rapide d’un ensemble
de dispositifs et de leur utilisation. C’est un bon ouvrage pour les non spécialistes et constitue une
bonne approche quant aux choix et solutions.
Les catégories de capteurs seront abordées car elles permettent d’appréhender ceux qui ont été ou
seront utilisés pour le projet. Il est distingué les capteurs avec ou sans contact dans lesquels on
trouve la détection électromécanique et les codeurs optiques.
Les capteurs avec contact nécessitent un contact direct pour détecter et mesurer le phénomène
recherché. Ce sont ceux dont nous nous sommes servis dans nos premières expériences et que nous
souhaitons transposer ou remplacer. Alors que les capteurs sans contact travaillent à une certaine
distance des phénomènes pour les détecter et les mesurer.
Les capteurs recensés sont nombreux et nous n’en présentons qu’un petit échantillon :
 Les capteurs inductifs jouent sur le champ magnétique. Lorsqu’un objet entre dans leur
champ, il se produit une perturbation de ce champ que l’on peut mesurer.
 Les capteurs de sons sont utilisés dans les microphones ou bien encore dans les
hydrophones.
 Les capteurs de courant, comme le capteur à effet Hall, produit une tension représentant le
courant à mesurer ou à visualiser.
 Les capteurs piézo-électriques, qui se polarisent électriquement sous l’action d’un effet
mécanique et se déforment sous l’action d’un effet électrique ; à corde vibrante, qui
mesurent les variations d’allongement ; baromètres, qui mesurent la pression
atmosphérique … sont des capteurs de pression.
 Les capteurs composés d’un émetteur de lumière associé à un récepteur sont des capteurs
photoélectriques ou optiques où la détection se fait par coupure du faisceau lumineux. Les
cellules photoélectriques, les photodiodes … font partie des capteurs de lumière.
 Les thermomètres, les thermistances, les thermocouples, les pyromètres … appartiennent
à la famille des capteurs de température.

178
[Link]. Les capteurs utilisés et pressentis
Nous avons utilisé des capteurs physiologiques lors de nos expérimentations. Il s’agit de capteurs
de contact. Par exemples, un capteur de type corde vibrante a été exploité pour la mesure de la
fréquence respiratoire nous permettant d’obtenir des valeurs d’allongement lors de l’inspire et de
relâchement à l’expire ou encore un capteur de type température afin de mesurer les variations
thermiques à la surface de la peau. Nous envisageons dans notre jeu d’employer différents types
de capteurs ou dispositifs, pour remplacer les capteurs de contact mesurant les variables
physiologiques, pour les stimuli générés par le jeu tels que des feedbacks visuels, sonores et tactiles
ou encore correspondant aux actions du joueur ainsi que ceux entrant dans la composition du
réseau servant aux communications. Comme nous l’avons déjà mentionné, nous utiliserons en
particulier des dispositifs à base d’ondes.
La liaison entre tous nos dispositifs nécessite la mise en place d’un réseau de communications.
Nous allons aborder le sujet afin de montrer qu’en fonction des objectifs attendus et des contraintes
liées à l’étude, le choix des techniques est aussi une étape à part entière.

3.2.2. Les réseaux de capteurs sans fil

Un réseau est un ensemble d’entités interconnectées communicant. A cela, il est possible d’ajouter
des caractéristiques comme le fait que la communication s’effectue par le biais d’ondes de rayons
de différentes portées. Les échanges répondent à des règles matérielles et/ou logicielles précises.
Les dispositifs pouvant généralement évoluer dans un environnement sans fil sont par exemple les
capteurs sans fil, les drones, les smartphones, les objets connectés ou encore les étiquettes
intelligentes.
L’interconnexion de capteurs sans fil autorise la mobilité. De nombreuses applications sont mises
en œuvre dans plusieurs domaines : militaire (surveillance des mouvements de l’ennemi, détection
de mines ou de matières chimiques …), agricole (gestion optimale des procédés, des terrains …)
environnemental (détection de fuites toxiques, aléas météorologiques …), médical (surveillance
des paramètres vitaux, de la glycémie …), domotique (détection de présence, manipulation et
surveillance du chauffage, contenu du réfrigérateur …), commercial (suivi de marchandises, de
stock …) et qui se retrouvent dans l’Internet des Objets, IdO (IoT – Internet of Things)89. Nous
nous sommes inspirés des différents secteurs et, bien sûr, en priorité, du domaine médical en ce
qui concerne les mesures physiologiques. Nous pouvons d’ailleurs citer Noury (2009) qui réalise

89
[Link] - consulté le 16 janvier 2019 - donne une
explication succincte de l’histoire et des définitions relatives aux objets connectés.
179
une synthèse sur les techniques de télé-monitorage médical (capteurs, algorithmes et réseaux) mais
sans interaction. Il s’agit d’observations.

[Link]. Positionnement et définition

Nous avons besoin tout au long de l’expérience du jeu non seulement de surveiller, de détecter, de
mesurer des paramètres divers mais aussi de transmettre ces informations à une unité de calcul
centrale pour traitement puis, de renvoyer, si nécessaire, un message sous différentes formes au
joueur. Ces informations transitent par un système de communication sans fil pour les principes
évoqués plus avant. Pour l’instant le périmètre est limité à une pièce mais pourrait s’étendre à un
ensemble de pièces voire davantage.

Un réseau de capteurs sans fil correspond donc bien à nos attentes sachant qu’un tel réseau est
avant tout un réseau sans câble c’est-à-dire un moyen de communication radioélectrique où chaque
équipement est distant de l’autre et dispose d’un moyen sans fil qui permet l’envoi et/ou la
réception des signaux et des données. Il est défini comme un réseau de petits dispositifs que l’on
appelle nœuds capteurs répartis dans l’espace ou environnement. Ils coopèrent et communiquent
des informations collectées dans l’environnement, dans la zone d’intérêt. Les données sont
envoyées de nœud en nœud à un collecteur ou un autre réseau. Un article de Rawat (2014) en fait
un état assez complet.
Les réseaux sans fil ou WLAN (Wireless Local Area Network) fonctionnement sur la base de
normes. La norme la plus connue est la norme Wifi (Wireless Fidelity) encore connue sous
l’intitulé 802.11. Pour plus de détails sur les RCSF en général, il est possible de consulter Challal
(2008) qui fait une synthèse de différentes applications. Trois propriétés émergent des RCSF : la
facilité de déploiement, l’ubiquité de l’information et le coût réduit pour les installer. Nous
présentons ci-après les structures de RCSF sur lesquelles nous pouvons nous appuyer pour le
développement de notre recherche.

[Link]. Présentation succincte du fonctionnement des RCSF et topologies

Le RCSF est composé de capteurs placés dans un environnement qui constitue une zone d’intérêt.
Les capteurs employés sont fonction des besoins et de leurs propriétés.
Le schéma (figure 86) un peu plus loin illustre un exemple de réseau de capteurs sans fil classique
avec différentes topologies : étoile (star), arbre (tree), maillé (mesh), et met en évidence la zone
d’intérêt, les nœuds. Chaque nœud dispose de caractéristiques qui en font un nœud coordinateur,
180
un nœud routeur ou un nœud terminal encore appelé feuille. Le rôle du coordinateur est la gestion
du réseau. Il connait la composition du réseau. Il dispose de toutes les fonctionnalités comme celle
de routage. Le routage correspond au meilleur chemin dans le réseau d’une source vers une
destination, pour transmettre, transporter les messages, via des nœuds intermédiaires soit en point
à point (P2P), en point à multipoint (P2M), en multipoint à point (M2P) ou multipoint à multipoint
(M2M) à l’aide de différents types de protocoles pouvant être proactifs, réactifs ou hybrides. Le
coordinateur doit fonctionner durant toute la durée de vie du réseau. Il faut donc prévoir une
alimentation suffisante. Le routeur a pour rôle, comme son nom l’indique, le routage. Il permet
également d’étendre le réseau. Le terminal ou encore feuille, quant à lui, a aussi sa propre
fonctionnalité. C’est une entité simple comme par exemple un capteur ou un actionneur. Ce nœud
terminal est actif par le changement d’état des modules lui étant attachés ou sur réponse à une
sollicitation venue du réseau. Il ne nécessite pas de beaucoup d’énergie. Souvent les routeurs, tout
comme les feuilles, peuvent être mis en veille pour une optimisation de la consommation
d’énergie.
Il est possible d’utiliser une des topologies ou bien de les combiner selon les besoins. Le
paragraphe [Link] exprime les moyens pouvant être mis en œuvre.

Un nœud capteur (dit « mote » en anglais) comprend :

 Une unité d’acquisition par laquelle sont collectées les mesures. Un convertisseur
analogique numérique est associé au capteur pour former cette unité.
 Une unité de traitement qui contrôle les communications avec d’autres nœuds et exécute
les protocoles. Elle est munie d’un processeur qui gère l’acquisition et le stockage des
données.
 Une unité de communication qui comprend un émetteur-récepteur de type optique ou radio
qui permet la communication entre les différents nœuds.
 Une unité d’énergie qui alimente les capteurs et a un impact sur la durée de vie de ceux-ci.

L’image ci-après montre l’architecture générale d’un nœud capteur.

181
 Figure 86 : Structure générale d’un nœud capteur

[Link]
ation_des_arbres_fruitiers_a_l%27aide_des_reseaux_de_capteurs_sans_fil/figures?lo=1 –
consulté le 27 janvier 2019

Le schéma suivant est inspiré de [Link]

pub/exposes/exposesrio2006/descharles-waia/[Link] et complété. Il représente un modèle
de réseau de capteurs sans fil.

Figure 87 : Exemple de réseaux de capteurs sans fil

182
[Link]. Architectures, protocoles et piles de communication
Les architectures des RCSF dépendent des applications déployées et des choix des techniques
retenues. Il existe deux types d’architectures présentées par Ngom (2016), Koné (2011) et dans la
littérature : à plat où l’on déploie les protocoles de communication adaptés et hiérarchique à savoir
auto-organisée avec des formations en clusters et un support efficace pour une grande variété de
protocoles de routage, de localisation, de services... Challal (2016) montre également les
architectures et applications dans la partie II de son document portant sur les RCSF.
La figure ci-après est un exemple extrait de Ngom (2016) et illustre les architectures à plat et
hiérarchique.

Figure 88 : Architectures à plat et hiérarchique

Un modèle en couches est également utilisé pour la communication dans les RCSF comme dans
le modèle en couches de l’OSI (Open Systems Interconnection). Nous présentons succinctement
ce modèle. Il est représenté par la figure 89 et, comme indiqué, fait apparaître sept couches de la
plus basse (couche 1), la couche physique, à la plus haute (couche 7) la couche application. Chaque
couche a des fonctionnalités liées aux différents protocoles et services gérés. Les protocoles sont
normalisés par des instances. On trouve les normes IEEE définies par l’Institute of Electric and
Electronics Engineering (IEEE), l’Internet Engineering Task Force (IETF) publie les « Requests
For Comments » (RFC) i.e. détaille les aspects techniques et donne des recommandations. Il y a
bien sûr aussi l’International Standards Organization (ISO) qui définit les normes ISO.

183
 Figure 89 : Le modèle OSI – son fonctionnement

[Link]
_TCP – [Link] le 15 janvier 2019

Les messages transitent par différentes couches ou niveaux et sont nommés différemment selon le
niveau. Par exemple, au niveau des couches 7 à 5, on parle de données ou data ou messages, de
segments ou datagrammes au niveau de la couche 4 transport alors qu’au niveau de la couche 3
réseau, il s’agit de paquet et de bits au niveau de la couche 1 physique. La figure 89 montre les
dénominations. Une couche ne peut dialoguer qu’avec une couche équivalente (dite paire).

L’architecture protocolaire pour les RCSF est un peu différente et comporte cinq couches (voir
figure ci-après) : les couches application, transport, réseau, liaison et physique auxquelles on
rajoute la gestion de l’énergie, la gestion de la mobilité et la gestion des tâches.

184
 90

Figure 90 : pile protocolaire d’un réseau de capteurs sans fil

Le modèle OSI est parfois modifié pour des questions d’optimisation et d’énergie, comme nous le
verrons plus loin. Ngom (2016) l’introduit dans sa thèse.
Les protocoles et réseaux sont différents selon leur utilisation, selon le périmètre géographique
que l’on souhaite couvrir. Nous nous intéressons aux normes IEEE 802 qui concernent les réseaux
filaires et sans fil, locaux (LAN – local area network) et métropolitain (MAN – metropolitan area
network). Les services et définitions s’y référant se rapportent aux couches basses du modèle OSI
à savoir la couche physique et la couche liaison de données. Pour la partie sans fil, qui nous
concerne, sont utilisés IEEE 802.11 mais aussi 802.15, qui se décompose en sous normes, plutôt
employé pour les réseaux privés et, 802.16 et 802.20 exploités pour les réseaux large bande c’est-
à-dire capables d’acheminer de très grands débits d’informations. On peut citer aussi 802.22 qui
se situe au niveau des réseaux régionaux. L’ouvrage de Pujolle (2018) apporte les connaissances
théoriques utiles à une plus large compréhension de ces technologies.

802.11 est un ensemble répandu de normes puisqu’elles se rapportent, entre autres, au Wi-Fi
(Wireless Fidelity). En quelques mots, le Wi-Fi, très utilisé pour les postes nomades, dispose d’une
large bande passante mais est consommateur d’énergie. Le wifi 802.11 (a/b/g/n/ac) est décliné
sous plusieurs protocoles, le dernier en date est la version 802.11ac qui porte sur des fréquences
de 5 à 6 Ghz environ, une largeur de bande de 20 à 160 Mhz, un taux de transfert variant de 433 à
1 300 Mbit/s et une distance allant de 20 à 50 mètres. Un nouveau protocole 802.11ax prévu fin
2018 dispose de fréquences variant de 2.4 à 5 Ghz et d’un taux de transfert de 10,53 Gbit/s. Un

90
[Link] – consulté le 18 octobre
2019
185
groupe de travail IEEE 802 fait évoluer les normes de cet ensemble de protocoles dont le calendrier
est consultable à l’adresse91.
Le 802.11 est préconisé pour le transfert de données à haut débit. Sa portée couvre des dizaines de
mètres.
Un autre protocole bas niveau (couches 1 – 2) est le protocole 802.15.4. Les piles de
communications classiques n’étant pas adaptées aux RCSF, il a été développé des normes pour
répondre aux systèmes sans fil de faibles capacités et de basse consommation d’énergie. Il
constitue une base pour d’autres protocoles comme Zigbee ou 6LowPan. La radio est un domaine
où ce protocole est très utilisé en partie pour son débit faible et surtout pour sa faible consommation
et une faible perte de propagation. La couche physique dispose d’un émetteur/récepteur radio
contrôlant la qualité du signal, la détection d’énergie et l’accès au média. Le protocole 802.15.4
est présenté un peu plus en détail dans le paragraphe [Link] du fait de notre intérêt pour ses
propriétés.
Aux mêmes niveaux (mêmes couches), on peut citer :
 LoRa (Long Range) disposant d’une couverture pouvant atteindre plusieurs kilomètres
suivant l’environnement et définissant sa propre technique de modulation,
 RFID (Radio Frequency IDentification) tout comme NFC (Near Field Communication ou
communication en champ proche) de très courte portée fonctionnent grâce à la présence de
deux dispositifs : un marqueur possédant une puce électronique et une antenne et, un
lecteur fournissant, sans contact, l’énergie aux marqueurs pour l’initialisation de la
communication. Ce sont des moyens de communication sans fil entre deux dispositifs
compatibles et capables de transmettre des données. Leur débit peut atteindre les 424
Kbit/s. Leur portée est de quelques centimètres. Ce sont ces technologies que l’on trouve
dans les radio-étiquettes, le paiement sans contact ou l’accès à du contenu exclusif.
 Bluetooth, bien connu, est également un protocole de communication sans fil de bas
niveau qui repose sur le 802.15.1 et a une portée allant de quelques mètres à une centaine
de mètres. La portée de Bluetooth 5.0 est de 200 mètres, la bande de fréquence de 2.4 Ghz.
Cette nouvelle version permet de multiplier par 4 le débit des transmissions basse
consommation (4 Mbit/s). On le trouve dans de nombreux appareils comme les téléphones,
les ordinateurs … Il permet la connexion de deux dispositifs sans nouvelle authentification
dès lors que celle-ci a été initiée une première fois. L’introduction de cette technologie
dans le monde de l’IoT ou IdO a vraiment démarré avec la version 4.0 appelée Bluetooth

91
[Link] (consulté le 16 janvier 2019), tenu par McCann et
Ashley.
186
 smart qui a amené au Bluetooth Low Energy (BLE). Bluetooth smart anciennement Wibree
est un Bluetooth à basse consommation qui complète la technologie Bluetooth avec les
mêmes ordres de grandeurs de débit mais une consommation dix fois moins importante.
Cela permet de l’intégrer dans des bracelets, des montres, des petits capteurs … Le Beacon
est une balise BLE de petite taille permettant la géolocalisation des objets. Il peut être
utilisé en mobilité ou non et définir des zones. Le Bluetooth standard a un niveau
d’émission plus élevé et une portée plus large. Ces techniques se complètent.

Parmi les protocoles de la couche 3, il y a IPv4/IPv6, 6LowPAN et Zigbee. Il s’agit de la couche

chargée des services d’adressage et du routage inter-réseaux. Les deux premiers concernent les
communications inter-ordinateurs mais aussi les réseaux d’objets connectés. Le Zigbee est un
protocole de communication sans fil. Nous en parlerons plus en détail dans la partie [Link] car
nous avons commencé à utiliser cette technique dans notre projet. En ce qui concerne IPv4 et IPv6,
les RFC 791 et 2460, auxquelles on pourra se référer, décrivent les spécifications, cadre et
fonctionnement des protocoles. 6LowPAN vient de « IPv6 over Low Power Wireless Personal
Area Network ». Il a été créé, pour les besoins, une fragmentation des paquets IPv6 sur les réseaux
reposant sur 802.15.4. En effet, 802.15.4 limite la taille des trames d’où la nécessité de découper
les paquets. 6LowPAN gère aussi d’autres fonctionnalités comme le routage relatif à des
dispositifs à faibles ressources ou la compression de l’entête IPv6. Deux RFC, 4919 et 4944,
récapitulent les principales possibilités de 6LowPAN.
Ensuite, les protocoles applicatifs de la couche 7 sont nombreux. Dans le cadre des objets
connectés, on peut citer :
 CoAP (Constrained Application Protocol) est standardisé. Il repose sur une couche UDP
(User Datagram Protocol) un protocole simple utilisé par Internet et sans contrôle
d’erreurs. Il fait le lien avec les applications HTTP (Hyper Transfert Protocol). HTTP est
un protocole de communication client-serveur pour le world wide web (WWW). Ce
protocole est développé au niveau application donc il ne dépend pas de l’architecture
matérielle.
 XMPP (eXtensible Messaging and Presence Protocol) est un protocole de messagerie
surtout utilisé à l’origine pour la messagerie instantanée (Jaber) et il est surtout développé
aujourd’hui pour l’IoT.
 MQTT (Message Queuing Telemetry Transport) fonctionne au-dessus de TCP/IP
(Transmission Control Protocol/Internet Protocol, protocole de transport fiable) et
nécessite un serveur pour la centralisation des données. C’est un mécanisme de publication

187
 et d’abonnement de messages. Une variante gère les réseaux de capteurs avec l’utilisation
d’UDP.
 SSI (Simple Sensor Interface) permet l’échange simple des données dans un réseau de
capteurs au-dessus d’une liaison série UART (Universal Asynchronous Receiver
Transmitter), soit en point à point ou sur des protocoles réseau nanoIP (nano Internet
Protocol) ou TCP/IP par le biais d’une librairie. Les UART sont souvent intégrés dans des
composants comme les microcontrôleurs.

Il existe aussi des protocoles multi-couches, couvrant tout ou partie des couches, souvent au format
propriétaire, payants, ou d’origine militaire vendus sous forme de kits :
 MiWi qui s’appuie sur la norme 802.15.4 est un protocole de communication sans fil
propriétaire de Microchip Technology. Il fonctionne sur la base de signaux radio de basse
puissance.
 Zwave est aussi un protocole propriétaire, développé par Zensys. Ce protocole de
communication radio est de faible puissance. Il dispose d’une fréquence de 868 Mhz. Il est
utilisé en domotique. Sa portée est de 50 mètres environ. Le protocole permet
l’interopérabilité des dispositifs. En effet, ceux-ci peuvent communiquer à partir du
moment où ils se situent dans le réseau Z-Wave.
 Ant+ est un protocole de communication sans fil propriétaire qui utilise la bande de
fréquence de 2.4 Ghz. Il consomme peu d’énergie et est appliqué dans les applications liées
aux capteurs de santé, de sport ou en domotique et dans l’industrie.
 Dash7 est un protocole de communication sans fil développé pour les militaires. Sa portée
est d’un kilomètre. La Dash7 Alliance cherche à le promouvoir dans le domaine des objets
connectés.
 Thread est quant à lui un protocole gratuit M2M (machine to machine), open source. Sa
pile repose, selon les couches, sur 802.15.4, IPv6 et 6LowPAN, UDP. Thread propose un
réseau dédié pour connecter différents objets dans une maison dite intelligente, par
exemple. En domotique, il existerait une relation émergente entre Thread et Zigbee pour
une interopérabilité universelle.

Alexis Lothoré nous offre un schéma dans un abrégé consacré aux technologies embarquées qui
résume assez bien un grand nombre de protocoles pour les objets connectés par rapport au modèle
OSI. Il est intégré ci-dessous.

188
 Figure 90 : Technologies embarquées et protocoles

[Link]
dexploitation-pour-les-objets-connectes/ - consulté le 13 janvier 2019

Nous terminerons par des réseaux prêts à l’emploi nécessitant un abonnement et les réseaux
mobiles proposés par les fournisseurs habituels portant un intérêt prononcé pour l’internet des
objets qui développent des offres réseaux pour des applications machine à machine (M2M).
 SIGFOX est un réseau permettant de récupérer facilement des données. C’est un système
utilisant des fréquences radio très rapides et de longues portées.
 QOWISIO est un peu similaire au précédent et propose en plus un déploiement de
solutions demandées par les clients.
 The Things Network est le premier réseau ouvert de données fonctionnant sur
LoRaWAN.

Le schéma suivant exprime le débit nominal, la couverture, la consommation d’énergie pour

quelques-uns des protocoles.
Nous constatons sur ce schéma que le Wi-Fi et la téléphonie mobile 4G sont des techniques très
consommatrices d’énergie avec les débits les plus élevés. La 5G, non indiquée sur la figure, offre
davantage d’intelligence en cela qu’elle est la technologie émergente de l’IoT avec la capacité de
gérer un nombre élevé de connexions, une plus grande rapidité (100 fois plus que la 4G) et de la
performance (10 fois moins de latence que la 4G). Les technologies Sigfox et OnRamp, devenu
Ingenu, sont les moins consommatrices avec en contrepartie des débits plus faibles. Ingenu est un
exemple de réseau de machines IoT. Il a été déployé dans la ville de San Diego pour gérer
l’éclairage public, les déchets, l’eau, la surveillance de l’environnement...

189
 Figure 91 : Consommation et distance

[Link]
- consulté le 16 janvier 2019

Comme le montre la figure ci-après, un nombre important de types de réseaux et technologies sans
fil s’offre à nous. Pour choisir, il est indispensable de se poser les bonnes questions quant à la mise
en place d’une application, d’un projet, d’un réseau d’objets connectés personnel...

Que choisir ?
Notre choix s’est porté sur des technologies, de préférence, open source, économiques, ne
nécessitant pas de longue portée et capables de transporter nos données. Ce sont les raisons pour
lesquelles nous présentons brièvement dans la suite les normes IEEE 802.15.4 et Zigbee. Ces
normes ont été élaborées pour standardiser les systèmes sans fil à faible capacité.

190
 Figure 92 : Réseaux sans fil

Figure élaborée sur la base du schéma [Link]

radio-pour-les-objets-connectes-premiere-partie/(consulté le 6 février 2017) augmenté par nos
soins

Ce domaine des RCSF fait l’objet d’un grand intérêt dans de nombreux secteurs. Les travaux de
recherche sont multiples et récents, que ce soit des communications dans des congrès ou des thèses
de doctorat. Les archives hal92le montrent.
Nous recherchons un moyen facile à installer, à déployer et économique en matière d’énergie tout
en étant capable d’acheminer toutes les informations physiologiques, événementielles et
régulatoires.
Les réseaux de capteurs sans fil sont capables de générer et d’échanger des données de façon
autonome et de manière transparente. Leur technologie facilite leur embarquement et leur
omniprésence. Il est aussi important de pouvoir ajouter ou retirer un dispositif sans que la plate-
forme ne subisse un arrêt. La technologie Zigbee a attiré toute notre attention car nous nous en
étions déjà servie dans le projet PLUG. Elle avait été satisfaisante dans ce contexte. Notre étude
est un peu différente et l’architecture n’est pas complètement définitive puisque la plate-forme
n’est pas finalisée. Nos choix peuvent donc encore évoluer selon les retours qui nous seront faits

92
[Link]
[Link]/search/index/?q=r%C3%A9seau+capteurs&submit=&docType_s=ART+OR+COMM+OR+OUV+OR+COUV
+OR+DOUV+OR+REPORT+OR+OTHER+OR+THESE+OR+HDR+OR+LECTURE+OR+UNDEFINED&submitType_s=file»
191
par les experts du domaine. Rappelons que nous avons trois types de communications à considérer
et satisfaire, comme indiqué dans l’introduction.
Les parties ci-dessous sont l’occasion d’introduire de façon un peu plus poussée les techniques sur
lesquelles reposent nos systèmes de communications à partir de modules Xbee certifiés par Zigbee
Alliance.

[Link]. 802.15.4
Le 802.15.4 est un protocole de communication radio pour les réseaux sans fil personnel à faible
portée, faible consommation et faible débit. C’est la famille des Low Rate Wireless Personal Area
Network (LR WPAN). Il y a deux types de dispositifs : ceux qui disposent de toutes les
fonctionnalités (FFD – full function device) et ceux à fonctions limitées (RFD – reduced function
device). Un FFD peut être coordinateur, routeur ou dispositif terminal (end device) ou feuille. Le
RFD est le dispositif terminal. Celui-ci peut informer sur l’état du capteur, contrôler l’activation
d’un dispositif de mouvement. Il est essentiel que les FFD et les RFD utilisent le même canal radio
pour communiquer sachant que les RFD ne communiquent qu’avec un FFD et qu’un FFD
communique aussi bien avec des FFD que des RFD.
IEEE 802.15.4 spécifie deux couches : la couche physique et la couche de contrôle d’accès au
médium de communication (MAC, Medium Access Control).
Selon 93 et Challal (2008), la couche MAC IEEE 802.15.4 :
 Utilise deux modes d’adressage IEEE 64-bits et 16-bits
 A un accès canal CSMA-CA (Carrier Sense Multiple Access with Collision Avoidance)
qui est une méthode d’accès au média94
 Utilise une structure de trame simple
 Permet d’utiliser le mécanisme de beaconing (mécanisme de géorepérage à des fins de
fourniture de contenus adaptés), réveil périodique, vérification de l’arrivée d’un beacon
(petit boitier capteur capable de dialoguer avec des smartphones par exemple,
principalement grâce à la technologie bluetooth, BLE)
 Economise l’énergie à travers la mise en veille entre deux beacons et, les nœuds ne devant
pas router ou recevoir les données aléatoirement peuvent se mettre en veille

93
[Link] - consulté le 27
janvier 2019.
94
Dans la norme 802.11, il y a deux sous-couches : la couche de contrôle de liaison logique (Logical Link Control,
LLC) et la couche de contrôle d’accès au support (Media Access Control, MAC). La couche MAC utilise CSMA-CA et
la technique PCF (Point coordinated Function) pour communiquer avec une station à l’écoute.
192
  Assure une transmission fiable de données
 Offre une sécurité AES-128(Advanced Encryption Standard) qui est un algorithme de
chiffrement sur 128 bits

[Link]. ZigBee
La technologie ZigBee est une technologie réseau sans fil LP-WPAN (Low Power -Wireless
Personal Area Network). Elle est constituée d’un ensemble de protocoles de hauts niveaux et est
fondée sur le standard IEEE 802.15.4. La ZigBee Alliance a défini les couches du routage à
l’application. Le routage est essentiel à la transmission des informations. Selon les caractéristiques
souhaitées quant à la bonne réception des données, il est privilégié tel ou tel protocole.
Le schéma ci-dessous illustre la pile de protocoles ZigBee.

Figure 93 : Pile de protocoles Zigbee

[Link] (consulté le 6 février

2017)

La couche physique (PHY Layer) gère les fréquences d’émission et de réception, le débit des
données envoyées ou reçues, le type de modulation et le codage des informations. La couche
d’accès au médium (MAC Layer) s’appuie sur la couche inférieure. Elle définit la façon dont les
nœuds du réseau dialogueront. On trouve le détail du fonctionnement dans la spécification standard
IEEE 802.15.495. La couche réseau (network layer) porte sur les règles servant à établir un réseau,

95
IEEE 802.15.4TM - 2011, IEEE Standard for local and metropolitan area networks - Part 15.4 : Low-Rate Wireless
Personal Area Networks (LR-WPANs) - [Link]
193
à associer et interconnecter les nœuds dans le réseau, assure le transfert des informations via une
route et aussi la structure des trames appelées « paquets » (messages) échangées.
Une trame de données ZigBee peut se traduire par la structure suivante issue de Descharles &
Waïa (2006)

Figure 94 : Trame de données Zigbee

Chaque couche protocolaire complète la trame par sa structure incluant des entêtes et queues de
trames spécifiques. Le PPDU (Physical Protocol Data Unit) est le train de bits qui correspond à la
trame envoyée réellement sur le medium.
Dans un réseau ZigBee, il existe différents types de trafics selon la nature des données : les
données périodiques comme celles des capteurs (réveil du capteur lors d’une réception,
vérification du message et remise en veille), les données intermittentes comme celles issues
d’application ou stimulus d’un interrupteur (soit en mode beacon ou en mode déconnecté avec
économie d’énergie) ou les données à faibles latences répétitives provenant par exemple d’une
souris ou ou d’un capteur de type Lilypad96 (avec gestion du temps, durée déterminée et ordonnée
avec utilisation d’une méthode de gestion de QoS (Quality of Service) nommée GTS (Guaranteed
Time Slot).
Nous utilisons un réseau maillé supporté par le protocole ZigBee, simple à mettre en œuvre et
économique. Cette topologie nous permet de disposer de plusieurs nœuds composés de
coordinateurs, de routeurs et de feuilles. Les signaux issus des différents capteurs ou dispositifs de
notre plate-forme matérielle circulent dans notre réseau maillé.
Ce réseau est constitué de cartes de développement XBee sur lesquelles reposent des modules
XBee S2C ZigBee avec antenne PCB et une bande de fréquences de 2,4 GHz.
A vrai dire, comme évoqué précédemment, notre choix n’a pas été posé après ces comparaisons
entre les différents protocoles mais plutôt en fonction de l’expérience que nous avions faite dans
le projet PLUG. Au vu de la réflexion menée a posteriori, notre choix reste pour l’instant le même
sans avis plus expert sur la question et pourrait évoluer du fait de notre contexte différent avec
l’utilisation d’autres techniques distantes et en fonction de l’émergence de nouvelles technologies.

96
[Link] - consulté le 24 août 2019
194
De nombreux systèmes d’exploitation sont implémentés dans les capteurs sans fil ou dispositifs
dits embarqués. Ils sont indispensables au fonctionnement des matériels et offrent selon les
systèmes des possibilités et caractéristiques différentes. On peut citer TinyOS, modulaire et open
source, conçu pour les systèmes embarqués à faibles ressources (P. Levis, 2006.), Contiki, élaboré
pour des capteurs miniatures (Dunkels A., 2004) qui optimise la consommation, MantisOS, léger
et multitâche, conçu pour les capteurs sans fil (Bhatti S., et al, 2005), SOS, développé pour les
RCSF dynamiques et modulaires (C-C. Han, C-C., et al, 2005). Nous n’en parlerons pas plus ici.

3.3. Architecture sélectionnée

Nous avons dès le début de l’étude mené une réflexion quant à la mise en place d’une plate-forme
de jeu pervasif afin de tester nos propositions.
Le schéma suivant représente l’environnement envisagé pour les différents tests à piloter tant du
point de vue du réseau nécessaire à la communication, que des capteurs purement événementiels
(relatifs au jeu) et des dispositifs relevant les signaux physiologiques, que de la base centrale à la
gestion globale et ses traitements associés.

Figure 95 : Schéma de notre environnement futur

195
Nous ne revenons pas sur les matériels et logiciels déployés lors de nos premières expériences. Ils
sont présentés en annexe 10 (plan d’expériences … (chapitre 4)). Par contre, nous exposons les
instruments que nous avons manipulés ou manipulerons à des fins de prototypages réseaux et
ludiques. Nous dévoilons les télé-appareils pressentis pour la mesure des signaux physiologiques
qui nous intéressent.
Pour construire notre plate-forme, nous avons opté pour la technologie sans fil par des
communications radio à coûts et consommation réduits, fondée sur le standard 802.15.4, d’autant
que notre réseau est à dimension personnelle, de courte distance. ZigBee est un protocole, comme
nous l’avons vu, dont la portée est relativement courte, avec une bonne fiabilité, un coût léger et
une faible consommation. Les communications seront établies à l’aide de modules Xbee sans fil
qui mettent en œuvre ce standard.
Notre espace peut être découpé en trois parties, comme mentionné sur la figure 95 :
 La partie relative aux dispositifs physiologiques
 La partie relative au jeu concernant les interactions avec le joueur
 La partie liée aux échanges de données.

Dans la suite, nous présentons les dispositifs entrant dans l’assemblage de la plate-forme tout
comme les outils nécessaires à leur fonctionnement.

3.3.1. Matériel

Nous avons exploré différentes voies pouvant nous conduire au remplacement des capteurs de
contact. Plusieurs pistes s’offrent à nous : le domaine du radar (Radio Detection and Ranging) et
l’optique.

196
Dans Yahiaoui (2013), les auteurs présentent un démonstrateur à partir d’une mesure radar. Le
radar est mono-statique97 et monochromatique98 avec une fréquence de 5,8 Ghz. Le système
fonctionne sous deux modes : le mode pulsé ultra large bande99 ou le mode à onde continue ou
entretenue100 (CW). Pour la respiration, par exemple, les auteurs expliquent que c’est l’effet
Doppler101 qui change la fréquence. Ils proposent une solution simplifiée à base de Diode Gunn102
et indiquent en conclusion qu’ils s’orientent vers une autre proposition à partir d’antennes
planaires ou patchs103.
Dans la télédétection des signes vitaux, un industriel et l’université de Kyoto auraient développé
une approche par radar à ondes. C’est un bon compromis pour nous qui ne souhaitons plus de
capteurs à même la peau. Grâce à un écho, à la suite de l’envoi du radar, comme l’indique le
schéma, il est possible de transcrire le rythme cardiaque.

Figure 96 : Radar à ondes et rythme cardiaque

[Link] - consulté le 3 février 2019

97
L’émetteur et le récepteur partagent la même électronique et la même antenne.
98
Une onde monochromatique peut être décrite par une fonction sinusoïdale du temps.
99
Le radar émet une impulsion et attend le retour.
100
L’émission d’un signal hyperfréquence est sans interruption. L'écho est reçu et traité continuellement.
101
L’effet Doppler est le décalage de fréquence d’une onde acoustique ou électromagnétique entre la mesure à
l'émission et la mesure à la réception lorsque la distance entre l'émetteur et le récepteur varie au cours du temps.
102
La diode Gunn est une diode utilisée dans les extrêmement grandes fréquences.
103
Il s’agit d’une « antenne plane dont l'élément rayonnant est une surface conductrice généralement carrée,
séparée d'un plan réflecteur conducteur par une lame diélectrique ». [Link]
-consulté le 5 février 2019.
197
Sakamoto (2018) explique comment il a réalisé la mesure de l’activité cardiaque à l’aide d’échos
radar. Dans le cas de l’utilisation des techniques infrarouges, Chauvin (2014) montre que les
mesures prises avec une caméra thermique sont quasiment identiques à celles obtenues avec la
ceinture thoracique. La caméra thermique est aussi un bon moyen de capter la température de
surface de la peau à distance.
D’autres travaux ont été poursuivis à l’aide de caméras. Ceux menés par l’entreprise Philips
s’expriment par l’image ci-dessous extraite d’une vidéo disponible sur le site. Elle affiche en temps
réel les mesures de la fréquence cardiaque et de la fréquence respiratoire.

Figure 97 : Mesures de la fréquence cardiaque et de la fréquence respiratoire à l’aide d’une

caméra

image extraite à partir de la vidéo sur [Link]

[Link] - consulté le 3 février
2019

Dans l’article de Verkruysse et al. (2017), il est également mentionné d’autres signes vitaux
comme la mesure de l’oxygène dans le sang104.
Plusieurs appareils sont donc disponibles pouvant remplacer en partie les dispositifs de contact.
Enchaînons notre présentation par notre réseau de communication, qui est essentiel aux échanges
dans notre première vision de plate-forme, à partir de modules Xbee et Arduino.

104
[Link]
analgesia/Fulltext/2017/01000/Calibration_of_Contactless_Pulse_Oximetry.[Link] - consulté le 3 février 2019
198
Les produits Xbee sont des modules de communication sans fil fabriqués par Digi International105,
certifiés par la ZigBee Alliance et conçus dans le but de concevoir des ensembles d’objets
communicants. Ce sont des microcontrôleurs. Xbee utilise le protocole ZigBee. Il existe plusieurs
catégories de Xbee : série 1, série 2, pro … avec ou sans antenne.

Figure 98 : Exemples de modules Xbee – série 1, série 2 et pro avec antenne

En fonction des caractéristiques attendues, le choix se porte sur la ou les catégories disponibles et
compatibles. Par exemple, pour une portée allant de 10 à 100 mètres, on retiendra les Xbee 1 et 2,
au-delà, on optera pour le Xbee Pro. Il est toujours important de vérifier les compatibilités des
modules car, pour information, les séries 1 et 2 ne sont pas compatibles entre elles. Les produits
Xbee offrent plusieurs topologies de réseaux (maillé, P2P, P2M selon les séries), un grand nombre
de nœuds, une simplicité d’utilisation. Toutes les propriétés sont consultables sur le site de
Matlog106.
Le fait d’exploiter les ondes radio entraîne la nécessité d’utiliser des antennes pour l’émission et
la réception des signaux, ce que nous procure les modules Xbee. La connexion avec l’ordinateur
se fait par deux moyens : par USB (Xbee USB explorer) et par liaison série. Un point important
est de vérifier l’alimentation. La communication directe entre plusieurs Xbee est possible sans
passer par un autre environnement. Mais, il est plus facile de contrôler ce qui se transmet entre les
modules en les intégrant, par exemple, à des cartes Arduino, afin de permettre, entre autre, la
visualisation des messages échangés.
La transmission des données est réalisée après leur codage par l’émetteur puis, par leur
acheminement au travers des supports physiques et enfin par un décodage, côté récepteur. Une

105
[Link] - consulté le 26 janvier 2019
106
[Link] - consulté le
26 janvier 2019
199
communication série asynchrone est établie lors d’une communication avec un module Xbee qui
permet d’émettre et de recevoir des données en même temps grâce au fait qu’il soit en
communication full duplex. Xbee est donc ce que l’on nomme un transceiver (émetteur/récepteur).
Il y a deux types de communication : soit série, toutes les données sont transmises les unes à la
suite des autres sur un même fil, soit parallèle mais dans ce cas des bruits peuvent se manifester à
cause des fils très proches et générer des problèmes de transmission. Un contrôleur de
communication est nécessaire pour passer du mode parallèle, utilisé par les processeurs, au mode
série et ainsi transformer les données et les transmettre, et vice-versa. Ce contrôleur est un UART
(Universal Asynchronous Receiver Transmitter), un émetteur-récepteur asynchrone universel.
Les contraintes sont moindres du fait d’avoir retenu la technologie complémentaire Arduino. En
effet, elle offre la possibilité de montage à partir de différentes techniques comme le ZigBee, la
RFID, le Bluetooth, le Wi-Fi, l’infrarouge … Ce qui correspond à nos choix et ouvertures
envisagées.
L’Arduino est aussi un environnement de développement, appelé IDE (environnement de
développement intégré) et de prototypage d’objets interactifs. Il est constitué d’une partie
matérielle, d’une partie logicielle et d’un langage de programmation inspiré du C et C++. Toutes
les sources sont ouvertes. Il existe une communauté très active.
La carte Arduino est composée principalement d’un micro-contrôleur ATmega, d’une prise USB,
d’une alimentation, d’entrées et sorties numériques, d’entrées analogiques. Certaines broches de
la carte servent de sorties analogiques. Le microcontrôleur est divisé en trois parties : une unité
centrale (CPU, Central Processing Unit), des mémoires (ROM – Read Only Memory - et RAM –
Random Access Memory) et des ports d’entrée/sortie (E/S). La figure ci-après représente les
parties significatives d’une carte Arduino suivies de ses caractéristiques. Cette carte constitue
souvent le cœur d’appareils comme des automates, des drônes…
L’alimentation électrique peut se faire de deux façons : par la prise USB et par la prise jack (bloc
secteur). La communication est effectuée par le port USB et les ports d’E/S.

200
 Figure 99 : Description de la carte Arduino et caractéristiques de la carte

[Link] - consulté le 26 janvier 2019

Le processus de fonctionnement se déroule selon le principe suivant, déjà vu en [Link] : des

entrées à partir de capteurs, un traitement par le contrôleur et des sorties avec les actionneurs.
Nous avons expliqué les nœuds capteurs en [Link]. L’Arduino en est un bon exemple dont la
structure (figure 100) est présentée ci-après.

201
 Figure 100 : Schéma d’un nœud basique Arduino

[Link]
s_sans_Fil/figures?lo=1 - consulté le 27 janvier 2019

Nous constatons aisément sur ce schéma que le processus de fonctionnement démarre par la
captation sur laquelle est effectué un traitement grâce, dans ce cas à l’ATmega328, puis la
transmission à la sortie USB (FT232) ou sans fil (NRF24l01+). Le tout nécessite bien sûr de
l’énergie pour fonctionner.
CAN (convertisseur analogique numérique) est un dispositif de conversion des grandeurs
analogiques en grandeurs numériques. Rx/Tx représentent la réception et la transmission. SPI
(Serial Peripheral Interface) constitue un bus de transmission de données série synchrone (deux
sens de circulation).
Bartman (2014), Margolis (2015), Schwartz (2015), Tavernier (2012) et VanDam (2016) ont écrit
des ouvrages qui permettent de s’initier à l’Arduino, de progresser, de concevoir des projets
originaux et des applications avancées et procurent des principes pratiques pour des installations
de type domotique sur lesquels nous nous sommes beaucoup appuyés.
Les cartes Arduino nous ont permis de connecter et tester plusieurs capteurs qui entrent dans le
jeu comme des dispositifs lumineux tels que des diodes, sonores comme des capteurs à ultrasons
qui permettent de mesurer la distance qui les sépare de l’objet émettant un son, de présence, tactiles
comme le tissu conducteur ou la carte Lilypad à coudre sur un vêtement …
Pour étendre les fonctionnalités des cartes Arduino, des shields ont été installés. Ce sont des cartes
apportant une aide à leur utilisation. Elles peuvent être fixées sur les cartes Arduino. On trouve par
exemple des shields Ethernet ou WiFi, audio, tactiles, afficheurs … Ils facilitent le prototypage.

202
Van den Bossche (2014) présente une architecture matérielle et logicielle Arduino et utilise le
système OpenWiNo (Wireless Node) pour les aspects réseaux. Celui-ci est également une
architecture matérielle et logicielle de conception et d’implémentation rapide de protocoles pour
les RCSF et l’IdO. OpenWiNo a été porté sur Arduino. Le réseau proposé est composé de nœuds
WiNo disposés dans un environnement réel (living lab ou maison intelligente) sur lesquels se
raccrochent un ou plusieurs capteurs. Dans l’expérience, les auteurs manipulent un logiciel Web
Cacti qui leur permet de voir en temps réel les données provenant des capteurs sous forme de
graphes. L’ensemble de la plate-forme a été déployé en tant que prototype dans la Maison
intelligente de l’IUT de Blagnac. Les travaux continuent. Van den Bossche (2017) montre
l’avancée des travaux en matière de proposition d’une plate-forme de prototypage rapide d’objets
connectés open source. Ces approches sont intéressantes. En effet, elles répondent à deux de nos
besoins : le service de communications (le réseau) et la connexion des capteurs ou dispositifs.
Cependant, il n’y a pas d’interaction, considération essentielle à notre projet. Leurs travaux restent
néanmoins une source d’inspiration.
Pour nous initier à la mise en place d’un réseau maillé avec les trois catégories d’Xbee
(coordinateur, routeur et feuille), nous avons eu recours à un kit Xbee – ZigBee maillé. Une fois
les modules Xbee S2C associés aux cartes grove Digi, nous les avons connectés. Pour cela, une
application de gestion et de configuration est nécessaire à la mise en route du réseau. Il en est de
même pour l’exploitation des cartes Arduino. Ces outils sont introduits dans le paragraphe suivant.

3.3.2. Logiciel
Pour gérer le réseau de modules Xbee, nous avons exploité le logiciel libre X-CTU107. Il s’agit
d’un outil que la société DIGI met en libre accès108 pour configurer ou reconfigurer les modules
Xbee. C’est une application multi-plateforme. Quelques paramétrages préliminaires s’imposent au
début comme la sélection du port (USB ou série), la vitesse de communication que l’on renseigne
à 9600 bauds et un certain nombre d’autres informations tels que la parité, le codage…
Le logiciel dispose d’une interface conviviale (voir figure 101) et permet d’ajouter ou de trouver
les dispositifs Xbee connectés. Les modules doivent être désignés en tant que coordinateur ou
routeur ou end device. Pour communiquer, il faut les placer sur le même canal de communication
et le même réseau.

107
[Link] - consulté le 27 janvier 2019
108
[Link] - logiciel à disposition – consulté le 27 janvier 2019
203
 Figure 101 : Interface du logiciel X-CTU

Ce logiciel dispose également d’autres fonctionnalités de restauration des paramètres des modules,
d’enregistrement des sessions des deux consoles (API - Application Programming Interface et AT)
Pour l’Arduino, un logiciel est disponible à l’adresse109. L’application Arduino est également le
pilote à monter pour procéder à l’installation. Une fenêtre classique appelée sketch constitue
l’interface.
Elle permet d’écrire et de téléverser un programme sur la carte (transférer le programme sur la
carte), offre des préférences qu’il faut régler en fonction des besoins, regroupe les fichiers créés et
met à disposition des exemples de programmes réutilisables, modulables et facilitant la mise en
place de nouveaux composants et leurs tests.
L’interface IDE Arduino est la suivante :

109
[Link] - consulté le 27 janvier 2019
204
 Figure 102 : Interface IDE Arduino

[Link] - consulté le 3 février

2019

3.3.3. Fonctionnement
Tous ces éléments fonctionnent bien séparément. Nous n’avons pas encore réalisé l’intégration de
toutes ces parties. C’est une autre section de l’étude hors thèse. Un ordinateur central sera au cœur
de l’architecture et supervisera l’ensemble de la plate-forme dont les transmissions de messages.

3.4. Conclusion

Pour réaliser notre plate-forme finale, nous avons besoin de différentes technologies tant au niveau
des dispositifs que des outils. Il est difficile de lister tous les protocoles et techniques envisageables
pour notre projet. Une étude approfondie au vu de nos spécifications serait à lancer pour réaliser
un choix le plus optimal possible.

205
Au niveau réseaux de communications, des propositions de réseaux maillés nous ont été faites, en
particulier, les travaux sur l’ordonnancement et le routage menés par Lilia Lassouaoui (2018) dans
sa thèse qui feront l’objet d’investigations dans une étude ultérieure.
Les réseaux de capteurs tels qu’utilisés dans notre deuxième vague d’expérimentations constituent
un réseau spécifique, fermé. Ce réseau peut évoluer vers un réseau ouvert en passant par Internet.
C’est ce que l’on trouve dans l’Internet des objets industriels ou IdOI (IIoT – Industrial Internet of
Things) qui tente de faire converger les réseaux hétérogènes de technologies de l’information (IT)
et de technologies opérationnelles (OT) par la technologie Time Sensitive Networking (TSN)
(Cisco Public, 2017 ; Time Sensitive-Networking Task Group, 2018 ; Zapke & Taylor, 2017) .
Cette technologie, ensemble de sous normes IEEE 802, permet la prise en compte du temps et
autres fonctionnalités comme la redondance transparente (aucune perte de données grâce à la
reprise sur erreur). Ce procédé pourrait être envisagé dans le cadre d’un espace ouvert et vaste.
Les composants Arduino, Xbee ainsi que les multiples capteurs disponibles sont autant de
matériels faciles à acquérir, à monter. Nous devons intégrer tous ces ingrédients pour en faire une
plate-forme viable. L’utilisation de la plate-forme de Van den Bossche (2014, 2017) semble aussi
une autre piste à condition de la faire évoluer pour offrir de l’interactivité.
Pour ce qui concerne le choix des télé-dispositifs, il est indispensable, avant leur mise en œuvre,
de réaliser des expériences dans les mêmes conditions que dans nos premières expérimentations,
afin de vérifier que les résultats obtenus avec ces nouveaux dispositifs sont similaires à ceux
obtenus avec les capteurs de contact.
Nous ne pouvons pas passer sous silence que l’utilisation d’ondes pose question et est à examiner
côté santé, en fonction de leur fréquence. Ce dont se charge l’OMS (Organisation Mondiale de la
Santé). Nous sommes sensibles à ces questions et nous savons que tout être vivant fonctionne sur
un mode vibratoire. Nous sommes entourés de ces phénomènes. L’ajout d’ondes artificielles est-
il nécessaire, y a-t-il des risques ? Les avis scientifiques divergent. L’article110 indique qu’une des
solutions est d’être informé sur ces ondes électromagnétiques et sur les procédés de prévention.
Pour revenir à notre plate-forme globale, l’application centrale gérant l’interconnexion de toutes
les parties, doit être développée ou éventuellement reprise à partir des structures existantes comme
GASP (GAming Services Platform) ou uGASP111, middleware OSGi / iPOJO (orienté
composants) dédié au jeu omniprésent et multijoueur voire autre.

110
[Link] - consulté le 5
février 2019
111
[Link] - consulté le 3 février 2019
206
3.5. Bibliographie

Asch, G. (2017). Les capteurs en instrumentation industrielle. Dunod, Paris.

Bartman, E. (2017). Le grand livre d’Arduino. Collection Serial Makeers, Eyrolles, Paris.

Baudoin, F., et Lavabre, M. (2007). Capteurs : principes et utilisation. Casteilla.

Bhatti, S., Carlson, J., Dai, H., Deng, J., Rose, J., Sheth, A., Shucker, B., Gruenwald, C.,
Torgerson, A., and Han, R. (2005) “MANTIS OS : An Embedded Multithreaded Operating
System for Wireless Micro Sensor Platforms”, in Journal Mobile Networks and Applications,
Special Issue on Wireless Sensor Networks, Vol.10, Issue 4, pp. 563-579

Chauvin, R. (2014). Mesure du rythme respiratoire sans contact. Mémoire de maîtrise -

Spécialité: génie électrique - Sherbrooke (Québec) Canada

Dunkels, A.,Gronval, B., and Voigt, T.(2004),“Contiki-A:Lightweight and Flexible Operating

System for TinyNetworkedSensors”, in Proceedings of the 29th annual IEEE International
Conference on Local Computer Network, pp. 455-462.

Han, C-C., Kumar, R., Shea, R., Kohler, E., and Srivastava, M. (2005) “A Dynamic Operating
System forSensorNodes”, in Proceedings of the 3rd international conference on Mobile systems,
applications, and services (MobiSys’05), New York, NY, USA, pp.163-176.

Koné, C. T. (2011). Conception de l’architecture d’un réseau de capteurs sans fil de grande
dimension. Thèse de doctorat, Université de Nancy.

Lassouaoui, L. (2018) Ordonnancement et routage pour l'augmentation de la durée de vie dans

les réseaux de capteurs sans fil. Thèse de doctorat, Conservatoire National des Arts et Métiers.

Levis, P. (2006) “TinyOS Programming manual”. Cambridge Univ Pr.

Margolis, M. (2015). La boîte à outils Arduino. 2ème édition, Dunod, Paris.

Ngom, D. (2016). Optimisation de la durée de vie dans les réseaux de capteurs sans fil sous
contraintes de couverture et de connectivité réseau. Thèse de doctorat, Université de Mulhouse.

Pellerin, R. (2004). GAming Services Platform - Plateforme pour les jeux multijoueurs sur
mobiles. Rapport de stage projet MEGA

Noury, N., Fleury, A., Nocua, R., Poujaud, J., Gehin, C., Dittmar, A., Delhomme, G.,
Demongeot, J., McAdam, E. (2009) Capteurs pour la télésurveillance médicale. Capteurs,
algorithmes et réseaux – Elsevier Masson

Pujolle, G. (2018). Les réseaux : Edition 2018-2020. L’ère des réseaux cloud et de la 5G.
Eyrolles, Paris.

Rawat, P. (2014). Wireless sensor networks: a survey on recent developments and potential
synergies. The Journal of Supercomputing, 68(1), 1-48. doi: 10.1007/s11227-013-1021-9

207
Sakamoto, T. (2018). Measurement of instantaneous heart rate using radar echoes from the
human head. Electronics Letters - Institution of Engineering and Technology

Schwartz, M.O. (2015). Arduino pour la domotique. Dunod, Paris.

Servin, C. (2013). Réseaux et télécoms. Dunod, Paris.

Tanenbaum, A., Wetherall, D.J. (2011). Réseaux. Pearson Education, Montreuil-sous-Bois. 5ème
édition

Tavernier, C. (2012). Arduino – Applications avancées. Claviers tactiles, télécommande par

Internet, géolocalisation, applications sans fil, reconnaissance vocale … Dunod, Paris.

Van Dam, B. (2016). Tuto Arduino Uno. Publitronic – Elektor International Media.

Van den Bossche, A., Campo, E., Vigouroux, N., Vella, F. (2014). Réseau de capteurs sans fil
distribués pour le monitoring des activités de vie au sein d’une maison intelligente.
UbiMob2014:10èmes journées francophones Mobilité et Ubiquité, Jun 2014, Sophia Antipolis,
France. 2014. <hal-01178586>

Van den Bossche, A., Dalcé, R., Val, T. (2017). Plateforme de prototypage rapide d’objets
connectés avec la famille WiNo. Revue : Internet des objets - Numéro 1 - Volume : 1
2017/03/31DOI : 10.21494/[Link].2017.0138 - ISSN : 2514-8273 - Éditeur : ISTE
OpenScience

Verkruysse, W., Bartula, M., Bresch, E., Rocque, M., Meftah, M., Kirenko, I. (2017).
Calibration of Contactless Pulse Oximetry - Anesthesia & Analgesia: January 2017 - Volume
124 - Issue 1 - p 136–145 - doi: 10.1213/ANE.0000000000001381 - Technology, Computing,
and Simulation: Original Clinical Research Report

Weiser, M. (1991). The computer for the 21st century. Scientific American, 265(3), 94-104, 1991

Weiser, M., Brown J.S. (1996). The coming age of calm technology, Xerox Parc, 1996

208
3.6. Sitographie

Bissieres, C. (2008). Acquisition d’une grandeur physique (Capteurs), [Link]

[Link]/sites/default/files/cours/[Link], consulté le 10 novembre 2018

Challal, Y. (2016) Réseaux de Capteurs Sans Fils, [Link]

content/uploads/2016/05/[Link], consulté le 6 février 2017.
Challal, Y. (2008) Architecture ZigBee/IEEE 802.15.4,
[Link] consulté le 6 février
2017.
Challal, Y. (2008) Module
RCSF,[Link] consulté le 6
février 2017.

Cisco Public (2017) Time-Sensitive Networking : A Technical

Introduction,[Link]
[Link]

Descharles, S., Waïa, B. (2006) Topologie des réseaux, [Link]

[Link]/commun/ens/peda/options/st/rio/pub/exposes/exposesrio2006/descharles-
waia/[Link]

McCann, S., Ashley, A. (2018) Official IEEE 802.11 Working Group Project
Timelines,[Link]
Time-Sensitive Networking (TSN) Task Group (2018) Dans IEEE 802. Consulté le 10 novembre
2018 à [Link]
Zapke, M., Taylor, A. (2017) TSN : réseau convergent pour l’IoT
industriel,[Link]

209
210
 Chapitre 4
Des données, nos modèles
« Les choses paraissent simples jusqu’à ce qu’on commence à les analyser ».
Audrey Niffenegger

4. METHODES DE COLLECTE, D’ANALYSE DE DONNEES DE TYPE PHYSIOLOGIQUE

ET NOS PROPOSITIONS TECHNIQUES.............................................................. 213
4.1. INTRODUCTION ........................................................................................................................................... 213
4.2. METHODES DE COLLECTE ET DONNEES QUALITATIVES ET QUANTITATIVES ................................................................ 214
4.2.1. Introduction et définitions ................................................................................................................. 214
4.2.2. Collecte des données ......................................................................................................................... 216
4.3. LES TECHNIQUES DE STATISTIQUES .................................................................................................................. 217
4.4. COLLECTE, CHOIX DES TECHNIQUES ET METHODES.............................................................................................. 219
4.4.1. Collecte de nos données et choix ....................................................................................................... 219
4.4.2. Méthodologie et choix....................................................................................................................... 221
[Link]. Processus d’apprentissage, réseaux de neurones, et cartes auto-organisatrices ....................................223
[Link]. Description des outils ...............................................................................................................................234
4.5. NOS DONNEES PHYSIOLOGIQUES, ANALYSES, NOS DEMARCHES, NOS MODELES ........................................................ 236
4.5.1. Notre prétraitement des données ..................................................................................................... 238
4.5.2. Méthodes factorielles appliquées...................................................................................................... 241
4.5.3. Méthodes de classification utilisées .................................................................................................. 248
[Link]. La technique des k-means et notre contexte ...........................................................................................249
[Link]. La classification ascendante hiérarchique (CAH) et les données physiologiques .....................................250
[Link]. La technique de self organizing map (SOM) .............................................................................................256
4.5.4. La technique SOM appliquée à nos données ..................................................................................... 257
4.5.5. Notre technique hybride EMDeep ..................................................................................................... 266
4.5.6. Conclusion ......................................................................................................................................... 274
4.6. BIBLIOGRAPHIE ........................................................................................................................................... 276
4.7. SITOGRAPHIE.............................................................................................................................................. 278

211
212
4. Méthodes de collecte, d’analyse de données de type
physiologique et nos propositions techniques

4.1. Introduction

Dans le cadre de notre étude, nous souhaitons détecter les états émotionnels d’un utilisateur à partir
de mesures physiologiques. Les données physiologiques sont recueillies au cours d’expériences
ou jeux grâce à des capteurs. Ces données, pour avoir du sens, doivent être analysées et apporter
des informations sur les actions à mener pour faire coïncider l’environnement de jeu à l’utilisateur.
Afin de répondre au mieux à ces exigences, il nous faut établir une cartographie d’états
émotionnels, à partir de mesures relevées, tel un étalon permettant d’adapter les expériences
futures au joueur.
La première étape a consisté à mettre en place un protocole de prise de mesures. Ensuite nous
avons lancé les expérimentations et collecté les données. La réalisation d’un étalon est un outil
indispensable à notre travail. Quels sont les moyens possibles pour l’établir ? Il faut déjà être en
mesure de connaître ou reconnaître un état émotionnel. Comment peut-on le découvrir ? Dans les
chapitres sur les émotions et les interactions nous avons présenté comment il est envisageable d’y
accéder. Nous avons opté pour l’association de certaines mesures physiologiques.
L’observation des informations est une des premières phases à appréhender afin de répondre à
notre question. Ces informations constituent notre matériau de départ. Afin de pouvoir les analyser,
il faut les collecter, les transférer, les stocker. Comment ensuite tenter de définir une classification
d’états émotionnels d’un individu à partir de ces données ? Il existe plusieurs façons de tendre vers
ce but. Nous verrons également que la visualisation des données sous différentes formes est une
aide précieuse à la compréhension.
Nous proposons dans ce chapitre d’exposer le travail réalisé autour des données collectées. Cette
partie est essentielle à la poursuite de notre objectif. Elle constitue le socle de la construction de
notre canevas ludique et ajusté. Nous commencerons par expliquer les méthodes de collecte et les
données récoltées. Avant d’exposer nos résultats, nous décrirons les techniques mathématiques,
nos choix et les outils dont nous nous sommes servis. Nous conclurons par une synthèse de nos
méthodes et leur potentielle évolution.

213
4.2. Méthodes de collecte et données qualitatives et quantitatives

4.2.1. Introduction et définitions

Dans un premier temps, nous avons réfléchi aux types de données pouvant apporter une réponse
quant à notre questionnement sur le moyen de détecter des états émotionnels chez un individu
voire explorer des phénomènes intéressants peut-être cachés de prime abord. Comme nous l’avons
expliqué dans les chapitres sur les émotions et les interactions, nous avons fait des choix.
Avant de présenter notre méthodologie en matière de collecte et de travail sur les données, nous
aimerions donner aux lecteurs quelques repères pour mieux appréhender ces informations.
Tout d’abord, qu’est-ce qu’une donnée ?
Les données sont partout autour de nous. Elles proviennent de nombreuses sources : la publicité,
internet, des discussions, un livre, les informations de circulation dans le métro … Une donnée
représente une description élémentaire d’une réalité. Une mesure, une observation sont des
données qui, après un certain travail, prendront du sens pour devenir information qui, elle-même
une fois assimilée et utilisée, deviendra connaissance pouvant déclencher une action.
Par exemple, si nous prenons un objet ordinaire, un jouet comme un petit ours en peluche, nous
pouvons remarquer qu’il recèle de nombreuses données. En effet, il a une taille, un poids, une
forme, une couleur et aussi deux yeux, deux oreilles … Nous constatons qu’il y a différents types
de données :

 Des données qualitatives comme la description de la couleur du petit ours, sa douceur…

 Des données quantitatives comme le nombre d’yeux, de pattes …

Cet ours est aussi un jouet et appartient à cette famille ou taxonomie.

Il y a également d’autres types de données comme les données discrètes que l’on peut compter
(ex : le nombre de poils qui constitue la moustache du petit ours), les données continues qui sont
des valeurs non entières (ex : le diamètre de ses yeux de 0.8 mm), les données catégorielles pour
la classification en catégories ou modalités (ex : ours en peluche neuf, ours en peluche usagé) qui
peuvent être ordinales (l’ensemble des catégories suit un ordre total) ou nominales (comme par
exemple une catégorie de maladies).
Prises indépendamment les unes des autres, les données n’ont pas vraiment de sens alors que si on
associe chaque élément et qu’on les interprète, elles deviennent informations, informations
interprétables par l’humain comme la phrase suivante : un petit ours brun avec des yeux noirs…
Par contre, du point de vue informatique, les données présentées de cette façon ne sont pas
214
interprétables. Pour les rendre accessibles et lisibles par la machine, il faut que les données soient
structurées dans un certain format.
Dans notre étude, les mesures physiologiques, collectées à l’aide d’équipements, sont des données
qui nous renseignent sur l’activité cardiaque, l’activité respiratoire, la température et la résistance
électrodermale. La combinaison de ces informations pourrait ainsi nous informer sur l’état
émotionnel de l’utilisateur après analyse. Les connaissances obtenues nous permettront de ce fait
de déclencher des événements. Nos mesures physiologiques représentent nos variables, données
qui évoluent au cours du temps. Il est à préciser que ce ne sont pas les variables en elles-mêmes
qui donnent directement des états émotionnels. Une émotion ne correspond pas à une variable
physiologique mais à la combinaison de plusieurs variables. Ces variables doivent être analysées
par des modèles mathématiques, statistiques, afin de faire apparaître des motifs pertinents ou
patrons (patterns) qui seront à leur tour combinés à d’autres informations, telles que les données
de jeu ou de l’environnement, et proposés comme nouvelles données externes au joueur.
Un autre point important à aborder est le biais. Dans toute expérience, se glissent des erreurs. C’est
ce que l’on nomme un biais. Il y a différents types de biais :

 Au sens de la statistique ou de l’épidémiologie, le biais112 est l’erreur apportée au résultat

et issue de la démarche (biais de sélection, de mesure, d’estimation, d’interprétation, …)
(Albouy-Llaty, 2011)
 Au sens cognitif, le biais est un processus de l’esprit humain engendrant des erreurs de
jugement (biais sensori-moteurs ou d’illusion, attentionnels, mnésique, de jugement …). Il
existe un codex des biais cognitifs (annexe 5 biais cognitifs (chapitre1)). Les biais peuvent
impacter les données qualitatives comme les données quantitatives mais aussi la mise en
œuvre de l’expérimentation, l’expérimentation elle-même et les questionnaires élaborés.

Boucher (2014) et le lien113 présentent dix biais cognitifs qui nous dupent très souvent dans le
contexte du marketing et114 qui s’appliquent très bien à d’autres univers et, pour la préparation de
questionnaires (Giezendanner, 2012).

112
Les biais - Marion Albouy-Llaty - [Link]
consulté le 3 novembre 2017
113
[Link] consulté le 3 novembre 2017
114
Enquêtes : Principaux biais dans la formulation des questions -François Daniel Giezendanner -
[Link] consulté le 2 décembre 2017
215
Il est important de savoir que dès que des expériences sont menées, en particulier, en liaison avec
l’humain, qui plus est dans un contexte expérimental, cela implique forcément des biais. Ces biais
se faufilent à tous les niveaux de la recherche, de l’étude. Pannucci et Wilkins (2010) donnent des
indications sur la manière de les identifier et de les éviter.
Nous souhaitons donc le moins de biais possibles dans le cadre de nos expérimentations. Comme
nous le savons, dès que nous plaçons un individu dans un contexte expérimental il est impacté par
le fait de l’expérimentation elle-même ainsi que par la présence de l’expérimentateur. Ce
phénomène est nommé l’effet Hawthorne ou effet de l’observateur (Vallerand, 2006). Le sujet
peut modifier son comportement car il sait qu’il est observé.

4.2.2. Collecte des données

Il existe deux grandes méthodologies de collecte de données :

 les sondages
C’est une méthode statistique mise au point à partir de deux techniques : l’échantillonnage
et le questionnaire.
 les plans d’expériences
Les plans d’expériences s’intègrent dans le processus d’acquisition des connaissances. Les
expérimentations qui accompagnent les recherches scientifiques ou les études industrielles
peuvent être organisées grâce à ces plans. La méthode des plans se fonde sur deux notions :
o L’espace expérimental : la grandeur d’intérêt mesurée à chaque expérimentation ou
essai s’appelle réponse. Cette grandeur dépend de plusieurs variables nommées
dans ce contexte facteurs.
o La modélisation mathématique : des fonctions mathématiques sont choisies pour
relier la réponse aux facteurs.

On compte différents types de plans selon les expériences et les facteurs à traiter. Pour plus de
détails, on pourra consulter le travail de J. Goupy (2010). La figure ci-après met en avant les parties
optimisées par les plans d’expériences.

216
 Figure 103 : Les plans d’expériences optimisent les trois parties encadrées du processus
d’acquisition des connaissances

Extrait de [Link] consulté le 18

novembre 2017

Afin d’obtenir une bonne approximation du comportement de l’utilisateur/joueur, le maniement

de modèles mathématiques s’impose. Le comportement, comme l’indique M. Mermillod (2016),
« sera déterminé à la fois par des variables situationnelles (la situation dans laquelle se trouve
l’individu), mais aussi par des variables dispositionnelles (la structure cérébrale d’un individu
façonnée par la biologie et par son histoire) ». Les techniques de statistiques nous assistent dans
notre démarche et font l’objet de la partie suivante.

4.3. Les techniques de statistiques

Face à des données, quelles sont les attitudes à adopter, comment les exploiter ?
Le domaine des statistiques et de l’analyse de données ou, plus généralement, « l’esprit de la
statistique »115 va nous permettre de répondre à ces questions en cela qu’il permet de décrire les
phénomènes, de prédire et prendre en conséquence les décisions nécessaires. Pour aborder ce
domaine, quelques définitions sont requises. Le concept essentiel de la statistique est la variabilité.
Pour plus de détails on pourra se référer à G. Saporta (2011).

115
Expression reprise de Gilbert Saporta
217
Néanmoins voici quelques concepts de base :
On appelle population la notion de groupes ou d’ensembles d’objets. Ces objets sont des individus
ou unités statistiques. La partie représentative utilisée dans la population, par exemple pour une
observation ou un sondage, constitue l’échantillon. Chaque individu dispose de caractéristiques
désignées sous le nom de variables ou caractères.
En ce qui concerne les techniques ou modèles mathématiques, le monde de la statistique est vaste,
nous présentons ceux que nous avons rencontrés mais pas forcément utilisés. Nos choix sont
exprimés dans le point 4.4. Shu-Hsien et collaborateurs (2012) présentent une revue des techniques
et applications en exploration des données (data mining) qui apportent un éclairage sur l’utilisation
de ces méthodes au niveau applicatif.
Les statistiques nous offrent deux grandes classes :

 Les statistiques descriptives, exploratoires ou analyse de données portent sur la

synthétisation de l’information contenue dans les données en utilisant la visualisation sous
forme, par exemple, de tableaux ou de graphiques. Elles laissent peu de place au hasard et
permettent la mise en évidence de propriétés des échantillons. Les méthodes sont la
description par variables et associations de variables, la classification, la réduction des
dimensions (méthodes factorielles).
 Les statistiques inférentielles portent sur la théorie des probabilités en réduisant la quantité
d’informations à traiter en échantillons et en utilisant une part de hasard. Elles permettent
d’appliquer les propriétés des échantillons à une population plus large et de valider ou pas
ce qui a été trouvé de façon exploratoire. On y trouve l’estimation, la vérification ou test,
la modélisation par relation approximative (régression linéaire) et la prévision.

Dans les années 1990 arrive une nouvelle discipline à la croisée de la statistique et du traitement
de l’information. Le traitement de l’information est l’association de l’informatique pour
l’acquisition et le traitement des données et des statistiques pour leur analyse. Les ordinateurs
devenant de plus en plus puissants et les données de plus en plus massives, des techniques de plus
en plus sophistiquées sont utilisées comme la fouille de données ou data mining, l’apprentissage
automatique (machine learning) champ d’étude de l’intelligence artificielle et, plus précisément,
l’apprentissage profond (deep learning) fondé sur des processus d’acquisition de modèles de
données. On va chercher à extraire des connaissances des données à l’aide de méthodes
automatiques ou semi-automatiques. Les modèles sont obtenus par exploration des données et non
d’une théorie particulière par variation des paramètres comme le nombre de couches dans un

218
réseau de neurones, de façon à avoir les meilleures prédictions. « Un modèle réalise un compromis
entre sa capacité à rendre compte des données d’apprentissage et sa capacité de généralisation à
de nouvelles données ». G. Saporta (2011)
Les choix des méthodes se font en fonction de la quantité de données à traiter, de leur type et de
ce que l’on cherche.
Un pan important de l’analyse de données consiste en la visualisation. William Playfair 116 disait à
ce sujet qu’un dessin vaut mieux qu’un tableau de chiffres. Et comme l’indique Dominique Cardon
« ce que la visualisation des nouvelles traces digitales fait alors voir, c’est que les catégories
d’interprétation traditionnelles ne tiennent plus d’elles-mêmes et qu’il faut commencer par
regarder avant d’interpréter »117.
La visualisation est obtenue à partir d’un ensemble de techniques graphiques visuelles de
représentation des données qui apporte une aide à l’interprétation, à l’exploration et à la décision.
Il facilite aussi la communication sur ces données. La visualisation fait l’objet de nombreuses
recherches118.

4.4. Collecte, choix des techniques et méthodes

4.4.1. Collecte de nos données et choix

Comme expliqué dans l’introduction, lors du projet PLUG, nous avions mené des
expérimentations à base de capteurs qui n’ont pas donné satisfaction. Il fallait poursuivre. L’idée
nous semblait toujours intéressante et inexplorée, selon notre point de vue, sur la question
d’association de mesures physiologiques à des états émotionnels. Forts de cette expérience et des
réflexions a posteriori, nous avons mis en place de nouvelles expérimentations avec un plan
d’expérience plus abouti et des dispositifs professionnels. Nous nous sommes posé un certain
nombre de questions sur nos facteurs expérimentaux, sources de variations, nos variables ainsi que
sur les relations entre ces deux éléments.
Le protocole expérimental a été conçu en fonction de la collecte des données à savoir des données
physiologiques, du type de variables, de la précision souhaitée, de la cohorte. Le protocole a été
élaboré en collaboration avec une étudiante en master de psychologie. La captation et
l’enregistrement des données ont été réalisés à l’aide de différents outils. Les données quantitatives

116
(1759-1823) - Ingénieur et économiste écossais, un des pionniers de la représentation graphique de données
statistiques
117
[Link] consulté le 14novembre 2017.
118
Par exemple RES (Recherche en visualisation de données) est un cycle de recherche, de valorisation et de
médiations scientifiques sur la visualisation-représentation de données.
219
et qualitatives recueillies sont issues d’un plan d’expérience et de questionnaires. Le détail complet
est disponible annexe 10 (plan d’expériences… (chapitre 4)). Il formule la méthodologie, décrit
les expérimentations tant du point de vue de l’identification du protocole, du thème de l’étude – à
savoir construire une cartographie des émotions à partir de mesures physiologiques – de l’objectif
de mise en relation, de rapprochement des données des capteurs, des images des événements et
des utilisateurs, que les questionnaires obtenus à l’issue de chaque expérience, à des fins d’analyse
et de fouille. Les facteurs étudiés et à contrôler sont aussi présentés. Ce sont les quatre variables
physiologiques. Il est également exposé tout l’environnement matériel et logiciel, les matériaux
expérimentaux utilisés et/ou créés i.e. les supports stimulant ou pas les usagers. La cible et les
variables dépendantes sont précisées. La mise en œuvre des expériences est retracée. Ceci permet
ainsi la reproduction du protocole. Différents extraits d’enregistrements obtenus, un modèle de
questionnaire … sont produits, tout comme les ressources humaines nécessaires au bon
déroulement de la collecte.
Les données qualitatives ne font pas partie de notre analyse. Elles feront l’objet d’une autre étude.
Elles sont constituées des questionnaires, de vidéos et des informations provenant du physioscan.
Les données recueillies des questionnaires papier ont été retranscrites dans un tableur. Les autres
données qualitatives, hors vidéo, ont été également extraites et doivent subir un autre traitement.
Les vidéos ont servi ponctuellement dans l’approfondissement des analyses de données
quantitatives. En fonction du type de données recueillies : textes, images, information
symbolique… les techniques d’analyse sont différentes.
Les données quantitatives collectées par les capteurs physiologiques sont des transformations de
signaux électriques en valeurs numériques, elles-mêmes stockées dans des fichiers sous format csv
(comma separated value), format très largement utilisé dans les échanges de données et lisible par
des tableurs. Ce sont ces fichiers que nous exploitons dans l’analyse des données.
En optant pour des données physiologiques, nous éliminons certains biais car c’est le système
nerveux autonome (SNA) qui gère ces signaux et non la personne. L’individu aura donc beaucoup
de mal à agir sur ces données. Plusieurs études ont été menées sur la reconnaissance d’états
émotionnels à partir de signaux de ce type. Marzuki et collaborateurs (2016) ont utilisé un seul
capteur biologique et recueillent déjà des résultats engageants. Ils indiquent que, néanmoins, pour
obtenir de meilleurs résultats il aurait fallu utiliser d’autres capteurs.
Hamdi (2012) et Abdat (2010) ont manipulé différents capteurs physiologiques et montrent que
l’usage complémentaire de capteurs de GSR et température amélioreraient leurs résultats (Hamdi,
2012) ou montrent la pertinence des mesures physiologiques dans la reconnaissance des émotions
avec stimuli appropriés (Abdat, 2010).

220
En ce qui concerne les questionnaires, entretiens et déclarations, nous avons décidé que
l’intervieweur remplirait les formulaires afin de ne pas contraindre les participants à écrire. Nous
évitons ainsi d’autres biais (Pannucci, Wilkins, 2010) liés à la lassitude de l’utilisateur. Il s’avère
que souventes fois, après avoir participé à des expériences, les utilisateurs n’ont pas envie de
compléter des documents ou les remplissent à la va vite, induisant des erreurs.
Le format de nos données et l’objectif à atteindre écartent certaines techniques et orientent vers
d’autres moyens.

4.4.2. Méthodologie et choix

Une certaine quantité de données a été recueillie. Comment l’approcher, la comprendre ? Nous
avons commencé par les données quantitatives car elles correspondent aux mesures issues des
biocapteurs et sont celles qui pourront nous donner des informations internes sur les personnes.
Les données qualitatives viendront nous conforter ou pas dans une autre analyse.
Reprenons nos objectifs. Pour détecter des états émotionnels et établir une classification, nous
avons étudié différentes techniques utilisées en présence de données de type biosignaux
électriques. Nos données sont constituées d’une date et d’un ensemble de quatre variables
physiologiques, formant un vecteur, provenant de plusieurs individus. Ces variables évoluent tout
au long des expériences. Nous cherchons à voir apparaître dans certaines situations des variations
des mesures et peut-être des motifs de ces variations se répétant au cours d’une même expérience
ou d’expériences différentes chez un individu ou communs à plusieurs individus sans les associer
à des émotions. Nous souhaitons que les données parlent d’elles-mêmes sans les orienter vers ce
que nous aimerions trouver.
Afin d’établir un modèle, nous allons devoir décrire un ensemble de phénomènes, découvrir des
caractéristiques à partir de nos séries d’observations. Nous présentons dans le texte qui suit les
travaux et discussions qui ont aidé à prendre des décisions.
Les travaux menés dans ce sens par Marzuki et al (2016) utilisent un seul capteur, LVQ119
(Learning Vector Quantization) et un mode supervisé. Zhai et Baretto (2006) mentionnent 4
variables où SVM120 (Support Vector Machine) est utilisé en mode supervisé. Hamdi (2012) a
travaillé sur la reconnaissance d’émotions à partir de quatre mesures physiologiques différentes
des nôtres pour moitié. Il s’est servi de classifieurs. Trois méthodes ont été employées : SVM, la
classification naïve bayésienne et régression logistique. Le travail réalisé est en mode supervisé.

119
LVQ est une méthode utilisée pour classer les modèles non linéaires en mode supervisé.
120
SVM est un ensemble de techniques d’apprentissage supervisé.
221
Les émotions sont mises en relation dès le début avec les signaux physiologiques. La plupart des
études portant sur les mesures physiologiques ou impliquant la détection d’émotions exploite des
techniques d’analyse supervisées et ne répondent donc pas à nos attentes, faire que les données
dévoilent des schémas sans les guider. Pour comprendre les approches, nous présentons les modes
supervisé et non supervisé dans le paragraphe sur l’apprentissage.
Nous avons eu de nombreuses discussions avec des membres121 de l’équipe MSDMA (Méthodes
statistiques de data-mining et apprentissage) du Cédric au Cnam afin de déterminer quelle(s)
méthode(s) pourrai(en)t être appliquée(s) à notre problématique. Nous nous sommes questionnés
sur l’objectif de l’analyse des données récoltées, sur l’apport de connaissances possibles, sur la
pertinence de l’étude et la façon de l’aborder.
Les premières réflexions avec Fouad Badran et Méziane Yacoub nous ont conduits aux réseaux de
neurones, plus particulièrement aux cartes auto-organisatrices, et à l’outil Matlab. La formation au
domaine des données est vaste et a pris un volume de temps non prévu initialement dans la durée
de la thèse. En effet, le travail attendu devait s’appuyer sur des résultats obtenus à partir des
données d’expériences que nous avions menées, mais ne devaient pas constituer une partie aussi
conséquente de la thèse. Avant de commencer à étudier les données et d’échanger avec les experts
du domaine, nous pensions qu’il suffirait d’appliquer quelques algorithmes bien choisis. Il n’en
est rien. L’utilisation directe de différentes méthodes ne peut s’opérer sur des données non
comprises. Un auditeur souhaitant terminer son cursus Cnam et démarrer un mémoire d’ingénieur
en apprentissage, réseaux de neurones et modèles graphiques est venu nous prêter main forte. Nous
lui avons confié une partie des données et travaillé en collaboration sur une période de plus de 2
ans. Ce travail s’est déroulé en partie sur son temps libre et sur des stages courts au laboratoire
Cédric. Nous avons changé d’outil et eu recours au logiciel R en raison des besoins de l’étudiant,
du fait qu’il s’agit d’un logiciel libre et qu’il intègre un module relatif aux cartes de Kohonen. Une
phase descriptive a alors commencé afin de mettre en relief des caractéristiques essentielles. Il n’a
pas été donné suite à ce travail, pour des raisons indépendantes de notre volonté, pourtant, nous
avions obtenu quelques résultats préliminaires encourageants. Nous avons présenté un article à la
conférence IHM 2016 (Gal, Gressier-Soudan, 2016). Nous avons dû complètement réinitialiser ce
travail et l’investiguer. Il est présenté en partie 5.
Comme indiqué précédemment, notre démarche vise à :

121
Fouad Badran, Professeur, en collaboration à différentes étapes du travail – Yacoub Méziane, Maître de
conférences, au tout début de l’étude.
222
  Etudier nos données quantitatives à l’aveugle afin d’éviter les biais d’interprétation et
d’orientation
 Etablir une classification des données sans connaissance préalable.

Les réseaux de neurones en mode non supervisé combinent l’information d’entrée, pour nous, les
variables physiologiques, et l’analyse sans référence à des valeurs de sortie. Nous ne connaissons
pas l’issue de prime abord. Ce type de réseaux devrait nous permettre d’identifier des
caractéristiques spécifiques, des reconnaissances de motifs.
Pour comprendre les données et les intégrer dans des modèles, il est possible d’utiliser
l’apprentissage automatique (machine learning), une technique informatique, sous-domaine de
l’intelligence artificielle (IA). La plupart des techniques d’apprentissage repose sur des
algorithmes mathématiques provenant de la statistique mais aussi issues de l’IA comme les
algorithmes génétiques ou les réseaux de neurones artificiels. On parle alors d’apprentissage
profond (deep learning). L’apprentissage automatique permet la classification des tâches en
catégories. Celles-ci sont fonctions des modes utilisés. Dans le paragraphe suivant nous présentons
les modes d’apprentissage, introduisons les réseaux de neurones et nous penchons sur les cartes
auto-organisatrices.

[Link]. Processus d’apprentissage, réseaux de neurones, et cartes auto-

organisatrices
Comme nous l’avons indiqué, les approches peuvent être différentes. On dispose de deux grandes
techniques d’apprentissage :
 Le mode supervisé
 Le mode non supervisé.

A vrai dire, il existe une troisième technique qui est l’apprentissage par renforcement dont nous
ne parlerons pas car elle s’applique principalement au monde des agents autonomes comme les
robots, loin de nos préoccupations.

Processus d’apprentissage

Le mode supervisé
Comme indiqué précédemment, « En classification supervisée, les classes sont connues à
l’avance » (Hajjar, 2014). Notre approche se veut autre.

223
Dans le cadre du supervisé, nous disposons d’un ensemble de n éléments étiquetés encore dits
labellisés En, d’une architecture de réseau A et des poids de départ w.

Figure 104 : Schéma d’apprentissage supervisé122

Il faut trouver au moyen d’un algorithme d’apprentissage les poids les plus appropriés. Comme le
montre le schéma ci-avant, l’apprentissage peut passer par un certain nombre d’itérations. Quand
le réseau atteint un point de convergence, la phase de généralisation peut commencer. La
convergence correspond à la sortie attendue pour l’ensemble des données d’apprentissage avec le
minimum d’erreur.
Dans un apprentissage supervisé, les poids (coefficients synaptiques) sont évalués en minimisant
l’erreur en comparant la sortie souhaitée à la sortie calculée sur une base d’apprentissage et une
connaissance de ce que l’on doit trouver.

Le mode non supervisé

La classification en mode non supervisé, dite automatique ou clustering, s’effectue sans base
d’apprentissage. Les données d’entrée sont partitionnées en groupes possédant des caractéristiques
similaires sans connaissance au préalable, à l’aide de différentes techniques. C’est l’appartenance
des observations à des groupes, appelés classes, qu’il s’agit de trouver à partir des descripteurs
disponibles. Pour nous, ce sont les variables physiologiques.
Il existe une large famille de méthodes de classification non supervisée. On peut dire qu’on trouve
deux grands types de méthodes non supervisées :

122
Schéma de Y. Bennani issu de
[Link] - consulté le 04/02/2018
224
  à approche géométrique : cette méthode utilise la hiérarchie ou le partitionnement ou
encore la densité, les graphes et grilles. La classification se fait sur une mesure de proximité
entre les individus.
 à approche probabiliste. La classification est identifiée en faisant l’hypothèse que toutes
les observations appartenant le plus probablement à la même distribution sont regroupées
dans la même classe.

Il existe d’autres méthodes non supervisées à base d’algorithmes génétiques ou encore à base de
machines à vecteurs de support (SVM) ou classification à vecteurs de support (SVC).
L’arborescence ci-après présente une vision générale de méthodes de classification non supervisée.

Figure 105 : Méthodes de classification non supervisée (Hajjar, 2014)

Grâce à cette technique, la tâche de regroupement des individus s’établit selon la similarité de leurs
caractéristiques. Le choix d’une mesure de distance appropriée est primordial. Cette distance
représente le moyen par lequel est calculée la similarité entre deux individus. Certains individus
peuvent être très proches par certaines caractéristiques et éloignés pour d’autres (Zhang et Lu,
2003). Le regroupement d’individus peut parfois être simplifié si le nombre de classes est connu
tout en restant en mode non supervisé puisque rien n’est labellisé. L’analyse de la répartition
éclaire ainsi sur les convergence et divergence des caractéristiques des individus.
Faire du clustering, c’est faire de la segmentation et aussi assembler des points, les plus proches
ou les plus semblables, ensembles, par classes ou clusters. La distance, la similarité et la
dissimilarité sont les trois façons d’y accéder.

225
Le choix de la distance est important dans les méthodes d’exploration de données multiples. Il faut
être capable de proposer une mesure de la ressemblance entre les observations la plus adéquate
possible. Pour cela, on procède en trois phases :

 la phase de normalisation, qui évite les problèmes d’échelle entre les variables. Chaque
variable apporte une contribution équivalente aux calculs des distances
 la phase de sélection des variables à partir de l’analyse descriptive et des connaissances
initiales est un outil primordial pour aborder au mieux les données disponibles.
 la phase du choix du poids si nécessaire i.e. le poids attribué à chaque variable suivant
qu’elle doit être plus influente dans le calcul des distances.

Ce choix est ainsi le fruit d’une réflexion par rapport au problème posé. Une distance est donc
définie par trois propriétés :

 L’auto-similarité
 La symétrie
 L’inégalité triangulaire.

On utilise très souvent la distance euclidienne (2-distance, √∑𝑛𝑖=1(𝑥𝑖 − 𝑦𝑖 )2 ) et la distance de

Manhattan (1-distance, ∑𝑛𝑖=1 |𝑥𝑖 − 𝑦𝑖 |). Mais ce ne sont pas les seules.
Pour la similarité, qui consiste à mesurer la ressemblance entre les observations, la fonction S
associe une valeur dans l’ensemble des réels positifs (ℝ+) à tout couple (x1, x2) telle que :

S(x1, x2) = S(x2, x1) ≥ 0

S(x1, x1) ≥ S(x1, x2)
Plus les éléments se ressemblent et plus le résultat est grand.

En ce qui concerne la dissimilarité, moins les éléments se ressemblent plus elle est élevée. Par
analogie à la similarité, la fonction D de dissimilarité associe une valeur dans l’ensemble des réels
positifs (ℝ+) à tout couple telle que :

D(x1, x2) = D(x2, x1) ≥ 0

D(x1, x2) = 0 => x1 = x2
Il est à noter qu’une distance correspond à une dissimilarité.

226
Le clustering peut être abordé de différentes façons123 :
 le clustering par agglomération avec le regroupement hiérarchique ascendant ou
agglomératif ou bottom-up. Chaque point du cluster est petit à petit absorbé par le cluster
le plus proche. Pour cela on cherche la dissemblance entre deux clusters (distance
minimale, maximale, moyenne, …, de Ward). On peut aussi utiliser la représentation des
fusions successives sous forme de dendrogrammes. La hauteur d’un cluster dans cette
représentation indique la similarité de deux clusters avant fusion.
 le clustering par partitionnement
o hiérarchique descendant ou divisif ou top-down. Au début, tous les individus sont
dans le même cluster. A chaque itération, un cluster est séparé en deux par un critère
de séparation.
o spectral. Le principe consiste en un graphe d’adjacence et de rassemblement de
points en groupes.
o k-means ou nuées dynamiques est une méthode itérative qui converge vers une
solution quel que soit son point de départ
 le clustering par modélisation
o mélange de gaussiennes (GMM, Gaussian mixture model). Dans ce type de modèle,
les distributions des classes sont toutes gaussiennes (multivariées).
o cartes de Kohonen (SOM). On peut aussi dire que cette méthode procède par
raffinement des k-means.
 le clustering fondé sur la densité. Les clusters sont des régions denses séparées par des
zones moins denses.

On affine le choix des techniques en fonction du type de données, de l’environnement … Dans le

clustering, le nombre de partitions peut croître plus qu’exponentiellement en fonction du nombre
de données. Il n’y a donc pas de solution analytique au problème de classification.
Le clustering hiérarchique, très flexible, ne demande pas à définir le nombre de classes dès le
départ. On peut le faire à partir du dendrogramme. Par contre, l’exécution de l’algorithme est
gourmande en temps de calcul, en stockage, en mémoire, car il faut examiner toutes les distances
deux à deux entre toutes les paires de points des données. Des solutions existent pour limiter ces
consommations.

123
(voir apprentissage artificiel – Fabien Moutarde – Ecoles des Mines)
227
Dans un apprentissage non supervisé, il n’y a pas de référentiel. Les poids sont déterminés par
rapport à des spécifications générales. On dispose de n éléments d’entrée non étiquetés, d’une
architecture de réseau et de poids initiaux wi. On cherche les poids tels que les éléments soient
regroupés correctement et qu’on obtienne une généralisation satisfaisante en fonction du contexte.

Le schéma ci-dessous résume et compare les deux modes : supervisé et non supervisé.

Figure 106 : Schéma de comparaison entre les deux modes124

Nous cherchons à mener une analyse exploratoire sur des données physiologiques. Notre objectif
est de découvrir si, à partir de celles-ci, il est possible d’observer et d’extraire des motifs pertinents
pouvant nous amener à acquérir des connaissances sur ces données et plus spécifiquement une
classification d’états que nous ne connaissons pas a priori. Les patterns obtenus nous aideront à
construire un algorithme approprié capable de reconnaître des états émotionnels et éventuellement,
dans une autre phase, de les prédire. Le but de cette analyse est de trouver un modèle capable de
classifier ces états à partir des données physiologiques et de concevoir un référent : notre étalon.
Au vu des modèles énoncés, la technique qui semble la plus appropriée pour atteindre notre
objectif est le mode non supervisé qui offre une exploration à l’aveugle. Notre choix s’est donc
porté sur une telle méthode.

124
Schéma de Y. Bennani issu de
[Link] - consulté le 04/02/2018
228
Qu’est-ce qu’un réseau de neurones ? A quoi ça sert ? Comment l’utiliser ?

Un réseau de neurones artificiels s’inspire des réseaux de neurones biologiques (cellules

nerveuses), comme nous le verrons plus loin, pour simuler des processus cognitifs tels que
l’apprentissage et peut servir à prédire, identifier et classifier des données. Il est constitué de
neurones artificiels, encore dits formels, d’un ensemble d’unités de calcul élémentaire connectées
entre elles. Le domaine du connexionnisme auquel appartient cette technique, s’applique à
différentes spécialités comme les statistiques, le traitement du signal, l’imagerie ou encore la
simulation d’apprentissage.
Le neurone formel se compose de deux parties :

 La partie concernant l’évaluation de la stimulation reçue

 La partie relative à l’évaluation de son activation (fonction f)

Il est caractérisé par les points ci-après et explicités dans la suite :

 Son état (binaire, discret, continu)
 Le niveau d’activation reçu en entrée (continu)
 Le poids des connexions

Pour mieux comprendre le fonctionnement du neurone artificiel, l’annexe 11 (neurone biologique

(chapitre 4)) met à disposition quelques informations sur les neurones biologiques, et en
particulier, sur les phénomènes d’activation. Ces phénomènes ont été repris dans les neurones
formels. Pour plus de détails, on pourra se référer aux livres « Psychobiologie » de S. Marc
Breedlove et collaborateurs (2012) et « Psychophysiologie » de F. Morange-Majoux (2011).

Par analogie au neurone biologique, le neurone formel fonctionne sur le même modèle et se
caractérise par :

 Des signaux d’entrée xi

 Des poids de connexions wi
 Une fonction d’activation f
 Un état interne
 Un état de sortie

229
 Figure 107 : Structure d’un réseau de neurone formel

Comme le montre la structure de la figure 107, le neurone formel reçoit en entrée des données x1,
x2, … xn sur lesquelles on applique des poids de connexions w1, w2, … wn encore appelés vecteurs
de pondération. La somme pondérée de ces éléments à laquelle s’ajoute un biais correspond à la
phase d’intégration des entrées. Elle donne le niveau d’excitation ou d’inhibition du neurone et
produit un niveau « électrique » qui dépend du niveau d’excitation selon une loi linéaire ou non
nommée fonction d’activation. Cette fonction est choisie à partir de sa capacité à résoudre les
phénomènes étudiés. Le biais b s'appelle aussi le "seuil d'activation du neurone". Lorsque son
niveau d'activation atteint ou dépasse le seuil b alors l'argument de f devient positif, ou positif ou
nul. Sinon, il est négatif. Ceci va déterminer le fonctionnement de la fonction de transfert ou
d’activation présentée ci-après.
On note xi (1  i < n) les n informations parvenant au neurone. Chacune des informations sera plus
ou moins valorisée via un poids. Un poids supplémentaire est utilisé et représente le coefficient de
biais. Il est noté w0. Il est supposé être lié à une information x0.
Le neurone artificiel effectue une somme pondérée des entrées :
res = ∑𝑛𝑖=0 𝑤𝑖 𝑥𝑖 ou encore (∑𝑛𝑖=1 𝑤𝑖 𝑥𝑖 ) − 𝑤0 (faisant apparaître le poids associé au biais)
Les wi sont les poids et w0 le biais. Ce sont les paramètres qu'il faudra identifier.
Les poids sont généralement inconnus et déterminés au cours d’un processus d’apprentissage, par
biomimétisme. Il s’agit en fait de trouver des paramètres en minimisant l’erreur quadratique entre
les valeurs mesurées et les valeurs simulées. Cette erreur quadratique est une mesure qui
caractérise la précision de l’approche.

230
L'entrée de la fonction d'activation du neurone res, c'est-à-dire son niveau d'excitation électrique,
et la sortie y s'expriment par :
res = ∑𝑖 𝑤𝑖 𝑥𝑖 - 𝑤0
y = f (∑𝑖 𝑤𝑖 𝑥𝑖 - 𝑤0 )
∑ 𝑤𝑖 𝑥𝑖 est le niveau d’activation.
f est la fonction d'activation ou fonction de transfert. Elle permet de définir l’état interne du
neurone.

Pour information, la fonction d’activation est une fonction qui applique un seuil en entrée. Si
l’entrée est négative et ne passe pas le seuil, elle renvoie la valeur 0 ou faux, si elle est positive ou
nulle et dépasse le seuil, elle renvoie 1 ou vrai. Elle permet une prise de décision.
Ainsi,
 au-dessous du seuil, le neurone reste inactif (sortie = 0 ou -1, en général et aussi parfois, -
1)
 autour du seuil, il y a une phase de transition
 au-dessus du seuil, le neurone est actif (sortie = 1 ou n).

Autrement exprimé, si ∑ 𝑤𝑖 𝑥𝑖 dépasse w0 alors le neurone est activé sinon il reste inactif d’où le
nom de seuil donné à w0. Une fois le calcul effectué, le nouvel état interne du neurone est propagé.
y est la sortie du neurone, c'est-à-dire son niveau de réponse électrique.
La sortie du neurone vaut :
y = f(res) = f(∑𝑛𝑖=0 𝑤𝑖 𝑥𝑖 )
ou
y = f(res) = f((∑𝑛𝑖=1 𝑤𝑖 𝑥𝑖 )-w0)
 neurone actif : res ≥ 0 y = f(res) ≥ seuil y = 1
 neurone inactif : res < 0 y = f(res) < seuil y = 0

Un neurone est donc un triplet (poids, biais, fonction d’activation). Chaque valeur d’entrée est
multipliée par le poids correspondant (produit scalaire entrées poids). La valeur obtenue est
comparée à la valeur de référence : le biais. Pour cela, le biais est soustrait. La fonction d’activation
est ensuite appliquée à la différence. Le résultat dépendra du type de fonction d’activation utilisée.
En effet, il existe différentes fonctions d’activation ou de transfert (voir tableau ci-après). Dans ce
tableau le a correspond à notre y et n à res.

231
 Tableau 10 :Type de fonctions d’activation ou de transfert125

Il en découle différents types de neurones formels qui s’illustrent par leur fonction d’activation qui
peut être :
Linéaire comme la fonction identité
Seuil, fonction proche de la réalité biologique mais posant des problèmes au niveau de
l’apprentissage
 ReLU (Rectified Linear Unit), unité de rectification linéaire, comme nous le verrons plus
loin
 Stochastique, modèle plutôt utilisé dans les problèmes d’optimisation de fonctions
perturbées ou dans les systèmes de particules
 …
Ce sont des modèles mathématiques. Chacun des modèles répond à des problèmes spécifiques et
peut-être combiné à un autre modèle pour donner des modèles hybrides.
Ces modèles peuvent servir à l’étude et la modélisation de phénomènes naturels d’apprentissage
et/ou à résoudre des problèmes complexes. Des exemples d’applications de réseaux neuronaux
sont cités par Shu-Hsien et collaborateurs (2012).
Un réseau connexionniste ou réseau de neurones est un graphe valué et orienté. Il est composé
d’un ensemble d’unités architecturé en couches communicantes (connexion) donc capable
d’échanger de l’information. Pour se faire, ces unités opèrent des calculs élémentaires. C’est ce
que nous avons vu dans le fonctionnement des neurones formels. Le réseau évolue en fonction du
type d’apprentissage. En effet, on peut modifier le poids des connexions, l’architecture ou les

125
[Link] -
consulté le 20 janvier 2018. D’autres fonctions sont aussi disponibles à l’adresse
[Link] – consultée le 27 janvier 2018
232
fonctions intermédiaires des unités (fonctions de transfert, fonction d’activation ou de seuillage).
Pour plus de détails sur l’historique des réseaux de neurones artificiels, on pourra se référer à126.
Nous allons voir dans la suite que selon le cheminement d’apprentissage, les réseaux sont
différents.

Les cartes auto-organisatrices

Les cartes auto-organisatrices font partie des techniques adaptées à l’apprentissage non supervisé.
Il s’agit d’une méthode de classification et de représentation de données. Elle permet de construire
des partitions tout en respectant la topologie des données selon un principe de voisinage.
Les cartes auto-organisatrices émergent des travaux de Willshaw et Von Der Malsburgh (1976),
travaux repris par Teuvo Kohonen qui a défini un algorithme original de classification. On parle
souvent des cartes de Kohonen. Dans « The Self-Organizing Map », T. Kohonen (1990) explique
comment sont organisées les données et comment les cartes sont efficaces dans la reconnaissance
de patterns.
Il s’agit de former des classes de réseaux de neurones artificiels. « Techniquement, la carte réalise
une quantification vectorielle de l'espace de données. Cela signifie discrétiser l'espace ; c'est-à-
dire le diviser en zones, et affecter à chaque zone un point significatif dit vecteur référent127. » La
figure ci-après est la traduction de la quantification vectorielle des données d’entrée en une grille
associée aux vecteurs référents ou neurones gagnants. Les nœuds de la grille, le plus souvent
bidimensionnelle, correspondent aux référents et conservent la géométrie des données d’entrée.

Kohonen (2012) détaille le fonctionnement de ces cartes. L’auteur explique également que les
calculs de similarité ou de distance sont grands consommateurs de mémoire, de temps d’exécution
et que le fait d’utiliser les cartes auto-organisatrices, encore appelées topologiques ou SOM (Self
Organizing Map), permet de réduire l’ensemble des données et donc de réduire les calculs et leurs
conséquences. Ces cartes sont intéressantes car elles préservent la topologie de l’ensemble des
vecteurs.
L’algorithme SOM est une méthode fondée sur une abstraction simple du fonctionnement du SNC
(système nerveux central).
Cette méthode comporte des caractéristiques comme :
 Le nombre de classes défini par l’utilisateur
 L’adaptation aux données de grande taille

126
[Link] - consulté le 1er août 2019
127
Issu de [Link] (consulté le 12 octobre 2015)
233
  La notion de voisinage entre classes
 Un support graphique (cartes) utile pour la visualisation et l’interprétation.

128

Figure 108 : Quantification vectorielle des données d’entrée vers une grille de référents

On visualise la structure des données en deux dimensions. Les classes obtenues de manière non
linéaire regroupent les individus similaires. Deux données proches de l’espace multidimensionnel
d’origine ont une représentation proche sur la carte du fait que la structure respecte la topologie
des données de départ.
Des logiciels nous ont aidé dans l’analyse des données. Nous les exposons succinctement dans la
partie ci-après.

[Link]. Description des outils

Il existe de nombreux outils libres ou propriétaires d’analyse statistique comme XLstat, SAS,
Statistica, spss, Matlab, Shogun, Bayesian filtering library, R, Tanagra … Python est aussi très
employé pour les statistiques et la science de données. Notre choix des outils s’est chaque fois
porté sur des logiciels connus des collaborateurs et/ou de nous-mêmes. L’adaptation comme
l’adaptabilité étaient de mise.
Comme nous avons eu recours aux cartes auto-organisatrices pour la classification des vecteurs
d’entrée, les outils devaient nous permettre de les intégrer. Pour plus de détail, on pourra se référer
aux documents fournis avec les logiciels listés ci-dessous.
Les outils successivement manipulés dans nos diverses analyses des données sont :

128
[Link] (consulté le 12 octobre
2015)
234
  Matlab

Le logiciel MATLAB129 (Matrix Laboratory), payant, est conçu autour du langage Matlab par
Cleve Moler dans les années 70. Il est utilisé pour le calcul numérique. Il compte de nombreuses
boîtes à outils dont « neural network toolbox ». Cet outil a vite été abandonné car un stagiaire
connaissant mieux le langage R et le logiciel associé, a intégré l’étude.
 R

R130 est un langage de programmation et un logiciel libre de statistique et de sciences des données.
Il est assez complet, s’exécute sur différents systèmes d’exploitation, offre des supports pour
diverses méthodes d’analyse : analyse de séries temporelles, méthodes de régression, analyse de
variance (ANOVA) … Certains modules ou packages sont disponibles de base, d’autres sont
téléchargeables en fonction des besoins dont le module « Kohonen » que nous avons exploité.
Nous avons installé R Studio, une interface facilitant l'utilisation de R.
 Xlstat

Xlstat131 est un logiciel de statistique, payant, qui s’intègre à microsoft excel. Il offre de
nombreuses fonctionnalités et modules selon les besoins métier. Il est automatisable et
personnalisable. Nous nous en sommes beaucoup servi pour les statistiques descriptives, le pré-
traitement des données, les méthodes factorielles et également pour appliquer différentes
techniques comme les cartes de Kohonen. Cet outil nous a été précieux dans la première phase
d’étude des données et les premiers pas avec Kohonen. Pour une plus grande souplesse de
programmation, les étapes suivantes ont été réalisées avec R studio.
En tout état de cause et même si nous avons commencé à explorer les données au travers des
réseaux de neurones et des cartes auto-organisatrices de Kohonen, le travail ne s’est pas fait
directement. Au fur et à mesure des discussions et réflexions, la découverte et l’observation des
données posaient sans cesse de nouveaux questionnements. Nous pouvons dire que ce processus
exploratoire s’est déroulé à peu près comme suit et de façon itérative :

 Analyse d’un échantillon des données et observations

 Réflexion sur la poursuite et orientation

Comme pour toute analyse des données, nous avons commencé par un nettoyage de celles-ci et
une première application des statistiques descriptives afin de se donner des pistes de travail.

129
[Link]
130
[Link]
131
[Link]
235
Pour explorer les données nous avons exploité les méthodes de visualisation par nuages de points,
des boxes plot ou boîtes à moustaches, axes principaux et les méthodes de classification. Elles
permettent de mieux organiser, de hiérarchiser et de trouver les relations entre les données et aussi
d’avoir une vue synthétique de l’information.

4.5. Nos données physiologiques, analyses, nos démarches, nos modèles

Nous allons étudier les données dans les différents cas suivants :
 Pour chacun des individus donc individu par individu pour chaque expérience
 Pour chacun des individus dans différentes expériences
 Pour tous les individus, expérience par expérience
 Pour tous les individus, toutes les expériences confondues.

Nous allons utiliser, pas à pas, à cet effet, des techniques de statistiques et d’intelligence artificielle
de type non supervisé.
Comme évoqué précédemment, les données quantitatives recueillies se présentent sous forme de
tableaux au format csv. Chaque tableau comporte cinq colonnes. La première colonne indique une
date au sens large comprenant la date (jour/mois/année) et une heure
(heure/minute/seconde/milliseconde), les quatre colonnes suivantes correspondent à nos quatre
variables physiologiques respiration, activité électrodermale(GSR), température et fréquence
cardiaque (CFM).

Respiration GSR Temperature CFM

18/02/2014 [Link].506 -3,905 -44,482 21,747 65
18/02/2014 [Link].537 -3,686 -44,482 21,747 65
18/02/2014 [Link].569 -3,491 -44,482 21,747 65
18/02/2014 [Link].600 -3,32 -44,482 21,747 65
18/02/2014 [Link].631 -3,172 -44,482 21,747 65
18/02/2014 [Link].662 -3,047 -44,482 21,747 65
18/02/2014 [Link].694 -2,977 -44,482 21,747 65
18/02/2014 [Link].725 -2,875 -44,482 21,747 65

Tableau 11 : Extraction d’un des fichiers

De façon générale, pour chaque individu I et par expérience Xp, nous avons le tableau générique
ci-après :
236
 Pour In et Xpm
tps V1 V2 V3 V4
où tps est une variable chronologique « date » représentant des événements (stimuli) et V1 à V4
sont les variables physiologiques utilisées dans toutes les expériences. Ce sont des variables
continues.
Le nombre de valeurs de la variable tps est équivalent en nombre d’observations pour certaines
expériences et par individu mais, en règle générale, ce n’est pas tout à fait le cas.
En effet, trois des expériences ont été bornées dans le temps mais il existe des petites variations de
quelques millisecondes liées aux synchronisations de début et de fin. Une des expériences pouvait
être écourtée suivant les obstacles perçus ou non par le joueur. Par exemple, le game over pouvait
se déclencher lorsque l’incarnation du joueur tombait dans un trou. Cela pouvait arriver au bout
d’un temps très court (environ 3 – 4 minutes). Les tableaux 12, 13, 14 et 15 illustrent ces variations.

Tableau 12 et Tableau 13 : Exemple pour une même expérience de même durée

et deux individus différents Ix (1er tableau) et Iy (2e tableau)

La différence du nombre d’observations est faible car elle vaut 14 (48 818 – 48 804) et représente
simplement 434 millisecondes sur toute la durée de l’expérience puisque le pas entre les
observations est de 31 millisecondes.

Tableau 14 et Tableau 15 : Exemple pour une même expérience

où la durée de l’expérience est différente selon l’individu, et deux individus différents Ix (1er
tableau) et Iy (2e tableau)

237
Ici, on a une durée de 48 secondes sur l’ensemble de l’expérience. Ce qui est également peu et
n’impacte en aucun cas les expériences elles-mêmes puisque ce sont les variations des signaux qui
nous intéressent.

4.5.1. Notre prétraitement des données

Nous avons parfois utilisé des tableaux intermédiaires pour les besoins de l’analyse. Nous avons
procédé à un prétraitement des données afin de s’assurer d’une meilleure qualité. Tous les fichiers
ont donc fait l’objet d’un ajustement, si nécessaire. En effet, nous avons considéré les données
manquantes, les valeurs aberrantes et les valeurs extrêmes. Pour les découvrir, nous avons utilisé
différents moyens et, en particulier, la détection automatique des données manquantes fournie par
notre outil statistique. Pour les autres cas, nous avons observé les résultats relatifs au minimum,
au maximum des valeurs ou encore leur moyenne. Ces résultats sont issus de la représentation
synthétique des données. Ainsi, nous avons pu corriger (tableau 19) par exemple des valeurs de
CFM indiquant des zéros (tableau 18 ci-après) qui auraient signifié que le nombre de battements
cardiaques par minute était nul à certains moments (mort intermittente). D’autres valeurs
observées semblant parfois extrêmes i.e. très grandes ont été examinées de près. Par exemple, dans
le cas d’un CFM très élevé, nous avons appliqué la formule d’Astrand132 et la méthode de
Karvonen133 pour ne conserver que des valeurs plausibles. Il existe différentes techniques pour
aborder ces sujets et nous avons considéré celles qui semblaient les plus adaptées aux signaux
physiologiques, comme par exemple, le plus proche voisin. Les variations des signaux
physiologiques ne présentent en général pas de changements brusques. La température de surface,
par exemple, ne varie pas instantanément de 32° à 40°.
Les tableaux 16, 17 18 et 19 montrent le traitement appliqué lors de données manquantes (tableau
16) et dans le cas de valeurs extrêmes (tableau 18). Ces données particulières sont indiquées par
des ellipses rouges. Une des explications plausibles de ces données manquantes est que le capteur
ait dysfonctionné ou qu’il y ait eu une perte de message dans la transmission des informations vers
le récepteur. Sans ce traitement, les analyses suivantes risquent d’être faussées.

132
[Link] - consulté le 25 mars 2018
133
[Link] – consulté
le 25 mars 2018
238
 Tableau 16 et Tableau 17: Exemple de valeurs CFM manquantes

Avant traitement
Observation Respiration GSR Temperature CFM
… … … … …
Obs11424 -1,768 -39,677 27,966
Obs11425 -1,752 -39,677 27,966
Obs11426 -1,744 -39,665 27,966
Obs11427 -1,736 -39,665 27,966
Obs11428 -1,729 -39,665 27,966
Obs11429 -1,768 -39,652 27,966
Obs11430 -1,768 -39,652 27,966
Obs11431 -1,838 -39,64 27,966
Obs11432 -1,885 -39,64 27,966
Obs11433 -1,978 -39,64 27,966
Obs11434 -2,072 -39,627 27,966
Obs11435 -2,212 -39,627 27,966
Obs11436 -2,36 -39,615 27,966
Obs11437 -2,563 -39,615 27,966
… … … … …

Après traitement

Estimation des données manquantes : Plus proche voisin

Observations avec des données manquantes remplacées :
Observation Respiration GSR Temperature CFM
Obs11424 -1,768 -39,677 27,966 60,000
Obs11425 -1,752 -39,677 27,966 60,000
Obs11426 -1,744 -39,665 27,966 60,000
Obs11427 -1,736 -39,665 27,966 60,000
Obs11428 -1,729 -39,665 27,966 60,000
Obs11429 -1,768 -39,652 27,966 60,000
Obs11430 -1,768 -39,652 27,966 60,000
Obs11431 -1,838 -39,640 27,966 60,000
Obs11432 -1,885 -39,640 27,966 60,000
Obs11433 -1,978 -39,640 27,966 68,000
Obs11434 -2,072 -39,627 27,966 68,000
Obs11435 -2,212 -39,627 27,966 68,000
Obs11436 -2,360 -39,615 27,966 66,000
Obs11437 -2,563 -39,615 27,966 66,000

Exemple de remplacement de données manquantes (en gras) selon la méthode du plus proche
voisin

239
 Tableau 18 et Tableau 19 : Exemple de valeur CFM à 0 (ici le minimum)

Avant traitement

Statistiques descriptives :
Obs. avec Obs. sans
données données Ecart-
Variable Observations manquantes manquantes Minimum Maximum Moyenne type
Respiration 15791 0 15791 -18,670 -17,898 -18,669 0,014
GSR 15791 0 15791 -34,384 -31,794 -33,490 0,572

Temperature 15791 0 15791 22,498 22,698 22,594 0,030

CFM 15791 0 15791 0,000 142,000 76,413 11,306

Après traitement

Statistiques descriptives :

Obs. avec Obs. sans

données données
Variable Observations manquantes manquantes Minimum Maximum Moyenne Ecart-type
Respiration 15791 0 15791 -18,670 -17,898 -18,669 0,014
GSR 15791 0 15791 -34,384 -31,794 -33,490 0,572
Temperature 15791 0 15791 22,498 22,698 22,594 0,030
CFM 15791 0 15791 67,000 142,000 76,686 10,346

Les tableaux 18 et 19 offrent une synthèse pour un individu au cours d’une expérience. Il a été
calculé le minimum, le maximum, les moyennes et les écarts-types. Ceci a été établi pour tous les
individus et chaque variable.
L’écart-type est un indicateur de valeurs aberrantes. Il permet de mesurer la dispersion autour de
la moyenne d’un ensemble donné. Plus un écart-type est grand, plus large est la distribution. Ceci
montre l’intérêt de traiter les données manquantes ou autres et nous a permis d’intervenir sur nos
données.
Nous avons également appliqué différentes techniques pour lesquelles des synthèses et des
visualisations graphiques ont été opérées. Nous exposons ci-après des méthodes factorielles et des
méthodes de classification.

240
4.5.2. Méthodes factorielles appliquées

Les méthodes factorielles ou méthodes d’analyse en axes principaux qui produisent des
représentations graphiques sur lesquelles les proximités géométriques usuelles en points-lignes
(individus) et entre points-colonnes (variables) traduisent les associations entre les individus et les
variables.
On trouve la technique de l’Analyse en Composantes Principales (ACP) qui fait ressortir les
liaisons entre les variables quantitatives. Elle permet de construire une représentation graphique
en deux dimensions, plus facile à lire et à analyser. Quand on dispose de seulement deux variables,
c’est simple. En effet, chaque axe représente une des variables et la projection des points se fait
selon les valeurs des deux variables sur ces deux axes. Quand on a plus de deux variables, la
représentation visuelle est d’autant plus difficile qu’il y a de variables. En trois dimensions la
représentation est encore possible mais au-delà, la limite de notre esprit se révèle. L’ACP ramène
le nuage de points à deux dimensions. Les axes représentent des combinaisons entre les variables
et non les variables elles-mêmes. Les calculs sont réalisés de façon à passer le plus près possible
de tous les points. Chaque point est projeté sur le plan. De ce fait, un volume d’information est
perdu. Il est donné par le calcul du cumul des distances de chacun des points par rapport au plan.
L’ACP est un changement de base qui se traduit par une représentation de la base des variables
initiales en une représentation dans la base définie des facteurs obtenus par les vecteurs propres de
la matrice des corrélations. Cette matrice donne les coefficients de corrélation linéaire des
variables associées deux à deux. Ceci constitue une première approche vers une analyse
multivariée. L’ACP permet donc de simplifier la description des données corrélées. Les liaisons
entre variables sont synthétisées par le cercle des corrélations comme sur le tableau 21 ci-après
(corrélation). On peut aussi voir le sens des variables. L’examen de ces informations synthétisées
nous informe aussi sur la proximité ou l’éloignement des observations.
Nous avons appliqué la technique de l’ACP sur chacun des individus. L’objectif est de revenir à
un espace de dimension réduite (pour nous 2 au lieu de 4) en déformant le moins possible la réalité
et ainsi obtenir un espace plus facile à analyser et pertinent des données initiales. Elle a donc porté
sur les événements matérialisés par le temps. Cela permet de mettre en évidence la structuration
en montrant le regroupement des événements selon des combinaisons de réponses aux questions
que l’on se pose comme les liens entre les variables. Par exemple, existe-t-il une relation entre la
variable température et la GSR ? Si oui, leurs variations sont-elles ressemblantes ? L’ACP a
également été appliquée à l’ensemble des individus par groupe d’expériences identiques et
individus différents, par groupe de même individu et expériences différentes et par groupe
d’expériences différentes et d’individus différents.

241
Une fois les données prêtes, l’algorithme de l’ACP effectue sur la matrice événements/variables,
individus/variables pour nous, des opérations telles que le centrage et la réduction des données, la
diagonalisation de la matrice, le calcul des valeurs propres, des vecteurs propres … Le type de
corrélation dans l’ACP choisi est Pearson. La corrélation de Pearson évalue la relation linéaire
entre deux variables continues sachant que, dans une telle relation, la modification de l'une des
variables est associée à une modification proportionnelle d'une autre variable. C’est le coefficient
de corrélation classiquement utilisé et approprié à notre contexte. Pour calculer ce coefficient, il
faut en premier lieu quantifier la covariance qui est la moyenne du produit des écarts à la moyenne.
Il permet d'analyser les relations linéaires contrairement au coefficient de Spearman qui s’applique
aux relations non linéaires monotones. En général, les coefficients de corrélation permettent de
donner une mesure synthétique de l'intensité de la relation entre deux variables et de son sens
lorsque cette relation est monotone. Un coefficient de corrélation calcule dans quelle mesure ces
deux variables tendent à changer ensemble. Le coefficient décrit ainsi l’importance et le sens de
la relation. Les matrices de covariance allouent plus de poids aux variables ayant des valeurs
élevées. Pour choisir le nombre d’axes à prendre en compte, on a utilisé le critère « absolu » i.e.
les axes dont les valeurs propres sont supérieures à un. En effet, par convention, tout facteur ayant
une valeur propre initiale supérieure à 1 est réputé comme facteur significatif.
Nous avons procédé à l’évaluation des valeurs propres. Elles sont données par la matrice de
variance-covariance. La diagonale de cette matrice fournit les variances des quatre variables
considérées. En ACP, on utilise la variance pour prendre en compte la dispersion d’une variable
quantitative, alors qu’en général, dans des méthodes statistiques, on utilise l’écart-type. Chaque
colonne du tableau 20 (valeurs propres) correspond à une variable virtuelle (ce sont les facteurs)
dont la première ligne fournit la valeur propre. Chaque valeur propre représente la variance
(mesure de la dispersion) du facteur correspondant. Le facteur, quant à lui, est une combinaison
linéaire des variables de départ où les coefficients sont obtenus par les coordonnées des vecteurs
propres. La variabilité est le taux de variance de chaque colonne par rapport au total. Le
pourcentage cumulé représente le cumul de ces taux (de gauche à droite dans le tableau valeurs
propres). La somme des valeurs propres est égale au nombre de variables, à savoir quatre. Nous
remarquons que ce sont les deux premiers facteurs qui restituent la presque totalité de la dispersion
du nuage de points. Par exemple, le premier axe exprime 55, 94 % de la variabilité des données,
quant au deuxième il représente 29,65 %. Les deux premiers axes traduisent une bonne
représentation de cette variabilité puisqu’ils expriment les 85,6 %. De façon générale, le premier
facteur exprimé est le facteur qui montre le plus de variance et constitue donc la combinaison des
variables la meilleure.

242
 Analyse en Composantes Principales - Valeurs propres
F1 F2 F3 F4
Valeur
propre 2,238 1,186 0,351 0,225

Variabilité
(%) 55,943 29,651 8,772 5,634
% cumulé 55,943 85,594 94,366 100,000

Tableau 20 : Tableau de valeurs propres

La somme des pourcentages de ces deux composantes nous renseigne sur l’information perdue.
Ici, 55,94 augmentés de 29,65 donnent un taux de 85,59 soit une déperdition d’information de
14,41 %.

Corrélations entre les variables et les facteurs :

F1 F2 F3 F4
Respiration -0,855 0,254 0,429 0,147
GSR 0,862 0,362 0,017 0,354
Temperature 0,870 -0,207 0,407 -0,186
CFM 0,087 0,973 -0,031 -0,210

Tableau 21 :Tableau des corrélations

Les coefficients de corrélations variables/facteurs (tableau 21) donnent du sens aux facteurs et
permettent leur interprétation. Les nouvelles composantes forment les axes de la cartographie en
deux dimensions. La première d’entre elles est celle qui condense le mieux les informations du
tableau. Elle constitue l’axe horizontal. La deuxième, d’un pourcentage plus petit, apporte une
information complémentaire. Elle représente l’axe vertical.
Les points événements sont représentés en fonction de leurs coordonnées sur les facteurs. Les
points les plus proches correspondent à des événements ayant des profils proches quant aux
réponses aux variables prises.
Les deux premières colonnes permettent de tracer le cercle des corrélations (figure 109) et de
donner une signification aux axes. Les deux dernières colonnes ne sont pas utilisées puisque seules
deux dimensions sont retenues pour l’analyse mais il est possible de visualiser le cercle avec toutes

243
les combinaisons des facteurs (figure 111) un exemple avec des valeurs faibles F3 et F4). Le
tableau des corrélations (tableau 21) montre des valeurs positives et négatives, ce qui signifie que
les variables varient dans des sens opposés. Elles ont des valeurs faibles (- 0,855), moyennes
(0,429) et fortes (0,973).
On peut déjà noter que la GSR et la respiration s’opposent (– 0,855 et 0,862).
F1 et F2 sont les composantes principales ou axes factoriels. Ce sont des combinaisons linéaires
des quatre variables. Chacune des composantes rend une partie de l’information de ces quatre
variables. Les composantes sont caractérisées par la quantité d’informations qu’elles rendent. Elles
sont ordonnées en fonction de cette quantité. Elles sont indépendantes les unes des autres.
Pour déterminer ces composantes des observations définies par les quatre variables vues
précédemment, on utilise la matrice de variance – covariance des variables. Variance et covariance
sont définies ci-après.
v, la variance est exprimée par
𝑛
1
𝑣 = ∑ ( 𝑥𝑖1 − 𝑥 )2
2
𝑛
𝑖=1

n : nombre d’observations
𝑥𝑖 : variable
𝑥̅ : moyenne de la variable 𝑥

La variance est donc une mesure qui permet de connaître la dispersion des variables autour de la
moyenne ou de l’espérance. Une grande variance indique une grande dispersion. On peut calculer
l’écart-type  à partir de la variance.
On aura : 𝜎 = √𝑣
et cov, la covariance est exprimée par
𝑛
1
𝑐𝑜𝑣 = ∑ ( 𝑥𝑖1 − 𝑥1 ) (𝑥𝑖2 − 𝑥2 )
𝑛
𝑖=1

Si 𝑥1 croît quand 𝑥2 croît cov > 0

Si 𝑥1 croît quand 𝑥2 décroît cov < 0
Si 𝑥1 et 𝑥2 indépendantes cov = 0 donc pas de relation linéaire.
La covariance est un réel qui mesure le lien entre deux variables. Elle caractérise les variations
entre variables.

Le diagramme (figure 109 cercle de corrélations) représente la projection des variables sur les axes
et fournit différentes indications. La longueur des vecteurs renseigne sur la qualité de la
représentation des variables. Cette qualité est donnée par le carré de la longueur. Avec une bonne
244
représentation, le coefficient de corrélation entre les variables est exprimé par le cosinus de l’angle
formé par les vecteurs de ces variables. Les variables sont regroupées par significations voisines
ou par leur opposition ou encore leur indépendance. L’angle que fait la projection avec un des axes
est également lié au coefficient de corrélation. Sur notre cercle, on observe la proximité des
variables au cercle. Cela signifie qu’il existe de fortes corrélations. On peut donc prendre en
compte nos variables. L’axe horizontal représente plutôt les variables respiration, GSR et
température. La première composante est donc liée à ces variables. L’axe vertical représente mieux
la variable CFM.

Variables (axes F1 et F2 : 85,59 %)

CFM
1

0,75

0,5
GSR
Respiration
0,25
F2 (29,65 %)

-0,25 Temperature

-0,5

-0,75

-1
-1 -0,75 -0,5 -0,25 0 0,25 0,5 0,75 1
F1 (55,94 %)

Variables actives

Figure 109 : Exemple de cercle de corrélations

avec les deux facteurs les plus forts F1 et F2

Le tableau suivant exprime les contributions des variables et permet de voir les variables qui jouent
un rôle prépondérant dans la représentation des axes factoriels du fait de la valeur plus ou moins
élevée du pourcentage.

245
 Tableau 22 : Contributions des variables (%) :

F1 F2 F3 F4
Respiration 32,637 5,428 52,362 9,573
GSR 33,205 11,066 0,083 55,645
Temperature 33,820 3,615 47,273 15,292
CFM 0,338 79,890 0,282 19,490

La table des cosinus carrés indique la qualité de la représentation des variables par le carré du
cosinus de l’angle entre l’axe de projection et le vecteur représentatif de la variable. Plus la valeur
est proche de 1, meilleure est la qualité.

Tableau 23 : Cosinus carrés des variables :

F1 F2 F3 F4
Respiration 0,730 0,064 0,184 0,022
GSR 0,743 0,131 0,000 0,125
Temperature 0,757 0,043 0,166 0,034
CFM 0,008 0,948 0,001 0,044

Les valeurs en gras correspondent pour chaque variable au facteur pour lequel le cosinus
carré est le plus grand

On constate sur ce tableau que les trois premières variables de la première colonne alimentent à
elles seules le facteur F1 alors que le facteur F2 est lié à la variable CFM.

La matrice de corrélation ci-après est utilisée pour évaluer la dépendance entre les variables. Il
s’agit d’une matrice symétrique avec une diagonale à 1 du fait que la corrélation d’une variable
avec elle-même est parfaite. Cette matrice permet de voir rapidement les liaisons entre variables.
Par exemple, on observe une indépendance entre le CFM et la température (-0,096) et une
dépendance certaine entre la température et la respiration (-0,649).

246
 Tableau 24 : Matrice de corrélation

date
remplacée Respiration GSR Temperature CFM
date
remplacée 1 0,748 -0,723 -0,933 0,107
Respiration 0,748 1 -0,585 -0,649 0,126
GSR -0,723 -0,585 1 0,616 0,354
Temperature -0,933 -0,649 0,616 1 -0,096
CFM 0,107 0,126 0,354 -0,096 1

Figure 110 : Biplot (axes F1 et F2 : 85,59 %)

Ce diagramme biplot ci-avant montre comment se placent les différentes projections de variables
(en rouge) et comment se répartissent les observations (en bleu). Les ellipses rouges signalent les

247
noms des variables. Compte tenu du nombre important d’observations (15591) la figure est
difficilement lisible mais exprime la forme de la répartition.

Variables (axes F3 et F4 : 14,41 %)

0,75

0,5

0,25
F4 (5,63 %)

-0,25

-0,5

-0,75

-1
-1 -0,75 -0,5 -0,25 0 0,25 0,5 0,75 1
F3 (8,77 %)

Variables actives

Figure 111 : Exemple de cercle de corrélations

avec les deux facteurs les plus faibles F3 et F4

Ce deuxième exemple de cercle de corrélation exprime bien le fait que les facteurs F3 et F4 sont
moins intéressants que F1 et F2. En effet les informations qu’ils représentent sont moindres.
Au vu de ces résultats, nous poussons l’exploration un peu plus loin. Nous utilisons des techniques
de classification. Les méthodes de classification opèrent des regroupements en classes. Ces classes
regroupent des objets similaires au sein d’un même groupe et dissimilaires dans des groupes
différents. Pour bien regrouper, il s’agit d’obtenir une grande similarité intragroupe et une faible
similarité intergroupe. L’objectif consiste toujours à trouver des regroupements en fonction des
mesures physiologiques et pouvant faire apparaître des motifs liés éventuellement aux états
émotionnels d’individus.

4.5.3. Méthodes de classification utilisées

On trouve la technique des k-means ou k-moyennes, la classification ascendante hiérarchique

(CAH) et celle des cartes auto adaptatives ou self organizing maps (SOM). Chacune de ces
méthodes nous a assistés dans la compréhension des données de façon plus ou moins précise.

248
[Link]. La technique des k-means et notre contexte
Cette technique est une classification non hiérarchique très utilisée. Il existe plusieurs types de k-
means : la méthode des centres mobiles et celle des nuées dynamiques sont les plus connues. Un
des inconvénients de cette technique est le choix des classes à déterminer. Nous pouvons nous
aider de l’ACP, comme nous l’avons vu, en projetant les données dans un plan et avoir une idée
intuitive du nombre de classes. En effet, l’ACP facilite souvent le choix des classes, tout comme
l’exécution d’une analyse factorielle permet de détecter les « outliers » (données suspectes ou
aberrantes). On procède en général à plusieurs classifications afin de ne retenir que celle qui
semble être la meilleure ou s’en approche. Pour cela, on vérifie les valeurs de R 2(134),
l’homogénéité des classes ou clusters… Dans cette méthode, le nuage de points est divisé, par
itération, en zones, en fonction de la distance des points et de leurs barycentres. En général, c’est
le carré de la distance euclidienne qui est appliqué i.e. la matrice d’inertie. La somme des variances
intraclasse est ainsi minimisée sachant que la variance est l’inertie si toutes les pondérations sont
égales. Le R2 est le rapport inertie interclasse sur inertie totale. Plus le nombre de classes augmente
et plus la valeur R2 augmente.

Pour résumé, k-means est souvent la généralisation de la moyenne. Le représentant d’une classe
correspond ainsi au barycentre des points.

L’algorithme fonctionne comme suit :

On initialise par le nombre de classes k afin de constituer les représentants (centroïdes) de chaque
classe qui sont choisis au hasard dans le jeu de données. Pour chaque point de notre nuage de
points, on calcule les distances entre le point et les représentants des différentes classes. La distance
minimale entre ce point et une des classes est retenue. La classe retenue est affectée à ce point.
Puis on met à jour les représentants des classes par le calcul du barycentre. Après maintes
itérations, l’algorithme trouve un découpage stable des données. On parle de la convergence de
l’algorithme.
Cette technique est sensible aux outliers. C’est une des raisons pour laquelle nous avons prétraité
nos données. Nous avons donc appliqué cette méthode sur des données centrées réduites comme
pour la technique suivante afin de comprendre et synthétiser nos données physiologiques. Il faut
également savoir que la quantification par cette méthode est moins fine que celle que nous verrons
plus en détail dans la partie relative aux cartes auto-adaptatives de Kohonen.

134
R2 est le coefficient de détermination. Il donne une idée du pourcentage de variabilité de la variable à
modéliser. Plus ce coefficient est proche de 1, meilleur est le modèle.
249
En revanche, pour construire une segmentation, une classification plus robuste, nous avons utilisé
la classification ascendante hiérarchique. C’est la raison pour laquelle nous nous attardons sur cette
dernière avant de présenter l’analyse à partir des cartes auto-adaptatives qui a constitué une des
deux voies importantes poursuivies dans la thèse. La seconde porte sur la mise en place d’une
méthode hybride à base d’estimation-maximisation et de machine à vecteurs de support en tant
que méthode de régression (SVR) abordée en 4.5.4.

[Link]. La classification ascendante hiérarchique (CAH) et les données

physiologiques
Elle permet de construire une suite de partitions imbriquées des données. L’algorithme fonctionne
comme suit :
Au départ, chaque observation ou individu constitue une classe à elle seule. Les distances entre
observations ou individus sont calculées deux à deux et les deux plus proches sont assemblées
dans une même classe. Le but de cette méthode est de regrouper de façon itérative les observations
ou individus sous la forme d’un arbre binaire appelé dendrogramme jusqu’à obtenir une seule
classe. Lors de l’utilisation de cette méthode, nous avons fait un choix quant à la distance à définir
entre deux groupes. Il existe différentes possibilités appelées saut ou linkage. Le saut de Ward
appliqué est celui le plus couramment utilisé et constitue souvent l’opération par défaut dans le
cas d’une distance euclidienne entre observations ou individus.
Lors de l’application de l’algorithme, nous avons opté pour le « centré-réduit » afin d’éviter les
éventuels problèmes d’échelle des variables sur les résultats. La centration-réduction est une
technique de recodage des données qui rend comparable des variables qui ne le sont pas
directement du fait de moyennes ou de variances trop différentes. C’est le cas dans notre étude, la
fréquence de capture des mesures physiologiques n’est pas identique pour toutes nos variables,
nous les avons donc recodées. On a couramment recours à cette technique. Nous n’avons pas choisi
le nombre de groupes, il est appliqué une troncature automatique fondée sur l’entropie par défaut.
En fonction de nos besoins et connaissances, il est toujours possible d’en changer.
Ce sont les dissimilarités entre les observations qui nous donnent les regroupements dans la CAH.
Pour information, l’utilisation du mot objet ou observation est indifférent. Pour illustrer notre
propos, nous exposons les résultats suivants avec l’une des expériences sachant que la technique
a été appliquée à toutes les expériences :

250
Un tableau de statistiques des nœuds : on y trouve les informations des nœuds successifs. Le
premier nœud a pour indice le nombre d’objets augmenté de 1 (28889).

Noeud Niveau Poids Objets Fils gauche Fils droit

22889 17081,195 11445 11445 22885 22888
22888 9024,000 7844 7844 22886 22887
22887 6217,100 7286 7286 22883 22884
22886 1319,680 558 558 22841 22869
… … … … … …
11454 0,000 3 3 191 11452
11453 0,000 2 2 186 195
11452 0,000 2 2 185 188
11451 0,000 2 2 184 193
11450 0,000 2 2 159 161
11449 0,000 2 2 151 152
11448 0,000 2 2 135 136
11447 0,000 2 2 121 122
11446 0,000 2 2 106 107

Tableau 25 : Extrait du tableau contenant toutes les valeurs des nœuds

Le dendrogramme ou arbre hiérarchique, outil de visualisation, montre les liaisons entre les classes
et également la hauteur des branches indiquant leur proximité. Plus la hauteur de branche est petite
plus les classes sont proches. Une classification obtenue par une coupe basse est une classification
fine. Une hauteur de coupe est pertinente si elle se trouve entre deux nœuds dont les hauteurs sont
« relativement » éloignées.
L’exécution de cette technique peut s’avérer longue lorsque les données sont nombreuses.
Les observations sont agrégées dans les classes qui leur correspondent. La position des nœuds sur
l’axe vertical représente la distance à laquelle les classes respectives sont agrégées.
Deux dendrogrammes sont présentés ci-après : l’un est complet et l’autre comporte les classes
retenues, au vu des résultats.

251
 Figure 112 : Représentation du dendrogramme

La ligne en pointillé correspond à la troncature. Elle montre ainsi l’identification de trois groupes
homogènes. La coupure est généralement effectuée à l’endroit où les branches sont assez longues.
Ce qui est équivalent à la période qui précède une forte perte d’inertie dans le cas de la méthode
de Ward dont nous avons parlé précédemment. C’est un niveau où il existe des sauts importants
dans les valeurs. Le premier groupe, le plus à droite, est plus homogène que le troisième de par sa
constitution. Le premier groupe du dendrogramme est plus plat que les autres. Le deuxième groupe
porte un petit nombre d’observations. Le troisième a le plus grand nombre d’observations. Ceci se
vérifie dans le tableau des observations centrales.
Le dendrogramme suivant représente le résultat de la troncature faisant apparaître les trois classes.

Figure 113 : Dendrogramme simplifié

252
Le tableau ci-dessous indique la décomposition de la variance afin d’obtenir une classification
optimale à l’intérieur des classes et entre les classes. Il apparaît ainsi une valeur qui correspond à
la distance moyenne à la moyenne. Cette valeur est indiquée dans la colonne « absolu » et est
nommée l’écart absolu moyen. Cette information nous renseigne sur la dispersion des
observations. Ici, ce paramètre nous indique que les observations se situent, en moyenne, à 6,14
unités de leur valeur centrale pour l’intra-classe et à 8,6 unités pour l’interclasses. La répartition
en pourcentage entre l’intra-classe et l’interclasses est réciproquement de 41,65 % et de 58,35 %.
La somme des deux pourcentages donne bien les 100 %.
Variance totale = Variance interclasses + variance intra-classes
L’indice relatif au rapport de la variance intra-classes sur la variance interclasses varie entre 0 et
1.
Ici, il y a une petite différence entre l’intra et l’inter avec un rapport un peu plus fort pour l’inter
tendant à montrer que les classes seraient plutôt homogènes.

Tableau 26 : Décomposition de la variance pour la classification optimale

Absolu Pourcentage
Intraclasse 6,140 41,65%
Interclasses 8,600 58,35%
Totale 14,740 100,00%

Les tableaux intégrés ci-après sont autant d’informations se rapportant aux observations que l’on
cherche à classer.
Dans le tableau 27, on peut lire les coordonnées des barycentres des classes pour les différentes
variables. Le barycentre représente le vecteur moyen de chaque classe. Les distances entre les
barycentres donnent une information sur les classes et leurs caractéristiques donc sur les
observations relatives aux individus dans chaque classe.

Tableau 27 : Un tableau des barycentres des classes

Classe Respiration GSR Temperature CFM

1 -4,101 -38,329 29,609 67,043
2 -2,536 -37,105 29,134 79,742
3 -2,649 -39,381 28,144 67,970

Les distances euclidiennes entre les barycentres des classes sont inscrites dans le tableau suivant.

253
 Tableau 28 : Un tableau des distances entre barycentres

1 2 3
1 0 12,862 2,494
2 12,862 0 12,032
3 2,494 12,032 0

Dans le tableau 29, on trouve les coordonnées de l’élément le plus proche du barycentre de la
classe et ce pour chaque classe.

Tableau 29 : Un tableau des observations centrales

Classe Respiration GSR Temperature CFM

1 (2990) -4,100 -38,388 29,705 67,000
2 (7468) -2,930 -36,762 29,017 80,000
3 (9112) -2,665 -39,302 28,191 68,000

Les distances entre les observations représentent les distances euclidiennes entre les objets
centraux des classes pour les différentes variables (tableau 30).

Tableau 30 : Un tableau entre les observations centrales

1 (2990) 2 (7468) 3 (9112)

1 (2990) 0 13,171 2,487

2 (7468) 13,171 0 12,297

3 (9112) 2,487 12,297 0

Le tableau 31 récapitule les statistiques descriptives des classes au niveau des objets, des poids,
variance, distances et permet de donner sa classe d’affectation à chaque objet dans l’ordre initial
des observations. Les éléments placés sous la barre du tableau correspondent à la répartition des
observations dans chaque classe.

254
 Tableau 31 : Des résultats par classe

Classe 1 2 3
Objets 7286 558 3601
Somme des poids 7286 558 3601
Variance intra-classe 5,223 10,422 7,331
Distance minimale au
barycentre 0,121 0,594 0,098
Distance moyenne au
barycentre 2,017 2,758 2,199
Distance maximale au
barycentre 8,127 8,098 8,030
23 7019 7725
24 7020 7726
25 7021 7727
26 7022 7728
… … …

On constate, par exemple, que la classe 1 a capté plus d’objets que la classe 2.
Tout comme le dendrogramme, le diagramme, appelé profil des classes, montre les 3 classes
retenues et constitue un résultat graphique du tableau des observations centrales. Ce résultat affiche
la façon dont les variables physiologiques impactent chacune des classes. Il s’agit du profil évolutif
des classes obtenues en fonction des observations.

Figure 114 : Profil des classes

Pour affiner ce travail et améliorer la compréhension de la classification des données obtenues par
les procédés ci-dessus, nous avons poursuivi l’analyse à l’aide des cartes auto-adaptatives.

255
[Link]. La technique de self organizing map (SOM)
L’algorithme de Kohonen, comme nous l’avons vu, est un système d’apprentissage non supervisé
compétitif. Il permet la réduction de la dimensionnalité en préservant la géométrie des données.
Les observations initiales similaires sont projetées dans le même neurone ou dans des neurones
proches. La notion de voisinage est primordiale dans SOM. Les SOM peuvent être perçues comme
une version contrainte des nuées dynamiques (k-means) offrant un traitement pour un plus grand
nombre de données. C’est un raffinement de la technique des k-means. On cherche donc à assigner
à un cluster des valeurs proches en utilisant une mesure de distance. Ceci revient à minimiser la
fonction qui mesure la dispersion intra-cluster relative à chaque groupe.
L’algorithme fonctionne comme suit :
Au départ, il y a initialisation des poids de nœuds du réseau de manière aléatoire. En effet, il faut
bien démarrer le processus, l'apprentissage se chargera de faire converger les poids vers leur
véritable valeur. C’est la phase d’initialisation.
Une observation ou un individu est sélectionné de façon aléatoire dans l’ensemble de données de
départ. Tous les individus ou observations de base vont passer par cette sélection au moins une
fois. Le nœud le plus proche, appelé nœud gagnant, est déterminé. C’est la phase de compétition.
Les poids du nœud sont mis à jour. C’est la phase d’apprentissage. Puis, on évalue le voisinage du
neurone gagnant et les poids des nœuds de la carte sont mis à jour. L’adaptation est d’autant plus
forte que les neurones sont voisins. C’est la phase de coopération.
On constate à ce niveau que la taille du voisinage examiné devient de plus en plus petite au fur et
à mesure que l’on avance dans l’apprentissage. L’intensité de la mise à jour est réduite petit à petit
par la variable d’apprentissage, encore appelée pas de l’apprentissage. Ce pas contrôle la vitesse
d’apprentissage. Si ce pas est trop grand, il y a un risque d’instabilité. Si ce pas est trop petit, le
modèle ne s’adapte pas assez aux données. Les conditions de convergence vont être fonction des
valeurs de l’écart-type et du pas. Il est conseillé de choisir des valeurs assez grandes au départ et
les réduire progressivement ensuite.
La sélection du neurone le plus proche représenté par X, sur la figure 115 ci-après, est opéré. Le
schéma illustre les phases d’apprentissage et d’adaptation de la carte au fur et à mesure des
itérations.

256
 Figure 115 : Interprétation de l’algorithme de Teuvo Kohonen135

W = poids
J* = neurone ou nœud gagnant
X = vecteur d’entrée (représentant nos variables)
« Les poids du nœud gagnant j* » (en vert) « et de ses voisins » (en bleu et orange) sont rapprochés
plus fortement du vecteur d’entrée X. L’amplitude de l’adaptation est fonction de la distance du
neurone au neurone gagnant (flèches de longueurs différentes) ». Nous le remarquons au niveau
de l’espace d’entrée dans la deuxième partie de la figure 115.

4.5.4. La technique SOM appliquée à nos données

Nos différentes étapes avec Kohonen et interprétation des résultats

Le travail sur les données physiologiques à partir des cartes auto-organisatrices de Kohonen s’est
déroulé comme suit, par itérations successives :

 Sélection de sous-ensembles de données, panels représentatifs des participants

12 fichiers ont été retenus sur les 67 dont 4 ont été écartés pour des raisons d’aberrations ne pouvant
pas faire l’objet de techniques de compensation. En effet, il s’agit sans doute de dysfonctionnement

135
[Link] - Vincent Lemaire – consulté le 4 avril 2018
257
de capteurs engendrant la perte presque totale de données pour une ou plusieurs variables. Un
ensemble de fichiers non utilisé dans l’immédiat est conservé afin de pouvoir ensuite valider nos
méthodes.
Les 8 fichiers retenus concernent 6 personnes différentes. 5 d’entre-elles ont réalisé la même
expérience F, 2 la même expérience N et 1 ayant réalisé 3 expériences différentes F, N et S.
 Analyse fichier par fichier
 Analyse des 8 fichiers concaténés
 Analyse des 5 fichiers relatifs à la même expérience et des individus différents
 Analyse des 3 fichiers concernant un même individu et 3 expériences différentes (2
exemples)
 Analyse de 11 fichiers avec comparaison à l’analyse des 8 fichiers

Les étapes précédentes, comme la partie prétraitement, ont été gardées. Les fichiers, tableaux,
matrices sont dépourvus de données manquantes. Les données sont centrées-réduites pour les
raisons que nous avons évoquées.
Nous avons appliqué la fonction Kohonen, dans l’outil Xlstat, à chacun des fichiers et aux huit
fichiers concaténés. Pour chaque fichier nous avons déterminé les paramètres les plus appropriés
à partir des données prétraitées. Nous avons effectué des essais successifs afin de déterminer la
bonne dimension de la carte (le nombre de neurones), le pas de l’apprentissage (le taux
d’apprentissage) et le nombre d’itérations. Nous avons fixé différents pas, servant au contrôle de
la convergence de l’algorithme, que nous avons comparés. Le taux d’apprentissage est compris
entre 0 et 1. Plus ce taux est proche de 1 et plus on risque de ne pas avoir une bonne convergence
des poids. Dans le cas où le taux est petit, il est possible de se rendre compte que la convergence
n’aboutit pas ou trop lentement impliquant un très grand nombre d’itérations. C’est donc une
affaire d’estimation. Le nombre d’itérations est arrêté grâce à la visualisation de la courbe
d’apprentissage. La courbe devient stable lorsqu’on obtient une droite proche et parallèle à l’axe
des abscisses sinon il faut relancer l’exécution avec un nombre plus grand de périodes de
présentation.
Avec les variations du pas, du nombre de neurones et du nombre d’itérations appliqués séparément
puis combinés, nous avons pu fixer nos paramètres jusqu’à l’obtention d’une stabilité engendrant
les prises de décisions. Nos propos sont illustrés par un exemple de chaque cas d’analyse exécuté.
Nous avons tout d’abord adopté l’outil Xlstat, comme indiqué précédemment, puis, pour plus de
souplesse de programmation, R s’est imposé. Toutes les premières analyses (fichiers isolés et huit
fichiers concaténés) ont été effectuées à l’aide des deux logiciels. Les analyses suivantes ont été

258
réalisées uniquement avec R. Notre objectif est toujours de trouver des motifs récurrents dans les
observations en fonction des mesures physiologiques.

Présentation de l’analyse d’un fichier isolé

Dans le cadre des fichiers isolés, l’apprentissage est assez rapide, la quantité de données étant
moindre.
L’outil Xlstat nous a offert un bon aperçu de l’apprentissage pour chaque fichier. Les
représentations ci-dessous traduisent respectivement les synthèses de processus d’apprentissage
suivant différents paramétrages. Nous avons en réalité mené une investigation plus large quant aux
paramètres et ne soumettons ici qu’une représentation de l’éventail pour éviter la surcharge. Pour
un fichier donné, il a été appliqué les paramètres suivants sur une carte de 400 neurones soit une
grille de 20 par 20 :
- Premier cas : taux d’apprentissage de 0,05 à 0,01 et un nombre d’itérations allant de 100
à 1000 en passant par 500
- Deuxième cas : taux d’apprentissage de 0,5 à 0,01 et un nombre d’itérations allant de 100
à 1000 en passant par 500
- Troisième cas : taux d’apprentissage de 0,8 à 0,01 et un nombre d’itérations allant de 100
à 1000 en passant par 500

Pour chaque cas, le programme SOM a été lancé trois fois avec des temps d’exécution plus ou
moins longs en fonction du nombre de données, d’itérations, du pas …
Pour information, les cartes sont orientées nord sud et ouest est comme les cartes géographiques.
Elles se lisent de bas en haut et de gauche à droite. Le neurone n°1 est tout en bas à gauche et le
neurone 400 est tout en haut à droite.
Les courbes d’apprentissage obtenues sont en annexe 1 (courbes d’apprentissage (chapitre 4)). On
constate que le premier cas affiche un apprentissage rapide du fait du petit pas et est moins bon
que le deuxième cas qui offre un apprentissage plus lent et plus précis. Quant au troisième cas,
encore plus lent que le deuxième, ne fournit pas d’informations complémentaires. Le nombre
d’itérations retenues dans cette configuration est celui de 500 avec le taux de 0,5. Il procure le
meilleur résultat en matière de distance moyenne des observations aux vecteurs référents. Cette
distance est en effet la plus petite indiquant une grande proximité.
La visualisation des données est également soutenue par différentes représentations. Il est des
graphiques comme la répartition des observations dans les nœuds nommés « counts » ou « node
counts » ou « counts plot », comme la représentation de chaque variable dans chaque nœud
appelée « codebook vectors » ou « codes » ou « codes plot ». Il est facile aussi d’illustrer la

259
distance entre chaque nœud et ses voisins, la qualité des nœuds par rapport à la distance qui les
sépare … En annexe 2 (codes plot (chapitre 4)), sont présentés les cartes dites de « codebook
vectors ». En annexe 3 (counts plot (chapitre 4)), nous trouvons les cartes « counts plot ». Ces
résultats visuels sont le résultat de l’exécution de l’algorithme de Kohonen.
En ce qui concerne l’annexe 2 (codes plot (chapitre 4)) , les graphiques représentent les 400 nœuds
comme précédemment où apparaissent les contributions des variables. Chaque portion d’un nœud
correspond à l’une des quatre variables et se distingue par sa couleur. Il est à noter que l’impact
des variables est visible sur les différentes cartes quels que soient les cas. Prenons l’exemple de la
GSR (réponse galvanique de la peau) en jaune dans le premier cas. Cette variable contribue
fortement aux neurones se situant au centre nord de la carte associée à une combinaison plutôt
marquée avec la température et la CFM (fréquence cardiaque). Cette analyse montre d’éventuelles
corrélations que nous avions déjà soulevées avec les méthodes factorielles. Ceci est intéressant à
exploiter car la combinaison de certaines mesures physiologiques ou plus exactement leurs
variations peuvent correspondre à un événement particulier s’étant produit pendant l’expérience.
Nous y reviendrons.
L’annexe 3 propose une représentation du nombre d’instances dans chaque nœud de la carte. Une
échelle est donnée par les couleurs du moins dense au plus dense allant du rouge au blanc en
passant par l’orange et le jaune. La coloration en gris signifie que le neurone n’a rien capté. Ces
cartes permettent de voir comment se répartissent les observations soit de manière assez homogène
ou bien par zone de concentration. Le nombre de neurones gris peut indiquer que la dimension de
la grille n’est pas tout à fait adaptée. A ce niveau, il est encore nécessaire d’approfondir
l’exploration.
L’analyse des fichiers isolés est une première approche de compréhension des données et n’est pas
suffisante pour répondre à nos questionnements. En effet et pour rappel, nous sommes en recherche
de motifs dans les observations. Existe-t-il des motifs qui se reproduisent chez un individu ou chez
plusieurs individus ? Il nous faut pousser l’étude plus loin en combinant les observations de
plusieurs d’entre eux.

Présentation de l’analyse des huit fichiers concaténés

Les huit fichiers analysés ont été concaténés en un seul. Il contient les mesures physiologiques de
6 individus ayant participé à des expériences similaires ou non soit environ 1 250 000 données.
L’outil Xlstat a aidé à se familiariser avec les cartes de Kohonen. Les paramètres retenus, après
maints essais, sont un nombre d’itérations égal à 1 000, un taux d’apprentissage allant de 0,5 à

260
0 ,01, une carte de dimension 20 par 20 et une topologie hexagonale. Ceci se traduit par les trois
figures placées en annexe 4 (graphiques Xlstat …(chapitre 4)) illustrant la courbe d’apprentissage
(training progress) avec une stabilisation de l’apprentissage aux alentours de 910, (codes plot).
La programmation sous R a permis d’affiner et de définir de façon plus précise le paramétrage des
cartes. Les figures ci-après montrent les résultats obtenus. La courbe d’apprentissage affiche un
nombre d’itérations de 100 avec une stabilité de la carte aux alentours de 91 représentant un rapport
de 10 avec l’outil Xlstat. Les autres paramètres restent inchangés. Les résultats obtenus sont plus
fins et plus précis qu’avec l’outil Xlstat comme l’exhibe la carte des neurones, figure ci-dessous.

Figure 116 : Courbe d’apprentissage

Figure 117 : Carte 20 x 20 des nœuds

La carte montre une répartition des observations en zones plus nettes que dans celle fournie par
Xlstat. On constate six zones. Les neurones gris font comme une délimitation de ces zones. Il est
venu le temps d’inspecter ces différentes parties. Les éléments se projetant dans les secteurs révélés
correspondent-ils à des observations particulières, à des moments singuliers … ?
L’apprentissage de cette carte s’est faite grâce aux huit fichiers relatifs à six sujets. Six sujets, six
zones ? Essayons de comprendre ce que signifie cette disposition. Pour commencer, nous projetons
261
chacun des individus sur la carte apprise afin d’étudier leur comportement respectif. Les résultats
obtenus sont en annexe 5 (carte d’apprentissage des 8 fichiers … (chapitre 4)). On constate que
chaque individu se projette dans une zone de la carte correspondant aux zones découvertes et
délimitées par les neurones gris. Ceci pourrait vouloir dire que chaque zone correspond à un type
d’individu. Il est encore un peu prématuré pour avancer quoi que ce soit. C’est juste un petit
progrès qui doit être de nouveau exploré.
Afin de poursuivre notre analyse, nous avons souhaité projeter un autre sujet ayant pris part à trois
expériences communes aux autres participants. Le résultat est reporté dans l’annexe 6. On constate
que la projection sur la carte apprise des huit fichiers est plus éparse mais se distribue sur une zone
typique et relativement bien délimitée. Cet individu aurait-il des similitudes avec plusieurs autres
sujets ou bien se projette-t-il dans une zone propre ? Attention, il est à noter que ce sujet n’est pas
dans les huit fichiers, donc n’appartient pas à la carte apprise. Nous voulons simplement observer
son comportement par rapport aux autres.
Dans les huit fichiers dont nous venons de discuter, nous avons plusieurs individus et plusieurs
expériences. Examinons ce que les données nous offrent en sélectionnant parmi les huit fichiers,
cinq d’entre eux, relatifs à une même expérience.

Présentation de l’analyse des cinq fichiers concaténés

Nous étudions à présent les cinq fichiers en relation avec une même expérience. Dans cette analyse,
nous avons concaténé les observations de cinq sujets. Nous avons lancé les mêmes algorithmes
qu’avant. Les cartes produites sont disponibles à l’annexe 7 (étude avec les cinq fichiers …
(chapitre 4)). Nous constatons que la carte SOM exprime cinq zones. Nous vérifions, comme dans
les huit fichiers considérés, que chaque sujet se projette dans un secteur distinct, semblant indiquer
une reconnaissance de types d’individus.

Présentation de l’analyse des trois fichiers complémentaires

Dans les huit fichiers se trouve une personne ayant fait trois expériences : F, N et S. On a pu voir
que la projection de cette personne quelle que soit l’expérience occupe une zone particulière. Cela
pourrait signifier que chacun de nous dispose de caractéristiques spécifiques en matière de signaux
physiologiques qui constituent une identité.
Nous avons souhaité nous confronter à cette hypothèse en choisissant un individu n’appartenant
pas à notre sélection de départ et ayant lui-même participé aux mêmes trois expériences. Il s’agit
de l’individu présenté en annexe 6 (projection d’un nouvel individu … (chapitre 4)).

262
Nous l’avons maintenant intégré aux huit fichiers précédents afin de disposer d’un fichier unique
contenant onze fichiers, les huit déjà étudiés et les trois nouveaux relatifs à un nouveau sujet tiré
des fichiers conservés pour valider nos modèles, que nous appelons le septième individu.

Présentation de l’analyse des onze fichiers concaténés

Le questionnement sur le septième individu quant à son appartenance à une zone couverte par
d’autres individus ou uniquement par lui-même nous pousse de nouveau à réaliser une carte SOM
à partir des onze fichiers. Cela nécessite un nouvel apprentissage de la carte et la projection
individuelle des sujets. La visualisation de l’exécution des programmes décrivant le bilan est
placée en annexe 8 (visualisation bilan … (chapitre 4)). Il nous conforte dans les premières
réflexions à savoir que chaque individu se projette dans une zone spécifique. Nous sommes donc
encouragés à aller plus avant.
Nous allons maintenant étudier chaque neurone et essayer de comprendre ce qui se produit au
niveau de leur position sur la carte. Au fil du déroulé des expériences comment passe-t-on d’un
neurone à l’autre ? Existe-t-il des sauts importants, y a-t-il des relations soutenues entre certains
neurones ? Dans l’affirmative, cela signifierait qu’un phénomène est observé. Pour le comprendre,
nous allons mettre en regard ces éléments et les événements produits dans les différents supports
d’expérience.
Pour illustrer la réponse à ces questions dans ce chapitre, nous avons choisi un des individus ayant
réalisé les expériences F, N et S. Il est à la fois dans les huit fichiers concaténés et dans les onze
autres fichiers. Il est bien entendu que l’analyse s’est faite pour tous les participants.
L’observation des mouvements d’un neurone à un autre dévoile certaines particularités
correspondant à des sauts, c’est-à-dire le passage d’un neurone à un autre plus ou moins éloigné.
Nous parlerons de grand saut lorsque les deux neurones sont très éloignés, de saut moyen
lorsqu’une distance plus petite les sépare et de petit saut quand ils sont proches. Faisons un zoom
au niveau de la partie correspondant à la projection de l’individu choisi sur la carte apprise des
huit fichiers (figure 118). Cette illustration montre les éloignements plus ou moins grands ou les
proximités des neurones.
Nous avons dans un premier temps considéré les neurones les plus éloignés apparaissant dans les
résultats d’expériences. De façon plus concrète, prenons l’extrait relatif au tableau ci-après, nous
voyons par exemple dans la dernière colonne du tableau les numéros des neurones. Dans cet
extrait, le plus grand saut est le passage du neurone 103 au neurone 21, un saut moyen est
matérialisé par le passage du neurone 107 au neurone 147 et le petit saut s’exprime entre le neurone
108 et le neurone 128. Les neurones 108 et 128 sont voisins tout comme 107 et 108. Ce qui nous

263
a guidé pour établir ces sauts, ce sont les réactions liées aux événements qu’il a fallu examiner en
détails. Nous avons également considéré les allers-retours d’un neurone a à un autre b ou d’un
neurone a à un voisin attenant à b.

Figure 118 : Représentation de la projection d’un individu sur la carte avec zoom

Nous avons au fil des analyses recueillies les informations suivantes conservées dans des fichiers.
Ci-après figure un extrait.

Le tableau complet nous apporte de nombreuses autres comparaisons possibles et informations

complémentaires telles que le passage incessant du neurone 103 au neurone 21 et vice-versa qui
correspond à des bruits inattendus dans un milieu anxiogène qu’est l’expérience. Des grands sauts
de neurones se produisent en particulier lorsque l’avatar du participant se trouve confronté à
l’apparition de l’entité létale, à la transition de l’écran en rouge annonciatrice de la fin ou encore
au son déclenché lors de la fin de vie de l’avatar. Les différents éléments, événements sont faciles
à retrouver car on peut noter, dans le tableau 32, la date exacte de leur production. Cette date est
aussi conservée au niveau des différentes expériences et il suffit de les mettre en relation. Pour
chaque observation, pour chaque neurone, nous sommes capables de fournir l’événement produit.
Toutes ces informations constituent des éléments précieux qui précisent comment chaque
participant réagit à différents événements physiologiquement, nous donnant un comportement, une
sorte d’état selon les stimuli perçus.

264
 som_model
som_model
_8XP_conca
dates Respiration GSR Temperature CFM Individu _8XP_conca
[Link]
[Link]
f
03/03/2014 [Link].429 -4,193 -41,204 22,148 59 1_S 0,04706752 128
03/03/2014 [Link].460 -3,897 -41,141 22,148 59 1_S 0,03847998 128
03/03/2014 [Link].492 -3,569 -41,079 22,148 59 1_S 0,03177506 128
03/03/2014 [Link].523 -3,25 -41,016 22,148 59 1_S 0,02768636 128
03/03/2014 [Link].554 -2,961 -40,953 22,148 59 1_S 0,02351804 108
03/03/2014 [Link].585 -2,735 -40,891 22,148 59 1_S 0,01957516 108
03/03/2014 [Link].617 -2,509 -40,816 22,148 59 1_S 0,01662901 108
03/03/2014 [Link].648 -2,282 -40,753 22,148 59 1_S 0,01604449 108
… … … … … … … …
03/03/2014 [Link].773 -1,588 -40,728 22,148 59 1_S 0,0265735 108
03/03/2014 [Link].804 -1,339 -40,716 22,148 59 1_S 0,02817236 107
03/03/2014 [Link].835 -1,19 -40,716 22,148 59 1_S 0,02610531 107
03/03/2014 [Link].867 -1,073 -40,703 22,148 59 1_S 0,02416761 107
… … … … … … … …
03/03/2014 [Link].992 -1,112 -40,691 22,148 59 1_S 0,02409115 107
03/03/2014 [Link].023 -1,183 -40,691 22,148 59 1_S 0,02493565 107
03/03/2014 [Link].054 -1,3 -40,678 22,148 60 1_S 0,02179206 147
03/03/2014 [Link].085 -1,417 -40,678 22,16 60 1_S 0,02383433 147
03/03/2014 [Link].117 -1,588 -40,678 22,148 60 1_S 0,02707693 147
03/03/2014 [Link].148 -1,697 -40,666 22,148 60 1_S 0,02572165 128
… … … … … … … …
03/03/2014 [Link].429 -1,424 -41,066 22,26 53 1_S 0,01604512 103
03/03/2014 [Link].460 -1,471 -41,066 22,248 53 1_S 0,01695126 103
03/03/2014 [Link].492 -1,518 -41,066 22,26 53 1_S 0,01814807 103
03/03/2014 [Link].523 -1,549 -41,066 22,26 53 1_S 0,0186494 21
03/03/2014 [Link].554 -1,588 -41,066 22,26 53 1_S 0,01816887 21
03/03/2014 [Link].585 -1,666 -41,066 22,248 53 1_S 0,01733693 21
… … … … … … … …
03/03/2014 [Link].867 -2,267 -41,016 22,248 54 1_S 0,01169292 86
03/03/2014 [Link].898 -2,197 -41,016 22,26 54 1_S 0,01151631 86
03/03/2014 [Link].929 -2,095 -41,016 22,248 53 1_S 0,01593505 21
03/03/2014 [Link].960 -2,017 -41,028 22,248 53 1_S 0,01581976 21
… … … … … … … …
03/03/2014 [Link].148 -1,573 -41,028 22,26 53 1_S 0,01953788 21
03/03/2014 [Link].179 -1,502 -41,028 22,248 53 1_S 0,01834627 103
03/03/2014 [Link].210 -1,385 -41,028 22,26 53 1_S 0,01590984 103
… … … … … … … …

Tableau 32 : Extraction d’un tableau contenant les informations liées à huit individus

Grâce aux cartes de Kohonen, nous avons pu mettre en évidence plusieurs points importants quant
à la relation entre les données physiologiques et les individus. Le croisement de toutes les analyses
nous montre qu’il existe des classes pouvant représenter des types de personnes, que les sauts de
neurones matérialisent des événements significatifs pour les participants, avec des changements
d’états. Néanmoins, il faut continuer l’étude en poussant encore plus loin les investigations tant du
point de vue de l’exploration de la méthode que dans les résultats comportementaux et
émotionnels. En ce qui concerne cette dernière partie, nous devons poursuivre avec tout le matériel

265
dont nous disposons : les différents enregistrements (fichiers détaillés associant événements précis
des expériences au cours du temps, vidéos des expressions faciales et comportements des individus
…), les données relatives aux neurones … Pour ce qui est de l’évolution de la méthode, nous avons
lancé une investigation du côté des chaînes de Markov cachées (MMC ou hidden Markov Model
(HMM) où les états sont inconnus de l'utilisateur (seul certains paramètres sont connus). Cette
investigation pourrait peut-être converger davantage vers l’évolution de notre deuxième modèle.

4.5.5. Notre technique hybride EMDeep

Tout en explorant la voie des cartes auto-organisatrices, nous avons mené une autre étude
d’apprentissage non supervisée. En effet, il existe d’autres techniques comme indiqué dans le
schéma de classification non supervisée de (Hajjar, 2014). L’approche probabiliste est une voie à
visiter qui vient en complément de notre première direction qui a été combinée à d’autres
méthodes. Il s’agit d’établir une classification automatique des individus en groupes homogènes
i.e. s’appuyant sur une analyse probabiliste et non géométrique. Nous proposons un modèle
hybride fondé sur un modèle d’apprentissage profond conçu avec un algorithme d’estimation
maximisation (EM) et une technique à vecteurs support (SVR). Nous présentons ci-après de façon
succincte les concepts nécessaires à la compréhension et expliquons notre approche. Le détail est
dans (Gal, Banerjee, Rad 2019).

Le modèle de mélange et son application

Reprenons nos éléments de départ qui sont des données physiologiques pour lesquelles nous ne
disposons d’aucun label relatif aux émotions ou états émotionnels que nous souhaitons découvrir
au travers de patrons que nous cherchons à identifier. Dans notre étude, ces données proviennent
de différentes sources à savoir plusieurs individus pouvant constituer des sous-populations
homogènes, nommées composants. L’ensemble de ces sous-populations est donc un mélange pour
lequel nous cherchons à comprendre sa distribution, la façon dont les données se regroupent ou
pas. Un outil utilisé pour faire de la classification dans cette situation est le modèle de mélange et
plus particulièrement le modèle de mélange gaussien (GMM – Gaussian Mixture Model). Cette
technique s’applique lorsque la structure des données est supposée composée de plusieurs groupes
et qu’une simple distribution gaussienne ne peut la représenter. Ce qui est notre cas.

266
N’oublions pas que nous cherchons à établir un lien entre la combinaison des variables
physiologiques et des états émotionnels que nous ne connaissons pas. Nous supposons que
l’information globale Y se trouve dans les données. Une partie de l’information est connue,
observable et une partie est cachée, inconnue. Nous noterons l’ensemble de nos données comme
suit :
- La partie visible ou ensemble des variables observées ou données incomplètes : X
- La partie invisible ou ensemble des variables cachées : Z.

Si des motifs existent, ils sont contenus dans les données complètes.
Afin d’aborder le GMM, il faut savoir que le modèle de mélange est un modèle probabiliste qui
permet l’estimation de la fonction de densité (distribution) des variables par modélisation à l’aide
d’une somme de plusieurs autres distributions plus simples. L’objectif est donc de modéliser des
échantillons de données afin de réaliser soit de la prédiction ou de l’apprentissage distribuée ou
encore de l’affectation floue.
Le modèle de mélange gaussien, quant à lui, repose sur la distribution gaussienne i.e. la loi
normale. C’est la distribution la plus répandue parmi les distributions probabilistes pour la
modélisation des variables aléatoires continues. Les modèles de mélange gaussien sont très utilisés
dans la reconnaissance d’images (Goldberger, 2003) ou audio (Reynolds, 2000). Nous
l’appliquons à nos variables physiologiques.
Afin d’estimer les paramètres du GMM, la technique la plus adoptée est l’algorithme Estimation
Maximisation (EM). Et la méthode couramment exploitée pour estimer les paramètres de
distribution de probabilités d’un échantillon est le maximum de vraisemblance. La vraisemblance
quantifie la probabilité que les observations proviennent bien d’un échantillon de la loi de
probabilité étant donné un échantillon observé et la loi de probabilité associée. Estimer un
paramètre par la technique du maximum de vraisemblance (likelihood maximization) est ainsi
équivalent à proposer comme valeur de ce paramètre une valeur qui rend maximale la
vraisemblance donc la probabilité d’observer les données comme réalisation d’un échantillon de
cette loi. On pourrait comparer cela à une régression linéaire où on cherche à identifier les
paramètres a et b d’une équation de type y = ax + b. Dans notre situation plus complexe, ce ne sont
pas les paramètres d’une droite mais ceux d’une loi normale. Pour rappel, la loi normale s’exprime
sous la forme de la fonction suivante :
1 𝑥−𝜇 2
1 (− )( )
P(x) = 𝑒 2 𝜎
𝜎√2𝜋

où  = espérance (centre de la courbe) = moyenne

et  = vraisemblance (sa largeur) = écart-type

267
Lorsqu’une variable aléatoire X suit cette loi, on dit qu’elle est normale ou gaussienne et on utilise
la variance pour l’exprimer, soit : X  𝒩(, 2). La courbe de cette densité est la courbe de Gauss
ou courbe en cloche.
Le principe du maximum de vraisemblance part de l’hypothèse que la variable d’intérêt suit une
loi de probabilités. Les paramètres inconnus Ɵ caractérisant cette loi sont les paramètres que l’on
cherche à estimer. La fonction de vraisemblance correspond au produit des probabilités dans le
cas discret et au produit des densités dans le cas continu. Ce qui s’applique à nos données. On
utilise plutôt le logarithme de la vraisemblance, cela permet de transformer le produit de la fonction
de vraisemblance en somme, rendant les calculs plus simples.
Le maximum de vraisemblance consiste à maximiser de la façon suivante :
Etant donnés , X, fk et Ɵk où
X = (X1, ..., Xn) = échantillon = réalisations de n variables aléatoires = observations x1, …, xn
Ɵk = paramètre de distribution de la population k = (µk, k) (voir loi normale présentée plus haut)
 = (1, ..., K, Ɵ1, …, ƟK ) = paramètre global du mélange inconnu du modèle paramétrique. Il
faut trouver le meilleur paramètre possible, la meilleure estimation.
k et Ɵk : caractéristiques à découvrir
fk(., Ɵk) = fonction de répartition gaussienne de densité = fonction de répartition à partir de laquelle
le mélange est formé = densité du kième composant du modèle paramétrique
on a :
L(, X) = ∏𝑛𝑖=1 ∑𝐾
𝑘=1 ∏𝑘 f𝑘 (𝑋𝑖 , Ɵ𝑘 )

se traduisant par, avec l’application du logarithme

l(, X) = ∑𝑛𝑖=1 𝑙𝑜𝑔 (∑𝐾
𝑘=1 ∏𝑘 f𝑘 (𝑋𝑖 , Ɵ𝑘 )) qui permet d’estimer le paramètre inconnu.

Tout d’abord, il faut répartir les individus dans les populations ou groupes allant de 1 à k,
appartenant à l’ensemble {K}. Ensuite, il faut définir la distribution dans chaque population fk.
Nos données sont distribuées dans K populations. On a donc un mélange de distributions. Il
correspond à la somme des distributions des K populations pondérées par la taille de ces
populations k qui représente la proportion d’individus appartenant à ces populations. Chaque
population est ainsi caractérisée par cette proportion et les paramètres de la distribution de la
population k, symbolisés par Ɵk.
Les variables du mélange sont constituées par Xt (variables observées ou incomplètes) et Zt
(variables cachées) qui donnent Yt (l’ensemble complet), avec t, l’individu. On cherche à classer
un individu dans la population dans laquelle il a la plus forte chance de s’y trouver. C’est la

268
probabilité que l’individu t appartienne à la population k sachant qu’on a observé pour cet individu
t la valeur xt de la variable X. La valeur zt est forcément liée à xt.
Pour plus de détails sur les mélanges, on pourra consulter136 et pour les explications sur les
estimateurs du maximum de vraisemblance 137, 138.
Afin de pouvoir classer les individus dans les populations, il faut connaître leurs caractéristiques
que sont k et Ɵk. Il est donc nécessaire de les estimer. Pour cela, on emploie le log de la
vraisemblance, un estimateur, dont nous venons de parler et qui offre des propriétés numériques,
comme la convexité, et statistiques intéressantes (Bonnans, 2003). Les estimateurs sont difficiles
à obtenir du fait de la complexité de ce log. Aussi, on utilise des algorithmes itératifs de recherche
de maximum et de minimum de fonctions selon la situation. L’algorithme EM est exécuté dans les
modèles de mélange. Il est relativement simple et donne de bons résultats quant à l’obtention
d’estimateurs explicites. Nous le présentons dans le paragraphe qui suit.

L’algorithme Estimation Maximisation, son application et apprentissage profond

L’algorithme EM est un algorithme itératif conçu par Dempster, Laird et Rubin en 1977. C’est une
méthode d’estimation paramétrique de type maximum de vraisemblance. Quand on dispose de
données qui ne permettent pas d’estimer les paramètres et/ou que l’expression de la vraisemblance
est analytiquement impossible à maximiser, l’algorithme EM peut être la solution.
Cet algorithme comporte deux parties que sont l’estimation (expectation) et la maximisation
(maximization).
- L’estimation (E) concerne l’estimation des données inconnues connaissant les données
observées et la valeur des paramètres à l’itération précédente.
- La maximisation (M) concerne la maximisation de la vraisemblance utilisant l’estimation
des données inconnues de l’étape précédente et mettant à jour la valeur du ou des
paramètres pour la prochaine itération.

L’algorithme garantit que la vraisemblance augmente à chaque itération. Ce qui conduit à des
estimateurs de plus en plus satisfaisants.
Notre approche consiste donc à maximiser le log-vraisemblance de façon à augmenter nos chances
d’identifier des motifs répétitifs. Nous l’avons associée à un apprentissage profond de type
convolution.
Nous avons adapté un réseau de neurones à convolution (CNN - Convolutional Neural Network)
de manière à cartographier les paramètres physiologiques et les états cachés de l’utilisateur. Tout

136
[Link] - consulté le 6 août 2019
137
[Link] - consulté le 3 août 2018
138
[Link] - consulté le 6 août 2019
269
réseau de neurones profond hybride, comme les CNN, contient un noyau. Les CNN sont très
utilisés pour l’analyse d’images et ont pour but principal d’extraire des caractéristiques d’une
image donnée qui est une matrice de valeurs relatives aux pixels. Ils sont intéressants en ce sens
qu’ils font de l’apprentissage sans supervision. L’absence de paramétrage et d’intervention de
l’humain sont un sérieux avantage. Dans ce type de réseau, lorsqu’il est appliqué à l’image, celle-
ci est découpée en zones (des tuiles) traitées séparément par un neurone. Les neurones ont tous le
même paramétrage. La convolution correspond au fait d’avoir un même traitement légèrement
décalé pour chaque champ récepteur que représente la zone analysée un peu plus grande que la
tuile. Le noyau de convolution est cette couche de neurones ayant les mêmes paramètres. En ce
qui nous concerne, cette technique nous permet de trouver les similitudes entre toutes les
observations donc les vecteurs obtenus des signaux physiologiques.
Notre première couche de traitement appliquée à nos paramètres physiologiques et états cachés est
la fonction « TanHyperbolic », tangente hyperbolique (Tanh) qui constitue la fonction d’activation
pour le modèle de classification de valence. Elle passe graduellement de -1 à 1 et peut donc être
utilisée pour représenter un phénomène de transition progressive, « douce », entre deux états, nos
états. Nous utilisons également la fonction « ReLU », Rectilinear Units, unité de rectification
linéaire, comme activation pour le modèle d’intensité (arousal). Ces constructions que sont la
valence et l’intensité font partie des travaux en neurosciences et psychologie cognitive (Cheng,
2017). On peut rappeler que la valence donne le caractère positif ou négatif de l’émotion issue du
stimulus et que l’arousal est la force du stimulus émotionnel.
La fonction Tanh rend donc un résultat compris entre -1 et 1. Elle est meilleure que la fonction
sigmoïde dont le résultat est centré sur zéro (entre 0 et 1) engendrant la saturation de certains
neurones. Même si elle est meilleure, elle engendre aussi une certaine saturation qu’il est possible
de gérer grâce à l’unité de rectification linéaire.
La fonction ReLU est donnée par la formule f(x) = max(0, x). Si l’entrée est négative, la sortie est
zéro. Dans le cas où l’entrée est positive, la sortie est x. Ceci empêche la saturation et permet
d’augmenter la convergence du réseau. Il existe tout de même un problème. En effet, dans le cas
d’entrée négative, le neurone reste inactif et donc les poids ne sont pas mis à jour engendrant un
non apprentissage du réseau et une propagation d’erreur. Pour éliminer cette inactivité, nous avons
eu recours à la technique de « leaky ReLU » qui se traduit par la fonction suivante f(x) = max(0.1x,
x). Elle corrige ainsi la fonction ReLU lorsque l’entrée est négative.
En suivant ce paradigme, l’approximation et la corrélation des signaux physiologiques avec des
classes d’émotions possibles peuvent être données comme suit :

270
  Etant donné les quatre variables physiologiques d’entrée, chaque participant fournit une
prédiction pondérée des différentes classes d’« émotions » ou états émotionnels possibles.
Cependant, les étiquettes des émotions ne sont pas disponibles (non supervision), ces
classes sont non étiquetées mais elles existent.
 Toutes ces prédictions pondérées des participants sont concaténées dans une matrice afin
de calculer les vecteurs de poids moyens.
 On obtient ainsi un regroupement d’états émotionnels discret en calculant le poids moyen
max.

Les résultats obtenus sont disponibles dans (Gal, Banerjee, Rad 2019). Pour les améliorer, nous
avons introduit une technique supplémentaire palliant la non labellisation et la potentielle existence
d’une relation entre les signaux physiologiques et des états émotionnels. Il s’agit de la régression
à vecteurs support (SVR, Support Vector Regression). La technique de SVR nous permet d’affiner
les résultats obtenus précédemment et de passer au mode continu auquel appartiennent les
émotions. Nous l’exposons rapidement ci-après.

L’algorithme SVR et son application

Comme nous l’indiquons ci-dessus, nous ne disposons pas de labels pour les classes d’états
émotionnels et nous supposons qu’il pourrait exister un lien entre les mesures physiologiques et
les émotions. L’analyse et plus particulièrement la convergence de l’analyse à partir de nos
données relève d’une méthode de type SVR. SVR est un algorithme de régression dont on se sert
en présence de valeurs continues et qui fonctionne sur le principe des noyaux. SVR est une
formulation des machines à vecteurs support (SVM) connues pour la reconnaissance de formes et
la classification.
Une SVM n’est pas un modèle probabiliste. Elle permet d’apprendre un séparateur i.e. qui définit
l’appartenance des données ou vecteurs à un groupe ou à un autre donc le bon placement des
frontières. Trouver le séparateur revient à construire une fonction prenant un vecteur des données
afin de le placer au mieux, avec le plus de vraisemblance dans le groupe auquel il appartient.
Autrement dit, elle essaie de tracer une ligne simple, ou un plan ou un hyperplan pour séparer au
mieux les points i.e. nos observations. Cette technique peut être étendue par régression. Cela
consiste non plus en la classification mais en l’apprentissage d’un modèle pouvant prédire les
valeurs d’une fonction à partir des variables d’entrée.
Afin de mieux cerner SVM, voici un schéma qui explique son fonctionnement par l’image.

271
Lors d’un apprentissage sur un ensemble de données, plusieurs frontières sont possibles. Il en
existe une infinité. Il faut choisir.

139

Figure 119 : Fonctionnement d’une machine à vecteurs support (SVM)

Le dernier graphique de l’image de la figure 119 montre que la frontière la plus éloignée des
différents points est la meilleure. C’est SVM qui permet de trouver cette frontière en maximisant
la distance entre les points d’entraînement et la frontière. Il est très fréquent de ne pas trouver une
séparation linéaire et, dans ce cas, qui est aussi le nôtre, on utilise une astuce de noyau (kernel
trick) qui opère une transformation pour pouvoir classer les objets. Ce noyau permet d’apprendre
une SVM non linéaire.
L’algorithme SVR a été appliqué sur les éléments de sortie de EMDeep, donc après avoir trouvé
des regroupements d’états. Le plus difficile à élaborer est le noyau. Son choix détermine le
comportement de la classification finale. Les résultats nous montrent l’apparition de zones

139
[Link] -
consulter le 9 août 2019
272
distinctes et une zone plutôt constituée d’un mélange d’observations ne trouvant pas vraiment de
place dans les parties bien limitées.

Notre modèle hybride EMDeep et résultats (Gal, Banerjee, 2019)

La synthèse de notre modèle s’illustre par le schéma suivant :

Figure 120 : Technique d’apprentissage automatique pour la classification d’états

émotionnels à partir de mesures phyiologiques

Le processus démarre par l’acquisition et l’enregistrement des données soumises à différentes

techniques mathématiques et statistiques de fouille de données associées et adaptées au contexte
des données physiologiques. Les potentiels états et motifs obtenus sont ensuite soumis à un
algorithme de régression. Les résultats de la méthode procurent un ensemble de clusters.
Dans l’apprentissage automatique proposé, les techniques EM et SVR offrent des fonctions
mathématiques adaptées à la recherche d’une reconnaissance et classification d’états émotionnels
sans étiquette. Dans l’exploitation des trois fichiers contenant les données manipulées par le
modèle, nous avons obtenu des groupes relatifs à deux états plus un groupe de mélanges. Le
troisième groupe est constitué de données sans rassemblement fort en terme de similarités ou
dissimilarités. On ne les comprend pas exactement. Il est nécessaire d’appliquer de nouvelles
techniques pour améliorer la compréhension de ces données.
Ces classes ne sont toujours pas étiquetées et ont été comparées aux valeurs standards
physiologiques. Nous constatons que ce modèle hybride semble nous apporter des conclusions
relativement similaires à la méthode que nous avons mise en œuvre avec les cartes de Kohonen. Il
apparaît trois zones par rapport aux trois fichiers manipulés orientant vers des types d’individus.
Une approche via les techniques floues est en cours. Il s’avère qu’en matière d’émotions ou d’états

273
émotionnels rien n’est jamais complètement bien circonscrit, borné. La logique floue apporte une
classification plus réaliste, plus proche des caractéristiques et du raisonnement de l’humain. La
description d’une situation se fait à l’aide de variables linguistiques qui déterminent une
appartenance. Celle-ci se traduit par une équivalence d’appartenance à un ensemble. Une
observation, par exemple, ne sera pas dans l’ensemble 1 ou l’ensemble 2 mais pourra appartenir à
l’ensemble 1 avec un facteur de 0,7 et à l’ensemble 2 avec un facteur de 0,3. Ceci apporte une
nuance intéressante, une subdivision plus fine offrant plus de précision ou une résolution plus
subtile.

4.5.6. Conclusion

Notre point de départ pour résoudre notre problématique, à savoir découvrir des états émotionnels,
a été la collecte des données relatives à des mesures physiologiques choisies afin de mettre au jour
ces états et éviter certains biais. Pour cela, nous avons appliqué des méthodes tant pour la collecte
que pour l’analyse. La technique de récupération de données s’est déroulée selon un plan
d’expériences et un sondage par le moyen de questionnaires. Nous avons recueilli des données
qualitatives et quantitatives. La thèse ne traite que des données quantitatives. Les autres données
feront l’objet d’un futur travail.
Notre choix d’exploration non supervisée a conduit à l’utilisation de certaines techniques
appliquées dans ces conditions, à savoir le clustering. Avant cette phase d’auto-organisation des
données, il est important de signaler que le cheminement dans leur analyse a été long et fastidieux
pour de nombreuses raisons, surtout quant à la préparation des données. Il est impensable de
s’engager dans l’application directe de techniques ou d’algorithmes pointus sur des données non
nettoyées, non prétraitées. Les statistiques descriptives ont également été utilisées pour une
première analyse et l’adoption d’orientations. Toute cette phase occupe la majeure partie du temps
de traitement. Sans ce travail préliminaire, il n’est pas possible de réaliser une bonne analyse.
A la suite de cela, nous avons mis en place, pas à pas, deux méthodes :
 L’une, à base des cartes de Kohonen, se traduit par environ 2 500 lignes de code en R,
 L’autre, portant sur un nouveau modèle hybride, EMDeep, adapté à nos données, se traduit
par environ 1 200 lignes de code en Python,
montrant chacune comment aborder les données, suivre leur comportement, approfondir leur
compréhension et aboutir à des résultats, même s’ils ne sont pas exactement tels qu’on aurait pu
les envisager. Ces méthodes apportent des réponses à nos questionnements.

274
Trouver des états émotionnels à partir de variables physiologiques est complexe surtout à
l’aveugle. En effet, nous n’orientons pas du tout les données vers des ensembles établis
d’émotions. Nous essayons de construire une cartographie à partir des informations brutes des
biocapteurs.
Grâce aux méthodes employées, créées, nous avons d’une part, mis en évidence des classes
pouvant représenter des types d’individus. Les sauts de certains neurones marquent des
événements particuliers liés à des stimuli engendrant des changements d’états. D’autre part, nous
avons avec EMDeep fait émerger des groupes relatifs à des états émotionnels que nous ne savons
pas encore nommer.
Les deux voies suivies offrent la reconnaissance d’états et nous incitent à poursuivre. Il est
important d’affiner nos résultats afin de déterminer la possibilité d’identifier ces états. Une
investigation plus fine à l’aide de la mise en place d’algorithmes encore plus ajustés à nos données
spécifiques ou plus exactement aux résultats déjà acquis s’impose à partir de ces nouvelles
connaissances.
Nous avons déjà envisagé de nous diriger vers les chaînes de Markov cachées, à partir de nos
cartes de Kohonen, offrant la possibilité de découvrir des états inconnus. Nous avons également
entrepris des démarches portées par la logique floue (fuzzy logic) qui se rapproche du
raisonnement humain, plus intuitif, et permettant d’appréhender des phénomènes naturels,
imprécis comme le sont les états émotionnels. Là encore, nous continuons nos explorations à partir
de nos résultats.

275
4.6. Bibliographie

Abdat, F. (2010). Reconnaissance automatique des émotions par données multimodales :

expressions faciales et des signaux physiologiques. (Thèse de doctorat, Université Paul Verlaine,
Metz).

Bonnans, J. (2003). Optimisation continue, cours et problèmes corrigés. Dunod.

Breedlove, M., S., Rosenzweig, M. R., Watson, N. V. (2012). Psychobiologie. De la biologie du

neurone aux neurosciences comportementales, cognitives et cliniques. Paris, De Boeck.

Cheng, Z., Shu, L., Xie, J., Chen, C.P. (2017) A novel ECG-based real-time detection method of
negative emotions in wearable applications. In Proceedings of the International Conference on
Security, Pattern Analysis, and Cybernetics, Shenzhen, China, 15–17 December 2017; pp. 296–
301. 39.

Gal, V., Gressier-Soudan, E. (2016). Recherche d’une classification d’états émotionnels à des fins
de nouvelles interactions Humain Environnement. Actes de la 28ième conférence francophone sur
l’Interaction Homme-Machine, Oct 2016, Fribourg, Suisse. pp.307-313,
10.1145/3004107.3004143 hal-01384351

Gal, V., Banerjee, S., Rad, V. D. (2019). Investigation of Emotion Instances and Class Analysis
from Physiological Sensors by Unsupervised Hybrid EMDeep Model. The Sixth Euro-China
Conference on Intelligent Data Analysis and Application (ECC 2019) Arad Romania, October 15-
18, 2019

Gal, V., Banerjee, S., Rad, V. D. (2019). Investigation of Emotion Instances and Class Analysis
from Physiological Sensors by Unsupervised Hybrid EMDeep Model. Special Issue of the Journal
of Intelligent and Fuzzy Systems (accepté)

Goldberger, J., Gordon, S, Greenspan, H. (2003) An efficient image similarity measure based on
approximations of KL-divergence between two Gaussian mixtures - [Link] -
Conference: Computer Vision, 2003. Proceedings. Ninth IEEE International Conference on
Computer Vision - DOI: 10.1109/ICCV.2003.1238387

Goupy, J (2013). Introduction aux plans d’expériences. Avec applications. Paris, Dunod.
Hajjar, C. (2014). Cartes auto-organisatrices pour la classification de données symboliques
mixtes, de données de type intervalle et de données discrétisées. (Thèse de doctorat, Supélec, Gif-
sur-Yvettes).

Hamdi, H. (2012). Plate-forme multimodale pour la reconnaissance d’émotions via l’analyse de

signaux physiologiques : Application à la simulation d’entretiens d’embauche. (Thèse de doctorat,
Université d’Angers).

Kohonen, T. (1990). The self-organizing map. Proceedings of the IEEE. 78(9), 1464 – 1480. doi:
10.1109/5.58325

Kohonen, T. (2012). Essentials of the self-organizing map. Neural Networks: the official journal
of the International Neural Network Society. 37, 52-65. doi: 10.1016/[Link].2012.09.018
276
Marzuki, A., Dioren-Rumpa, L., Wibawa, A. D., Purnomo, M. H. (2016). Classification of human
state emotion from physiological signal pattern using pulse sensor based on learning vector
quantization. 2016 International Seminar on Intelligent Technology and Its Applications (ISITIA),
Lombok, 129-134. doi: 10.1109/ISITIA.2016.7828646

Mermillot, M. (2016). Réseaux de neurones biologiques et artificiels. Vers l’émergence de

systèmes artificiels conscients ? Paris, De Boeck.

Morange-Majoux, F. (2011). Manuel visuel de Psychophysiologie. Paris, Dunod.

Pannucci, C. J., Wilking E. G. (2010). Indentifying and Avoiding Bias in Research. Plastic and
reconstructive surgery. 126(2), 619-625. doi:10.1097/PRS.0b013e3181de24bc.

Reynolds, D.A., Quatieri, T.F., Dunn, R.B. (2000). Speaker verification using adapted gaussian
mixture models. Digital Signal Processing, 10(1-3):19–41.

Saporta, G. (2011). Probabilités, analyse de données et statistiques. Paris, Technip.

Shu-Hsien, L., Pei-Hui, C., Pei-Yuan, H. (2012). Data mining techniques and applications – A
decade review from 2000 to 2011. Journal of expert system with applications, 39, 11303-11311.
doi : 10.1016/[Link].2012.02.063

Vallerand, R. J. (2006). Les fondements de la psychologie sociale. Montréal, Gaëtan Morin.

Willshaw, D. J., Von der Malsburg, C. (1976). How patterned neural connections can be set up by
self-organization. Proceedings of the Royal Society of London. Series B, Biological Sciences,
194(1177), 431–445. doi: 10.1098/rspb.1976.0087

Zhai, J., Barreto, A. (2006). Stress detection in computer users based on digital signal processing
of noninvasive physiological variables. In Engineering in Medicine and Biology Society, 2006.
EMBS'06. 28th Annual International Conference of the IEEE. 1355-1358. doi:
10.1109/IEMBS.2006.259421

Zhang, D., Lu, G. (2003). A comparative study of curvature scale space and Fourier descriptors
for shape-based image retrieval. Journal of Visual Communication and Image Representation,
14(1), 39-57. doi: 10.1016/S1047-3203(03)00003-8

277
4.7. Sitographie

Albouy-Llaty, M. (2011). Les biais. [Link]

[Link]/santepub/images/staff_2011/0525_BIAIS.pdf, consulté le 3 novembre 2017.

Bennani Y. (2014). Apprentissage par réseaux de neurones artificiels.

[Link] consulté le
4 février 2018

Boucher, J.-M. (2014). Les dix biais cognitifs qui nous trompent le plus souvent.
[Link] consulté le 3
novembre 2017.

Cardon, D. (2012). Regarder les données. [Link]

[Link], consulté le 14 novembre 2017.

Carte auto adaptative (s. d.). Dans Wikipédia, l’encyclopédie libre. Consulté le 12 octobre 2015 à
[Link]

Giezendanner, F. D. (2012). Enquêtes : Principaux biais dans la formulation des questions.

[Link] consulté le 2 décembre 2017

Michotte, L. J. (2007). La formule de Karvonen.

[Link]
pdf, consulté le 25 mars 2018.

Mucci, P. (s. d.). Epreuves d’exercice musculaire et aptitude aérobie. [Link]

[Link]/mucci/Cours_2.pdf, consulté le 25 mars 2018

Neurobranchés (s. d.). La cellule nerveuse en activité : le potentiel d’action.

[Link] consulté le 21 janvier 2017

278
 Chapitre 5
En partance pour le jeu

« Le jeu est la forme la plus élevée de la recherche ». Albert Einstein

5. JEU ET PLATE-FORME ............................................................................... 281

5.1. INTRODUCTION ........................................................................................................................................... 281
5.2. DEFINITIONS ET REFERENCES : JEU, PERVASIF ET UBIQUITAIRE, JEU PERVASIF, JEU UBIQUITAIRE, JEU VIDEO .................... 282
5.3. UNIVERS TECHNIQUE ................................................................................................................................... 289
5.4. CONCEPTION D’UN JEU ET MODELES ............................................................................................................... 290
5.4.1. Conception......................................................................................................................................... 291
5.4.2. Modèles ............................................................................................................................................. 293
5.5. PLATE-FORME DE JEU PERVASIF PRESSENTIE ...................................................................................................... 297
5.6. CONCLUSION.............................................................................................................................................. 298
5.7. BIBLIOGRAPHIE ........................................................................................................................................... 300
5.8. SITOGRAPHIE.............................................................................................................................................. 302

279
280
5. Jeu et plate-forme

5.1. Introduction

Notre sujet porte sur la réflexion d’une nouvelle forme d’interaction dans les jeux vidéo et
pervasifs. Nous nous sommes déjà expliqués sur le choix de cet environnement. Pour rappel,
l’univers dans lequel nous voulons tester nos expérimentations qu’elles soient de type réseau,
interactionnelles, émotionnelles est celui du jeu. C’est un espace ouvert où les protocoles ne sont
pas contraints comme dans le milieu médical, pour tout nouvel essai ou test. Il est encore un peu
trop large pour l’instant, du moins dans le cadre de la thèse. Nous avons donc opté, dans un premier
temps, pour un jeu pervasif, dans un univers clos comme dans les jeux d’évasion (escape games
ou escape rooms)140. Il est plus facile de contrôler l’environnement, les objets communicants...
Notre système global est ubiquitaire ou plutôt pervasif, proposant des services adaptés non à la
difficulté du jeu mais à l’état émotionnel du joueur, son ressenti. Ce système dispose d’un
ensemble d’informations décrivant les éléments informatiques (réseau, dispositifs de captation,
applications, modèles…), les éléments du jeu (dispositifs d’interactions, l’histoire, les règles…),
le joueur. Chaque joueur est unique même si certaines expressions, émotions peuvent se retrouver
d’un individu à un autre.
Nous commençons donc par un jeu pervasif avec l’intention d’aborder le jeu vidéo dans un autre
travail. Le jeu constitue l’articulation entre le joueur et l’environnement et est une des étapes de
tests de nos modèles en réel. Un point important aussi à mettre en avant est que, contrairement au
jeu classique, le jeu pervasif fondé sur les états émotionnels ne peut pas être transmis à d’autres
joueurs en terme d’expérience. Ce qui permet de conserver l’intérêt, l’aventure, la réflexion. En
effet, comme le jeu s’appuie sur les émotions de chacun, il prend une autre dimension et s’adapte
au joueur changeant ainsi le jeu lui-même.
Pour y accéder, un nouveau champ s’ouvre à nous. Il va falloir acquérir un langage vidéo ludique.
Tous les moyens sont à étudier et à utiliser en fonction de l’environnement. Le but premier est de
fournir du plaisir, de la distraction, de l’amusement, de l’évasion, du bonheur voire du bien-être
au travers d’une expérience interactive ludique bien construite, tout comme on peut trouver ces

140
« Le jeu d'évasion, également désigné par les termes anglais escape game ou escape room est un
type de jeu grandeur nature constituant la déclinaison physique des jeux vidéo de type « Escape the
room » ». [Link] nature – consulté le 25 août
2019
281
aspirations avec un livre, la musique, une balade… associée à un petit plus relatif à la prise en
compte de l’état émotionnel du participant. Le défi est d’atteindre ce but au travers de
l’identification des états émotionnels afin d’être au plus proche du joueur en lui proposant un jeu
adapté. On entend par jeu adapté un jeu allant soit dans le sens de l’utilisateur, soit en le mettant
dans des situations délicates, de gageures… lui laissant un goût de « revenez-y ».
Ce chapitre a pour objectif de proposer une méthodologie, des recommandations dans la
construction d’un jeu pouvant mêler des états émotionnels et de préciser comment se structure
notre environnement expérimental pour aller vers une proposition nouvelle, interactive et
émotionnelle. Des définitions et références alimentent la première partie. L’univers technique sera
ensuite abordé succinctement suivi de la façon dont nous envisageons la construction du jeu tant
du point de vue des mécaniques que du contenu nous sortant peut-être du cercle magique de
Huizinga. Avant de terminer par une conclusion nous projetant vers quelques réflexions ludiques,
nous exposons les grandes lignes de notre plate-forme de jeu pervasif.

5.2. Définitions et références : jeu, pervasif et ubiquitaire, jeu pervasif,

jeu ubiquitaire, jeu vidéo

Nous présentons quelques définitions relatives aux jeux et plus particulièrement ceux vers lesquels
nous nous sommes tournés. Les définitions sont multiples et ne convergent pas toujours ou restent
ambiguës. Nous mentionnons également quelques fondements en la matière.
Tout d’abord qu’est-ce qu’un jeu ?
« Le mot « jeu » vient du mot latin jocus signifiant « plaisanterie » ou « badinage », qui a aussi
donné en français jouet. Par métonymie, on appelle « jeu » l'ensemble des cartes à jouer, et par
extension, tout assortiment ou ensemble. En informatique, on a ainsi des jeux de données. Le
« jeu » peut aussi désigner la façon personnelle de pratiquer un jeu ou de jouer d'un instrument.
En latin les jeux sont désignés par ludi, qui a donné en français « ludique et autres dérivés
(ludothèque, ludant, ludé, ludion... ) »141.
Le jeu est aussi défini par Huizinga (1951) comme « une action libre, sentie comme fictive et située
en dehors de la vie courante, capable néanmoins d’absorber totalement le joueur ; une action
dénuée de tout intérêt matériel et de toute utilité ; qui s’accomplit en un temps et dans un espace
expressément circonscrits, se déroule selon des règles données et suscite dans la vie des relations

141
[Link] - consulté le 11 mai 2019
282
de groupes s’entourant volontiers de mystère ou accentuant par le déguisement leur étrangeté vis-
à-vis du mon habituel ». Caillois (1967) reprend cette définition, l’analyse et la complète. Le jeu
est pour lui une activité pourvue de six caractéristiques formelles :
- Libre : pas d’obligation de jouer
- Séparée : des limites d’espace et de temps
- Incertaine : non déterminée et sans résultat acquis avec une certaine liberté laissée au
joueur
- Improductive : sans apport en dehors du cercle de jeu
- Réglée : soumise à des conventions
- Fictive : appartenant à l’irréel.

Le quatrième point reste à discuter car tout dépend des jeux. Par exemple, si on choisit des jeux
communautaires, des jeux où évoluent des guildes, les apports se traduisent dans la vie par des
relations étendues avec les autres joueurs (partage, amitié…).
Nous employons les mots ubiquitaire et pervasif pour désigner notre univers. Pour définir ces
termes, Diane Dufort (2016) fait un état intéressant de ces mots et de leur utilisation. Nous
retiendrons également de ces propos qu’il existe une différence entre les deux concepts même s’ils
sont souvent considérés comme identiques. L’un, ubiquitaire, fait appel à l’architecture d’un point
de vue technique ainsi que les dispositifs informatiques associés au sens de Mark Weiser. Les
frontières environnementales seraient fixes. L’autre, pervasif, traduit une transition entre deux
états, de devenir et de transformation (Saha, Mukerjee, 2003) et véhicule une approche culturelle
centrée sur l’utilisateur (Brown, 2007 ; Nieuwdorp, 2007). Les frontières de l’environnement
évoluent (Mc Gonigal, 2006).
L’ubiquité ou l’omniprésence est la possibilité d’être présent dans plusieurs endroits en même
temps. Ce terme provient du latin « ubique » signifiant partout. En informatique, cela désigne les
environnements dans lesquels des dispositifs dits « intelligents » sont enfouis, intégrés et
interconnectés. L’environnement ubiquitaire numérique dicte une proactivité i.e. que des
processus peuvent envoyer des informations à des dispositifs ou en recevoir sans action de
l’utilisateur. Nous en avons déjà discuté dans le chapitre sur les interactions.
Le terme pervasif ne figure pas officiellement dans la langue française. C’est l’utilisation du mot
anglais pervasive que l’on traduit par omniprésence qui fait ambiguïté avec l’ubiquité. La
pervasivité intègre des technologies informatiques et de communications et comporte trois
dimensions (Kourouthanassis, 2007) : la diffusion de l’information issue de technologies
différentes qu’elles soient infrastructurelles ou interfacielles, l’utilisation de l’ubiquité dans le sens
de l’accessibilité des informations et des interactions quels que soient le lieu et le moment, la prise
en compte des exigences des utilisateurs et du contexte comme l’activité en cours, le temps de
283
traitement des informations, les modalités d’interaction… Dans un environnement pervasif, les
objets peuvent interagir entre eux sans intervention de l’utilisateur.
Le concept de pervasivité est, à notre sens et au vu des différentes définitions, plus large que
l’ubiquité et l’inclut, tout comme il comprend la réalité alternée.
La réalité alternée, aussi appelée réalité intégrée (alternate reality), permet de lier monde réel et
monde virtuel. Elle est, la plupart du temps, associée à l’univers du jeu que nous abordons dans la
suite.
Ceci étant écrit, comment peut-on articuler ces concepts aux jeux ?
« Le jeu pervasif est un type de jeu qui intègre des interfaces émergentes afin de créer une
expérience de jeu qui combine des éléments des mondes réels et virtuels. Ce concept vient du terme
anglais Pervasive Games et est proche de celui du jeu en réalité alternée ». Wikipédia142 . Rien
n’est vraiment bien défini. Eva Nieuwdorp (2007) a essayé de donner des précisions quant aux
jeux pervasifs en se fondant sur les définitions les plus communes et a retenu sept critères :
 Un jeu qui repose principalement sur une technologie omniprésente et des dispositifs
d’entrée non standards
 Un jeu augmenté de matériel informatique mêlant monde réel et monde virtuel, qui
imprègne le monde réel d’une manière diffuse et se fond avec lui
 Un jeu qui brouille les frontières entre les deux mondes
 Un jeu qui est une superposition du monde réel
 Un jeu persistant, disponible à tout moment
 Un jeu qui interagit avec le monde réel cassant les conventions des jeux standards, où les
joueurs interagissent entre eux et avec les éléments du monde réel
 Un jeu qui se mêle aux expériences quotidiennes.

Le jeu en réalité alterné ou JRA (Alternate Reality Game – ARG) est une histoire interactive se
déroulant dans le monde réel, utilisant une narration transmédia143 et évoluant en fonction des
actions du joueur. Il exploite deux espaces, l’univers ludique relatif à l’imaginaire du jeu et le
monde réel relatif à la place où se joue le jeu. Les JRA sont vus comme des jeux pervasifs (Eyles
et Eglin, 2007). Goria (2017) fait état des marges du JRA. Le jeu ubiquitaire allie le jeu à des
dispositifs intelligents, invisibles.

142
[Link] - consulté le
143
« La transmédialité est un terme issu du concept anglais narration transmédia « transmédia storytelling ». La
narration transmédia, tel que conçu par Henry Jenkins en 2003 est processus de déploiement d'œuvres de fiction
caractérisé par l'utilisation combinée de plusieurs médias pour développer une expérience unifié et cohérente » -
[Link] - consulté le 25 août 2019
284
Le jeu vidéo peut être défini comme une application interactive, simulant des expériences sur
écran, impliquant les utilisateurs. Le concept de jeu vidéo désigne tout jeu numérique interactif
quel que soit son support physique. Il existe différentes définitions. Le dico du net propose : « Un
jeu vidéo est une activité de loisir basée sur des périphériques informatiques (écran LCD,
manette/joystick, hauts parleurs...) permettant d'interagir dans un environnement virtuel
conformément à un ensemble de règles prédéfinies »144. Quant à l’Office Québécois de la Langue
Française, il énonce : « Œuvre audiovisuelle interactive et ludique dont le contenu est programmé
et diffusé sur un support de stockage qui en permet l'affichage sur un écran, où le joueur contrôle
l'action qui s'y déroule, à l'aide d'un périphérique de jeu, dans un but de divertissement ou de
compétition ».145
Le jeu est construit sur des principes que B. Paras (2005) évoque. Ces principes, à considérer au
niveau de la création d’un jeu vidéo, sont :
 Le défi, le désir d’atteindre les objectifs et un bon feedback pour améliorer les
compétences
 Trouver dans le jeu une curiosité sensorielle et cognitive
 Avoir un sentiment de contrôle grâce aux feedbacks
 User de fantasmes et d’imaginaire pour renforcer les objectifs et stimuler les intérêts.

Tout ceci se rapproche fortement des principes du flow présentés en 5.4.2.

Quant au jeu pervasif, il intègre finalement toutes les combinaisons, même celle du jeu vidéo.
Nous choisissons donc cette appellation.
Markus Montola (2005) exprime ce qui différencie le jeu vidéo du jeu pervasif au travers de trois
caractéristiques autres que technologiques, à savoir :
 L’espace
 Le temps
 Le social.

Les différences entre un jeu vidéo classique et un jeu pervasif sont également l’univers, l’espace
dans lequel se déroule le jeu, l’immersion, l’implication du joueur dans l’histoire. Le joueur, en
tant que personne physique, fait partie du jeu pervasif. Dans le jeu vidéo, il est une représentation
souvent par le biais d’un avatar.
Tous ces jeux reposent sur la notion du jeu et de l’amusement. Une partie de l’immersion est
apportée par la technologie et par l’histoire auxquelles le joueur adhère. C’est l’expérience vécue
fournie par ces jeux qui transporte le joueur lui faisant ressentir des sensations, des émotions se

144
[Link] - consulté le 24 août 2019
145
[Link] – consulté le 24 août 2019
285
traduisant par des phénomènes physiques. L’expérience vécue est variable selon chacun et peut-
être minimale comme immense quand notre vision du monde ou de nous-même est changée,
transformée.
Parmi les jeux pervasifs on peut bien sûr citer le jeu élaboré dans le cadre du projet PLUG que
nous avons mentionné à plusieurs reprises.
Un des premiers jeux du genre dont nous avons entendu parler est le projet momentum réalisé
dans le cadre d’un projet européen IPerG (Integrated Project on Pervasive Gaming). Ce jeu est un
jeu pervasif et s’apparente aux jeux de rôle en grandeur nature. Il se déroule sur cinq semaines, 24
heures sur 24 et 7 jours sur 7 et a pris place en Suède en 2006. Le monde réel et le monde du jeu
sont mêlés. Une description est donnée dans (Stenros, 2007). Les accessoires utilisés dans le jeu
sont parfois reconnaissables mais pas toujours (voir les images suivantes).

Figure 121 : Exemple 1 d’accessoires utilisés dans le projet Momentum

Les joueurs peuvent être amenés à utiliser un gant intégrant un capteur RFID pour entrer en contact
avec les endroits magiques d’un lieu ou à manifester en pleine rue dans la ville lors d’événements
liés au jeu, figure 122.

286
Figure 122 : Exemple 2 d’accessoires utilisés dans le projet Momentum et lieu d’événement

Ingress, 2012, créé par John Hanke, est un jeu multi-joueurs développé par Google relayé par
Niantic, s’exécutant sous Android et iOS, dans lequel les joueurs se déplacent dans le monde réel
pour interagir avec le monde du jeu, fondé sur la réalité augmentée.

146

Figure 123 : Exemple d’écran du jeu Ingress

146
[Link] - consulté le 7
septembre 2019
287
Afin de remplir certaines missions, il est nécessaire que les joueurs s’associent. Les joueurs
s’approchent des objets du monde réel désignés, leur position est reportée sur la carte du jeu grâce
à la puce GPS du smartphone. Au début du jeu, le joueur choisit sa faction, son camp. Le but est
de garder ou protéger des champs d’énergie, collecter des objets et déployer des technologies afin
de s’emparer de territoires.

Pokemon Go, 2016, créé par Dennis Hwang, est un jeu multi-joueurs développé par Niantic,
s’exécutant sur des plates-formes Android et iOS. Le jeu utilise la technologie de suivi de
localisation et de cartographie pour créer une réalité augmentée dans laquelle les joueurs attrapent
et entraînent des personnages Pokémon dans le monde réel et se voient attribuer des points qui
définissent leur puissance.

147

Figure 124 : Exemple d’écran du jeu Pokemon Go

L’image ci-dessous présente une illustration des deux jeux, Pokemon Go à gauche, Ingress à droite
et est issue de Perez-Colado (2018).

147
[Link] - consulté le
7 septembre 2019
288
 Figure 125 : Exemple comparatif d’écrans de jeux Pokémon Go et Ingress

Toute création ludique implique l’utilisation de techniques, d’outils et de langages de conception.

Ces points sont abordés dans les paragraphes qui suivent.

5.3. Univers technique

Les jeux pervasifs reposent sur des techniques informatiques offrant la gestion de :
 La collecte des données
 La collecte des événements (les actions du joueur)
 L’envoi des feedbacks
 Le stockage des données, du jeu
 L’état d’avancement
 Le brouillage éventuel des frontières (si plusieurs joueurs et/ou environnement étendu).
Ce qui n’est pas notre objectif premier.

C’est parfaitement en adéquation avec notre quête. Ils utilisent, pour la grande majorité, une
architecture client-serveur (Ballagas, 2007, Björk, 2001, Yang, 2009). Le serveur centralise toutes
les données du jeu et du joueur ainsi que tout ce qui a trait au bon déroulement du jeu comme la
gestion des événements, le traitement des données, l’avancement dans le scénario…
Le client concerne l’environnement matériel et logiciel assurant les interactions directes avec le
joueur. Nous adhérons à cette configuration.

289
De nombreux travaux sont aussi menés, quant aux systèmes pervasifs, afin d’apporter des solutions
à la gestion du système d’information du point de vue matériel, système, réseau ou système
d’information à proprement parlé (S.I.). F. Laforest148 propose des pistes tout comme Khalfi (2014,
2015) présente les défis de l’informatique ambiante dans un environnement pervasif. Le modèle
d’architecture proposé pourrait être adapté à notre contexte.
Nous avons abordé la question de notre environnement futur dans le chapitre sur les réseaux. Il
sera important, le moment venu, de préciser le fonctionnement exact de l’ensemble.
La structure de ce chapitre porte essentiellement sur une méthode à envisager et des pistes quant à
la construction d’un jeu. Nous exposons dans les paragraphes suivants les éléments basiques à son
élaboration, les modèles pouvant servir de supports et notre orientation.

5.4. Conception d’un jeu et modèles

Pour être intéressant, le jeu doit offrir au joueur des mécaniques de jeu à fins d’usages et de
comportements ludiques. Marc Albinet (2015) nous présente le jeu ou, plus exactement,
l’expérience de jeu sous la forme des schémas suivants.
Le premier schéma montre que cette expérience est le concours de la forme en termes de
représentation et de mécaniques de jeu et, du fond. Le deuxième schéma, plus complet, détaille
chacun des éléments.

Figure 126 : Expérience de jeu = la forme + le fond

148
[Link] _ consulté le 25 août 2019
290
 Figure 127 : Expérience de jeu détaillée

5.4.1. Conception

Faire un jeu va donc consister à réaliser un système plus ou moins complexe avec des principes à
définir. La conception d’un jeu passe par plusieurs étapes :
 L’identification des intentions : le message à communiquer, ce que l’on veut transmettre.
C’est le quoi et le comment du schéma ci-dessus.
 Le gameplay : la jouabilité, primordiale dans un jeu. C’est aussi le ressenti du joueur
lorsqu’il joue. On trouve le macro-gameplay et le micro-gameplay. Nous les expliquons
ci-après.
 La représentation : la forme artistique, l’ambiance, l’univers, l’habillage audio-visuel…
 Le level design : la continuité du game design, concerne la conception et la fabrication
d’une maquette des niveaux de jeu. Il comporte deux parties : le micro-design et le
macro-design.
 La conception : la manière de dynamiser le déroulement de création initiale, du message,
du contexte et du noyau du jeu. Ceci émerge grâce à des références (littéraires,
cinématographiques, artistiques, toutes sources inspirantes), des échanges d’idées, la
curiosité au quotidien.
 La pré-production et la production : la pré-production utilise la phase de conception. Elle
identifie les détails du jeu. Elle est la période d’établissement du cahier des charges. C’est
une synthèse de la préparation à la production. La production concerne la démonstration
et la sécurisation du cœur de l’expérience. Elle valide le prototype. Les autres éléments
du jeu, afin de le finaliser, ne constituent que des variations de situation. C’est à ce
moment que le level design prend le relais.

a) Le macro-gameplay permet de garantir que chaque moment est intéressant et incite le joueur
à continuer le jeu ou à y revenir rapidement. Pour cela, il existe six principes de création et

291
 de contrôle du macro-gameplay. On trouve : la boucle de jeu, la motivation, le système de
jeu, la logique du jeu (systémique ou narrative), la structure du jeu et l’accessibilité
(utilisabilité, apprentissage et gestion de la difficulté). Le côté systémique de la logique de
jeu se fonde principalement sur l’entrecroisement des règles et des mécaniques. Le côté
narratif repose sur une histoire, un scénario. Ces deux logiques peuvent être combinées.

La boucle de jeu représentée dans sa structure simple ci-après propose les trois étapes ordonnées :
le but, le défi, la récompense. Elle doit être exécutée complètement pour ne pas frustrer le joueur.

Figure 128 : Exemple de jeu simplifiée

Comme illustré ci-dessous, il existe différents types de boucles pouvant s’imbriquer pour
structurer le jeu. La boucle micro représente une étape dans le jeu, la boucle moyenne traduit un
niveau dans le jeu et la boucle macro constitue le jeu dans son entier.

Figure 129 : Différents types de boucles de jeu

b) Le micro-gameplay se définit comme la notion de période de temps, de zoom sur le jeu et

répond à ce qui se passe à des instants donnés, aux possibilités offertes au joueur, ce qu’il va
faire, comment il va faire, les moyens mis à sa disposition…
c) Le micro-design permet de construire chaque instant des niveaux du jeu. C’est le processus
qui génère à partir d’une unité de base, la brique de gameplay, des ensembles de plus en plus

292
 grands jusqu’à la finalisation du jeu. La brique de gameplay construit une situation de jeu et
peut être testée.
d) Le macro-design sert à bâtir la charpente du niveau.

Le schéma ci-après (Albinet, 2015) illustre de manière synthétique le déroulement du processus

de création.

Figure 130 : Déroulement du processus de création

Ces différentes étapes nécessitent bien évidemment un développement approfondi.

5.4.2. Modèles

Comme nous cherchons à étudier et à prendre en compte les réactions physiologiques et

psychologiques, une théorie permettant d’appréhender ces notions paraît appropriée. Il s’agit du
flow. C’est ce que l’on ressent. Le flow est le résultat d’un plaisir vécu voire d’une forme d’extase
pendant une activité. C’est Mihaly Csíkszentmihályi (1975) qui le premier a décrit le concept de
flow en 1975 et a poursuivi ses travaux avec plusieurs publications (1990, 1993, 2014) abordant
les notions de créativité, de psychologie du bonheur.
Le premier modèle de l’expérience optimale (état de flow) s’illustre par l’adaptation graphique de
Moneta (2012) ci-dessous. Il explique que le flow se situe entre l’anxiété et l’ennui à partir du
moment où il y a correspondance entre le défi et les capacités de l’acteur. Dans cette situation,
l’individu est capable de faire abstraction des aspects désagréables de la vie, de ses
préoccupations…

293
 Figure 131 : Adaptation de Moneta de l’état de flow

Le flow est décomposé en trois parties :

 Les antécédents : objectifs et feedback précis, défis adaptés
 L’expérience : combinaison des actions en conscience, sens du contrôle de l’activité et
concentration
 Les effets : expérience intérieure

Les deux premières parties sont relatives aux conditions du flow alors que la dernière détient les
déterminants du flow.
L’état de flow entraîne des conséquences importantes : des performances meilleures (Jackson et
Csikszentmihalyi, 1999), une plus grande créativité (Csikszentmihalyi, 2013), un développement
des capacités plus grand, une meilleure estime de soi et une réduction du stress (Csikszentmihalyi,
2006).
Jean Heutte, spécialiste de la modélisation théorique de l’autotélisme-flow, désigné comme
l’expérience optimale, dans l’éducation, propose une vision relative aux émotions ressenties qui
nous renforce dans notre démarche même si notre domaine est différent. « Quant à l’émotion
ressentie (cf. le flow) à ce moment-là, elle constitue l’un des moteurs de la persistance : si
apprendre est rarement une partie de plaisir, comprendre (faire comprendre, être compris…) peut
être totalement jubilatoire. Cette expérience est si gratifiante qu’elle justifie à elle seule que celles

294
et ceux qui l’ont vécue (au moins une fois) se donnent parfois beaucoup de mal pour réunir toutes
les conditions afin de pouvoir la revivre à nouveau »149.
Jean Heutte est également un des auteurs de la définition retenue actuellement, depuis 2014, par
l’European Flow Researchers Network (EFRN) en ce qui concerne le concept de flow : « Il s’agit
d’un état d’épanouissement lié à une profonde implication et au sentiment d’absorption que les
personnes ressentent lorsqu’elles sont confrontées à des tâches dont les exigences sont élevées et
qu’elles perçoivent que leurs compétences leur permettent de relever ces défis. Le flow est décrit
comme une expérience optimale au cours de laquelle les personnes sont profondément motivées à
persister dans leurs activités. De nombreux travaux scientifiques mettent en évidence que le flow
a d’importantes répercussions sur l’évolution de soi, en contribuant à la fois au bien-être et au
bon fonctionnement personnel dans la vie quotidienne » (EFRN, 2014, traduction Heutte, 2017a,
p. 170) ».
On peut donc dire qu’il s’agit d’un état dynamique de bien-être, de plénitude, de joie, d’implication
totale. Ce sentiment cause un ordre, une harmonie, un équilibre dans notre état de conscience et
renforce la structure de soi. On peut indiquer que lorsqu’un individu peut affronter la vie avec un
bel enthousiasme et une grande implication, sans autre but que le plaisir de vivre pleinement toute
activité pour lui-même, c’est une personnalité autotélique150 (qui s’accomplit par elle-même).
C’est un effet que nous cherchons aussi à offrir dans la construction d’une expérience de jeu
pervasive.
Comme le dit Jean Heutte : « Le flow serait ainsi l’un des catalyseurs fondamentaux des processus
biologiques, culturels et psychologiques au cœur de l’évolution humaine » et aussi que
« l’expérience du flow est une expérience autotélique se caractérisant par une récompense
intrinsèque (self-oriented reward) impliquant un sens profond d’enjouement, de joie et
d’enrichissement ».
Appliquons-nous maintenant à examiner le flow dans les jeux vidéo. Un jeu étant « un système
dans lequel les joueurs s’engagent dans un conflit artificiel, défini par des règles, qui se traduit
par un résultat quantifiable » (Paras, 2005) la théorie du flow y prend tout son sens. Elle est en
effet appliquée dans le jeu, plus spécifiquement d’un point de vue économique, afin de toucher les

149
[Link]
contribution-de-la-recherche-empirique-sur-les-determinants-psychologiques-de-lexperience-positive-subjective-
aux-scienc/ - consulté le 30 août 2019
150
[Link] : « L'autotélisme, mot composé de deux racines grecques
αὐτός / autós (« soi-même ») et τέλος / télos (« but ») et signifiant « qui s'accomplit par lui-même », désigne une
activité entreprise sans autre but qu’elle-même. Le terme s'applique aussi bien à des personnes qu'à des activités
et il s'oppose à l'hétérotélisme » - consulté le 30 août 2019
295
différents types de joueurs. La figure suivante (Chen, 2007) traduit comment se place le flow dans
ce contexte.

Figure 132 : Placement du flow suivant le contexte

Nous ne nous situons pas dans une économie de marché mais dans l’intention d’adapter le jeu au
joueur en fonction de son état émotionnel donc de lui permettre de trouver un état de grâce, un état
de flow, de gameflow151.
Le gameflow se fonde sur la théorie du flow adaptée aux jeux vidéo. Il s’agit de concevoir des
situations compliquées pour le joueur et de le récompenser en conséquence dès lors que l’objectif
est atteint. Bleszinski (2000) décrit le processus de résolution d’énigmes ou de défis à l’aide de
récompenses comme le gameflow. Nous détournons légèrement cette vision en jouant sur l’état
émotionnel plus que sur la difficulté même si la combinaison des deux est partie intégrante du jeu.
Sweetser et Wyeth (2005) propose un modèle selon huit critères :
 La concentration : nécessité de se concentrer pour jouer
 Le défi : proposition d’épreuve à résoudre
 Les compétences du joueur : adaptation du jeu
 Le contrôle : sentiment de contrôle du joueur sur le jeu
 Les objectifs clairs : buts clairs et précis
 Le feedback : retour approprié au joueur
 L’immersion : expérience personnelle
 L’interaction sociale : relations potentielles avec d’autres joueurs

Le tableau152 ci-dessous montre les correspondances entre le flow et le gameflow.

151
[Link] - consulté le 31 août 2019
152
[Link] - consulté le 31 août 2019
296
 Tableau 33 : Correspondance entre le flow et le gameflow

Le flow adapté au jeu revient à proposer au joueur des choix tels qu’il puisse progresser en fonction
de ses capacités et de ses envies. Il faut donc adapter le jeu au joueur. C’est ce à quoi nous aspirons
par le biais des états émotionnels. Il est néanmoins nécessaire que tout reste transparent pour lui
afin de ne pas impacter son défi, son expérience. Nous ne parlons pas non plus ici de l’adaptation
de la difficulté du joueur même si celle-ci peut être prise en considération dans la conception de
notre jeu mais de lui apporter des éléments, des défis en relation avec son état du moment.
En ce qui concerne le jeu pervasif, Jegus (2007) se fonde sur trois critères essentiels à sa
conception :
 La persistance
 La liaison étroite entre monde réel et monde virtuel
 La grande interaction sociale liée au jeu

Sweetser et Wyeth (2005) énoncent en plus des huit éléments déjà proposés trente-six critères qui
viennent compléter leur vision du jeu pervasif que nous n’énumérons pas.

5.5. Plate-forme de jeu pervasif pressentie

Notre jeu est à la confluence du jeu de rôle grandeur nature, de l’escape game ou encore d’un jeu
à réalité alternée, utilisant différentes modalités donc est un jeu pervasif tel que défini. Il est dans
un premier temps un jeu solo, mono-joueur, nous n’aurons pas d’interaction sociale. Tout comme
le jeu vidéo, le jeu pervasif nécessite aussi un gameplay. Il est indispensable d’établir des règles,
des histoires, des éléments de réussite ou non…
De nombreuses entreprises souhaitent inclure des éléments comme des lunettes de réalité virtuelle,
des bracelets connectés… et agissent sur le comportement du joueur pour l’amener à certaines fins
297
ou lui demande de se contrôler. Elles peuvent entre autre utiliser ces dispositifs et relever tout au
long du parcours des données relatives au joueur pour les utiliser ensuite dans différentes actions
comme informer le joueur de son rythme cardiaque et agir en conséquence. On peut citer
NaturalPad153 ou Ironova154. Nous n’avons pas la même approche. Notre but est d’adapter le jeu
au joueur en lui proposant des événements en fonction de son état émotionnel soit allant dans le
même sens de ce qu’il semble ressentir, parfois en lui soumettant des actions contraires pouvant
de nouveau impacter son état. Ces différentes propositions peuvent ainsi orienter le jeu plus
finement. Les réactions du joueur montreront si les suggestions sont de bon aloi ou pas.
Notre jeu s’appuiera sur une architecture client-serveur. Les données du jeu, du joueur ainsi que
tous les outils associés seront centralisés sur un serveur. L’environnement dans lequel évoluera le
joueur constituera le client.
Le jeu se déroulera dans une pièce fermée. Le but est de sortir de cette pièce. Pour cela, il est
nécessaire de trouver la clé ouvrant la porte. Evidemment elle est cachée. Il est prévu plusieurs
moyens d’ouverture. La réussite correspond à la sortie de l’espace. La défaite est atteinte dans
différentes conditions : une mauvaise action, un délai dépassé ou un arrêt volontaire.
Au sein de la pièce se trouve un certain nombre d’objets :
 Des accessoires de décors : table, chaise, cadre, coffre…
 Des éléments interactifs disposant de différents capteurs : tactile (tissu, pression), sonore
(voix, sons), visuel (leds, mouvement d’objets).

La trame de la narration est non linéaire. Nous souhaitons offrir plusieurs énigmes qui évolueront
en fonction des états émotionnels du joueur si ces états sont parfaitement identifiés.
L’ambiance de la pièce est définie par son contenu. Des événements sont déclencheurs d’actions
et d’interactions comme souffler, toucher, déplacer, parler, couper, taper des mains…
Les concepts du jeu seront précisés et développés plus finement avec l’aide de professionnels du
domaine du game design. C’est une des futures étapes planifiées parmi les différentes réalisations
que nous devons mettre en œuvre pour valider nos modèles et dispositifs.

5.6. Conclusion

Les modèles à suivre pour réaliser un bon jeu ne sont pas aussi faciles à mettre en pratique que sur
le papier quand, dans le même temps, il faut intégrer l’état émotionnel du joueur. Cela passe par

153
[Link] - consulté le 7 septembre 2019
154
[Link] - consulté le 7 septembre 2019
298
une conception rigoureuse tant en matière d’ergonomie, des logiques de jeu…, ou d’expérience de
jeu. Notre jeu est à l’état d’ébauche car il nous manque encore la confirmation de l’identification
d’états émotionnels à partir de mesures physiologiques choisies. Dans l’affirmative et grâce à des
spécialistes qui nous prêteront mains fortes, nous devrions aboutir à un jeu pervasif nous dotant de
tous les agencements et mécaniques nécessaires pour tester nos modèles. Ainsi la plate-forme
opérationnelle, dont la structure de la plate-forme a été présentée dans le chapitre 3, figure 95,
intégrant des capteurs de contact et les matériels distants capturant les données physiologiques
nous permettra de confirmer ou d’infirmer si nous pouvons bien jouer avec les états émotionnels
par ce biais, répondre aux attentes du joueur ou lui proposer une aventure adaptée.

299
5.7. Bibliographie

Albinet, M., (2015). Concevoir un jeu vidéo – Editions fyp

Ballagas, R. A., Kratz, S. G., Borchers, J., Yu, E., Walz, S. P., Fuhr, C. O.,… Tann, M. (2007).
REXplorer: A Mobile, Pervasive Spell-casting Game for Tourists. In CHI ’07 Extended
Abstracts on Human Factors in Computing Systems (pp.1929–1934). New York, NY, USA:
ACM. [Link]

Björk, S., Falk, J., Hansson, R., & Ljungstrand, P. (2001). Pirates! Using the physical world as a
game board. In IN PROCEEDINGS OF INTERACT 2001 (pp. 9–13). Japon: IOS Press.

Bleszinski, C., & Games, E. (2000). The art and science of level design. In 2000 Game
Developers Conference Proceedings.

Caillois, R., (1967). Les jeux et les hommes – Editions Folio essais

Chen, J. (2007). Flow in Games (and everything Else), Communications of the ACM, vol. 50
n°4

Csikszentmihalyi, M. (1975). Beyond Boredom and Anxiety. Jossey-Bass Publishers.

Csikszentmihalyi, M. (1990). Flow. New York: Harper et Row.

Csikszentmihalyi, M. et Rathunde, K. (1993). The measurement of flow in everyday life:

Toward a theory of emergent motivation. In R. Dienstbier et J.E. Jacobs (Eds.), Nebraska
Symposium on motivation, 1992. Lincoln and London: University of Nebraska Press.

Csikszentmihalyi, M. (2013). Creativity. New York: Harperperennial modern classics.

Csikszentmihalyi, M. (2014). Flow and the Foundations of Positive Psychology. Springer

Netherlands.

Eyles, M., Eglin, R. (2007). Ambient role playing games: towards a grammar of endlessness,
paper presented at Women in Games, Newport, South Wales, 19/04/07 - 21/04/07

Goria, S., Lejeune, F. (2017). Les marges du jeu à réalité alternée (JRA) : mise en évidence de
cas d’indétermination créatrice et destructrice à partir de l’expérience d’Alter Ego, Sciences du
jeu [En ligne], 7 | 2017, mis en ligne le 21 février 2017, consulté le 30 août 2019. URL :
[Link] ; DOI : 10.4000/sdj.791

Heutte, J. (2017a). La persistance de la motivation et l’expérience du Flow : un cadre de

référence pour l’étude du e-learning. Dans O. Las Vergnas (dir.), Le e-learning informel. Paris,
France : Éditions des archives contemporaines. 170-186.

Huizinga, J., (1951). Homo ludens. Essai sur la fonction sociale du jeu - Collections Tel,
Editions Gallimard Paris

300
Jackson, S.A. et Csikszentmihalyi, M. (1999). Flow in Sports – The keys of optimal experiences
and performances. Human Kinetics

Khalfi, M.F., Benslimane, S.M. (2014). Systèmes d’information pervasifs : architecture et

challenges. UbiMob.

Khalfi, M.F., Benslimane, S.M. (2015). Evaluating Characteristics Adherence Level to Design
Framework for Pervasive Projects. International Journal of Advanced Pervasive and Ubiquitous
Computing (IJAPUC)

Kourouthanassis, P.E., Giaglis, G., Vrechopoulos, A.P. (2007). Enhancing user experience
through pervasive information systems: The case of pervasive retailing October 2007
International Journal of Information Management 27(5):319-335 - DOI:
10.1016/[Link].2007.04.005.

Moneta, G. B. (2012). On the Measurement and Conceptualization of Flow. In S. Engeser (Ed.),

Advances in Flow Research. New York: Springer. 23-50

Paras, B. (2005). Game, Motivation, and Effective Learning: An Integrated Model for
Educational Game Design. DiGRA 2005: Changing Views: Worlds in Play, 2005 International
Conference. Simon Fraser University Surrey. Repéré à [Link]

Perez-Colado, V.M., Rotaru, D.C., Freire, M., Martinez-Ortiz, I., Fernandez-Manjon, B. (2018).
Learning analytics for location-based serious games. IEEE Global Engineering Education
Conference (EDUCON), DOI: 10.1109/EDUCON.2018.8363365.

Stenros, J., Montola, M., Wærn, A., & Jonsson, S. (2007). Play it for Real: Sustained Seamless
Life/Game Merger in Momentum. DiGRA Conference.

Sweetser, P. W., Wyeth, P. (2005). GameFlow: a model for evaluating player enjoyment in
games. Comput. Entertain. 3, 3 (July 2005), 3-3. DOI: [Link]

Yang, M.-J., Chen, J.-H., Chao, L. R., & Shih, T. K. (2009). Developing the Outdoor Game-
Based Learning Environment by Using Ubiquitous Technologies. Advanced Learning
Technologies, IEEE International Conference on, 270–272.
[Link]

301
5.8. Sitographie

Astic, I. (2013) - Jeu et société, jeu en société : le cas du jeu pervasif.

[Link] - repéré le 31 août 2016

Autotélisme. [Link] - repéré le 31 août 2019

Autotélisme-flow. [Link]
optimal-dapprentissage-contribution-de-la-recherche-empirique-sur-les-determinants-
psychologiques-de-lexperience-positive-subjective-aux-scienc/ - repéré le 30 août 2019

Gameflow. [Link] - repéré le 31 août 2019

302
Conclusion
« Le temps met tout en lumière ». Thalès

303
304
Chaque chapitre a constitué une étape marquante de mes travaux de recherche. Côtoyer l’humain
sous différents angles de vision : biologique, physiologique, psychologique… dans son
environnement, sa perception et son vécu, permet de mieux le comprendre, de répondre plus
précisément à ses attentes, d’entrer en harmonie voire en « homéostasie » avec lui. Vouloir lui
offrir du bonheur, le faire vibrer, lui procurer du rêve ou plus largement des émotions quelles
qu’elles soient est une de nos ambitions. L’humain est vraiment au cœur de notre projet même si
pour ce faire nous utilisons des technologies diverses portées par l’informatique et un univers un
peu restreint pour une meilleure appréhension et compréhension que sont les jeux.

Notre but : proposer une nouvelle Interaction Homme Environnement dans les jeux vidéo et
pervasifs avec rétroaction biologique et états émotionnels, a déclenché une vague de questions
telles que :

 Peut-on découvrir des états émotionnels à partir de mesures physiologiques issues de bio-
capteurs de contact ?

 Si oui, ces capteurs peuvent-ils être remplacés par des dispositifs distants, donc non
invasifs, et produire les mêmes résultats ?

En parvenant à des résultats, rien n’empêchera de concevoir cette nouvelle interaction Humain
Environnement avec rétroaction biologique adaptée.

Afin de mieux connaître l’humain sur le plan émotionnel, comportemental, nous avons pu entre-
apercevoir dans le chapitre 1 sur les émotions l’étendue des approches qui finalement forme un
tout. La partie sur les interactions, chapitre 2, devant être l’élément essentiel de communication
est en fait un pas dans l’orientation et la proposition d’une liaison nouvelle entre l’individu et son
environnement. Nos réflexions sur les dispositifs de remplacement a permis de mettre en avant
certains mécanismes comme des caméras spécialisées ou techniques pouvant potentiellement
satisfaire nos objectifs. Ces outils ont déjà été utilisés dans d’autres situations pour l’obtention de
mesures semblables aux nôtres. Bien évidemment, l’interdépendance entre les acteurs et le système
se matérialise par un réseau de communication décrit au chapitre 3. Là encore, plusieurs voies sont
ouvertes quant au choix des technologies et processus de mise en œuvre. Néanmoins, à minima,
nous disposons d’une architecture viable à optimiser. Ce réseau est fondamental pour la captation
des événements, des données et en particulier des données physiologiques. La considération de ce
type de mesures sélectionnées n’est pas arbitraire. Les mesures ont mûrement été sélectionnées et
évaluées pour leur potentialité à supporter la détection d'états émotionnels. Elles ont également été
305
retenues en fonction des dispositifs nécessaires d’acquisition aisée, à un coût raisonnable. Au
travers des données physiologiques, c’est l’humain qui parle sans détour, en toute inconscience, et
transmet des informations internes, traduction de son ressenti qu’il faut décrypter. C’est là qu’entre
en jeu l’analyse des données mise en œuvre au chapitre 4. Tout comme l’intelligence artificielle
nous offre des supports, des outils pour y aboutir.

Avant de dresser le bilan sur l’analyse de nos données, il est à signaler que, par exemple, pour le
recueil de toutes les informations, les technologies et techniques ont évolué depuis le moment où
nous les avons collectées puis utilisées. En effet, il existe aujourd’hui des outils gérant
automatiquement la synchronisation entre les différents logiciels et dispositifs hétérogènes de
captation. Nous avons dû réaliser cette synchronisation manuellement avec tous les risques que
cela comporte même en étant rigoureux, à savoir un décalage de temps, aussi infime puisse-t-il
être, pouvant se répercuter dans la lecture de la correspondance des événements aux mesures.
L’innovation est sans cesse un support dans l’évolution des découvertes et nous y sommes très
attentifs en matières de captation distante et de communication humaine.

Ceci étant dit, reprenons le fil concernant les données. Il a été nécessaire de faire des choix quant
aux techniques utilisées. Ces choix se sont opérés assez naturellement du fait de nos orientations.
En particulier, le mode non supervisé s’est imposé à partir du moment où nous avons décidé de
laisser parler les données afin d’éviter certains travers, comme l’interprétation abusive et orientée
des informations, même si parfois certains experts nous conseillaient vivement le mode supervisé.
Nous avons malgré tout maintenu le cap. La thèse a pris, à ce moment-là, un tournant différent de
celui envisagé à l'origine, de par le passage obligé par la fouille de données et le manque
d’expérience dans ce domaine. Ce travail a constitué une partie conséquente du temps passé à
l'achèvement de la thèse. Le but final des travaux est toujours d’actualité et la thèse n’est qu’une
étape dans une plus grande aventure transdisciplinaire. L’analyse des données physiologiques, à
l’aveugle, nous a mené à construire une méthodologie et à élaborer des algorithmes appropriés.
C’est ainsi que nous avons façonné une méthodologie fondée sur l’auto-apprentissage avec
l’algorithme de Kohonen et conçu une méthode hybride d’apprentissage profond pour la
classification de données de ce type. Nous avons obtenu des résultats encourageants qui ne sont
pas ceux escomptés mais qui nous confortent dans notre démarche qu’il faudra poursuivre. Les
conclusions actuelles portent sur la capacité à reconnaître des individus et le classement des
informations en états sans encore pouvoir explicitement les nommer. En effet, selon les
événements vécus, nous constatons que les données issues de la combinaison de différentes

306
mesures physiologiques traduisent des changements d’états. Nous avons déjà entrepris des actions
dans la continuité des techniques rapportées. Un article sur l’association des techniques de type
logique floue avec l’algorithme de Kohonen est en cours de finalisation.

A court terme, notre travail va consister en la finalisation de ce modèle en logique floue. A moyen
terme, nous continuerons l’étude à l’aide des chaînes de Markov cachées. Ces différentes méthodes
et techniques abordées ou créées seront comparées voire combinées dans le but de répondre à la
question de l’identification des états découverts. Grâce à cela, nous pourrons envisager l’utilisation
de dispositifs distants et étudier leur équivalence en terme de mesures, en pratiquant de nouvelles
expériences. Selon les résultats, à long terme, nous construirons tout l’environnement. Nous
reprendrons aussi l’analyse des données qualitatives afin de la juxtaposer à celle des données
quantitatives.

Dans l’état actuel du travail, des résultats obtenus et d’un point de vue plus prosaïque, toute
personne voulant aborder des données du même type que les nôtres peut appliquer nos méthodes
et algorithmes qui offrent de bons résultats de classification évitant certains biais.

A termes, ces travaux pourraient apporter une nouvelle approche dans la création et la conception
d’objets, d’outils, de technologies, d’applications … anthropocentrée et aussi à la connaissance de
soi pour une autre forme de communication. C’est l’ « esprit » de la vicariance155 d'Alain
Berthoz156, dans toutes ses dimensions et sans limite. La vicariance est « une grande propriété du
vivant, et en particulier du cerveau humain : celle de créer des solutions élégantes compatibles
avec nos croyances, nos projets, l’état de l’environnement, notre culture en somme ». « L’émotion
est un acteur de la vicariance ». Rien ne nous empêche d’envisager que l’activité électrique de
notre corps pourrait voyager librement comme dans (Nicolelis, 2011)157, être décryptée tels nos
signaux physiologiques associés à des états émotionnels pour une communication, une interaction
simplifiée par empathie158 ou sympathie159.

Les travaux menés dans cette aventure, que constitue cette thèse, ouvrent la voie à de nouvelles
études ou applications pouvant contribuer à l’analyse des données, de nouvelles interfaces,

155
« Cette vicariance, possibilité de remplacer une fonction par une autre ou de déléguer une fonction ou une
action à un avatar virtuel, est bien une stratégie essentielle qui permet à notre cerveau d’appréhender le monde
extérieur et de nous y adapter en permanence ». A. Berthoz
156
La vicariance – Le cerveau créateurs de mondes, Alain Berthoz, Editions Odile Jacob, 2013
157
Objectif télépathie, Miguel Nicolelis, Editions Flammarion, 2011
158
Se mettre à la place de l’autre sans ressentir ses émotions, se mettre à la place de l’autre en restant soi-même
159
Ressentir les émotions de l’autre sans se mettre à sa place
307
interactions Humain Machine, Humain Environnement, Humain Humain … et finalement à ce que
je nommerais l’affectique.

308
Annexes

309
310
Annexe 1 Tableau autour des émotions (Chapitre 1)

manifestation des Quantité d'énergie

Manifestations affectives
Affect émotions, des sentiments, pulsionnelle et de ses
bivalentes
de la motivation variations
réactions psychiques face à
l'extérieur. Deux sortes :
* de base, sentiments phénomènes affectifs, Les psychologues et
Affectivité vitaux, humeurs, émotions ensemble des sentiments physiologues distinguent
* organisée et différenciée, et émotions deux sortes d'affectivité
passions, sentiments
sociaux
Emotion correspond à un
ensemble de réponses de
Fonction cognitive, prépare forte intensité comportant
Emotion
l'organisme à l'action des manifestations
expressives physiologiques
et subjectives typiques
Situation déclenchante :
modifications
physiologiques, Après l'épisode
Episode émotionnel est une
Episode émotionnel modification de l'action, émotionnel, manifestations
émotion rémanente
modifications cognitives, de rémanence
modifications expressives,
modifications subjectives
Un état affectif soudain,
accompagné de
changements
Les états affectifs
Le sentiment désigne un physiologiques, ou qu'il est
Etat affectif recouvrent le concept
état affectif ressenti comme un état
d'émotion
affectif stable, sans
réactions physiologiques
soudaines.
« en ce qui concerne la vie
Climat mental, comme une de l’âme, il existe des
météo états déterminés par dépendances «
notre passé et expériences physiologiques » très
Etats d'âme Sentiment d'arrière-plan
antérieures affectives. profondes et qui, même,
Emotions au centre des pénètrent d’une certaine
états d'âme manière tous les processus
de conscience ». E. Husserl

Exprime le mouvement, le
Même schéma que
Etat émotionnel changement comme le
l'épisode émotionnel
passage d'un état à un autre

Selon hippocrate, les 4

grandes humeurs sont : le Niveau affectif et
Disposition de l'affectivité
Humeur sang, la bile jaune, la bile émotionnel de base variant
et du caractère
noire et la lymphe pour entre deux extrêmes
définir le tempérament
Activité par laquelle un
Fait appel aux sens
sujet fait l'expérience perception consciente,
physiologiques d'un
Perception d'objets ou de propriétés perception inconsciente ou
organisme, à ses capacités
présents dans son implicite ou subliminale
cognitives
environnement.
Phénomène par lequel une
stimulation physiologique
Etat de conscience plus
Sensation Produit une perception Emotion forte externe ou interne
affectif qu'intellectuel
provoque une réaction
spécifique
Ensemble des fonctions de
détection et de
Sensibilité Propriété d'adaptation Rôle sur la pensée discrimination des
caractéristiques physiques
ou chimiques des stimulus
Composante de l'émotion,
Synonyme d'émotion et
Etat affectif complexe, ce qui implique des
Faculté de sentir, affects ou aussi équivalent à état
assez stable, durable, fonctions cognitives Le sentiment renvoie à la
du domaine affectif, affectif
Sentiment concerne le moi ou autrui. Perception de l'état perception de l'état
décharge massive Durée plus longue que dans
Emotions conceptualisées physique du moment physiologique du moment
temporaire, durée longue l'émotion et teneur plus
déterminant un état affectif Sentiment différent de
complexe et plus nuancée
sensibilité

311
Annexe 2 : Différents schémas de processus émotionnels
(Chapitre 1)

[Link] - consulté le 30 juillet 2018

312
Annexe 3 : Différentes théories des émotions (Chapitre 1)

[Link] - consulté le 30 juillet 2018

[Link] - consulté le 30 juillet 2018

313
Annexe 4 : Le circuit des émotions (Chapitre 1)

[Link] - consulté le 5 août 2018

314
Annexe 5 : biais cognitifs (chapitre1)

Par Jm3 — Travail personnel, CC BY-SA 4.0, [Link] – consulté le 5 novembre 2017)

315
316
Annexe 1 : courbes d’apprentissage (Chapitre 4)
0.05 100

Training progress
0,001
mean distance to closest codebook

0,00095

0,0009

0,00085
vector

0,0008

0,00075

0,0007

0,00065

0,0006
0 20 40 60 80 100
iteration

0.05 500

Training progress
0,001
mean distance to closest codebook

0,0009

0,0008

0,0007
vector

0,0006

0,0005

0,0004
0 100 200 300 400 500
iteration

0.05 1000

Training progress
0,001
mean distance to closest codebook

0,0009

0,0008
vector

0,0007

0,0006

0,0005

0,0004
0 200 400 600 800 1000
iteration

317
0.5 100

Training progress
0,0009
mean distance to closest codebook

0,00085
0,0008
0,00075
0,0007
vector

0,00065
0,0006
0,00055
0,0005
0 20 40 60 80 100
iteration

0.5 500

Training progress
0,0009
mean distance to closest codebook

0,00085

0,0008

0,00075
vector

0,0007

0,00065

0,0006

0,00055

0,0005
0 100 200 300 400 500
iteration

0.5 1000

Training progress
0,0009
mean distance to closest codebook

0,00085

0,0008

0,00075
vector

0,0007

0,00065

0,0006

0,00055

0,0005
0 200 400 600 800 1000
iteration

318
0.8 100

Training progress
0,0009
mean distance to closest codebook

0,00085

0,0008

0,00075

0,0007
vector

0,00065

0,0006

0,00055

0,0005
0 20 40 60 80 100
iteration

0.8 500

Training progress
0,0009
mean distance to closest codebook

0,00085

0,0008

0,00075
vector

0,0007

0,00065

0,0006

0,00055

0,0005
0 100 200 300 400 500
iteration

0.8 1000

Training progress
0,0009
mean distance to closest codebook vector

0,00085

0,0008

0,00075

0,0007

0,00065

0,0006

0,00055

0,0005
0 200 400 600 800 1000
iteration

319
Annexe 2 : codes plot (Chapitre 4)
Premier cas

Codes plot

Respiration Temperature
GSR CFM

Codes plot

Respiration Temperature
GSR CFM

320
 Codes plot

Respiration Temperature
GSR CFM

Deuxième cas

Codes plot

Respiration Temperature
GSR CFM

321
 Codes plot

Respiration Temperature
GSR CFM

Codes plot

Respiration Temperature
GSR CFM

322
Troisième cas

Codes plot

Respiration Temperature
GSR CFM

Codes plot

Respiration Temperature
GSR CFM

323
 Codes plot

Respiration Temperature
GSR CFM

324
Annexe 3 : counts plot (Chapitre 4)
Premier cas

Counts plot Counts plot Counts plot

1000

600 1000
800

800
600
400
600

400
400
200
200
200

Deuxième cas

Counts plot Counts plot Counts plot

1200 1000

600 1000
800

800
600
400
600
400
400
200
200
200

Troisième cas

Counts plot Counts plot Counts plot

1000

600
600 800

600
400
400

400

200 200
200

325
Annexe 4 : Graphiques Xlstat des huit fichiers concaténés
(Chapitre 4)
Data : Classeur = XP_groupés_V2.xlsm / Feuille = 8_XP_copie_complétée_Data_Manq / Plage =
'8_XP_copie_complétée_Data_Manq'!$A$1:$D$310269 / 310268 lignes et 4 colonnes
Observation labels : Classeur = XP_groupés_V2.xlsm / Feuille =
8_XP_copie_complétée_Data_Manq / Plage =
'8_XP_copie_complétée_Data_Manq'!$E$1:$E$310269 / 310268 lignes et 1 colonne
R function author : Ron Wehrens and Johannes Kruisselbrin
Standardize data : Oui
Presentation times : 1000 / alpha(min) : 0.5 / alpha(max) : 0.01
Mode : online
xdim : 20 / ydim : 20 / Topology : Hexagonal / Neighborhood function : Gaussian / Toroidal :
Non

Training progress
0,01
mean distance to closest codebook vector

0,008

0,006

0,004

0,002

0
0 100 200 300 400 500 600 700 800 900 1000
iteration

326
327
Annexe 5 : carte d’apprentissage des 8 fichiers et projection des
6 individus un à un sur cette carte (Chapitre 4)
Visualisation de la carte d’apprentissage

Projection du 1er individu

Projection du 2e individu

328
Projection du 3e individu

Projection du 4e individu

Projection du 5e individu

329
Projection du 6e individu – expérience F

Projection du 6e individu – expérience N

Projection du 6e individu – expérience S

330
Annexe 6 : projection d’un nouvel individu (7) sur la carte apprise
des 8 fichiers (Chapitre 4)
Expérience F

Expérience N

Expérience S

331
Annexe 7 : étude avec les cinq fichiers et une même expérience
(Chapitre 4)
Carte SOM relative aux 5 fichiers (issus d’une même expérience suivie par cinq individus)

Projection du 1er sujet

Projection du 2e sujet

332
Projection du 3e sujet

Projection du 4e sujet

Projection du 5e sujet

333
Annexe 8 : visualisation bilan des onze fichiers (Chapitre 4)
La cartes SOM des 11 fichiers concaténés

Les cinq premiers individus projetés sur la carte apprise

334
La projection du 6e individu ayant participé à 3 expériences

La projection du 7e individu ayant participé à 3 expériences

335
Annexe 10 : plan d’expériences et questionnaires (Chapitre 4)

Méthodologie
Nous avons donc décidé de réaliser un certain nombre d'expérimentations afin de récupérer des
informations physiologiques et de les mettre en concordance avec les états émotionnels des
utilisateurs (à savoir des joueurs). Notre premier objectif est d'établir une grille générique d'états
émotionnels.
Pour ce faire, nous disposons d'un matériel fourni par la société TEA qui comprend un
convertisseur numérique-analogique, des capteurs physiologiques sans fil (fréquence cardiaque,
rythme et amplitude respiratoires, conductivité électrodermale et température). Un logiciel associé
CAPTIV permet l'acquisition des données et, en fonction d'un certain paramétrage, une première
analyse de ces données.
Le travail de base issu de ces mesures et analyses devrait nous permettre de lancer de nouvelles
expérimentations avec d'autres dispositifs.
Nous disposons également de deux autres dispositifs : un physioscan muni d’un pack émotionnel
et d’un casque neurosky. Le premier dispositif est utilisé avant et après les expériences. Le
Neurosky fait partie d’une des expériences.

Expérimentations

1. Identification du protocole
Objet de la recherche : permettre l'établissement d'une cartographie des émotions ou états
émotionnels à partir de bio signaux et observations.
Responsable : V. Gal
Support : humain
Calendrier : du 14/02/2014 au 09/03/2014
Liste des facteurs, des modalités et des études (lieux d'essais) :
. facteurs émotionnels,
. salle d'expérimentations = bureau aménagé

2. Thème de l'étude
Cette étude est menée suite aux résultats du projet PLUG non aboutis en ce qui concerne
l'acquisition des données physiologiques et de leur analyse faute de la non disponibilité de capteurs

336
professionnels et de matériau. Il est donc fondamental de réaliser les mesures qui s'imposent pour
nous permettre d'établir une classification associant les signaux et des états émotionnels.
Cette étape est indispensable, essentielle à la poursuite de la thèse. Elle constituera les fondements
du travail sur des échanges d'informations sans capteurs physiologiques.
Il n'existe pas actuellement de classification de ce type.
On trouve d'un côté des émotions classées selon différentes théories, des mesures physiologiques
relevées dans certaines expériences mais pas une association explicite des deux. Elle est plutôt
établie en terme de valence (« plaisant », « déplaisant » ou « positif », négatif »). Nous souhaitons
construire une grille, une cartographie associant plus précisément et exactement des données
physiologiques à différents états émotionnels.

3. Objectif
Nous souhaitons mettre en regard les données obtenues des capteurs, les images
enregistrées et les questionnaires recueillis des usagers.
Ensuite, ces données donneront lieu à des analyses en relation avec des techniques connues
grâce à une collaboration avec des chercheurs du laboratoire travaillant dans le domaine des
méthodes statistiques et d'apprentissage (MSDMA). La qualité des données sera aussi étudiée par
une autre équipe du laboratoire oeuvrant en Ingénierie des Systèmes d’Information et de Décision
(ISID).

4. Facteurs étudiés et à contrôler

Les facteurs à étudier sont les suivants :
GSR (Galvanic Skin Response) ou RED (résistance électrodermale) ou RPG (réponse
psycho-galvanique) ou AED (activité électrodermale) : variation de la résistance électrique de la
peau provoquée par l'activité des glandes sudoripares suite à une excitation sensorielle. L’activité
électrodermale étant sensible à de nombreux stimuli comme une forte émotion, une douleur, c’est
une méthode pertinente dans les réponses émotionnelles. L’unité de mesure est le micro Siemens
(µS).
. BPM (battements par minute) ou CFM : pulsation cardiaque ou fréquence cardiaque. Il
s’agit d’une variable sensible à de nombreuses stimulations et en particulier émotionnelles. L’unité
de mesure est le battement par minute (BPM).
. Respiration : % de déformation lié à l'amplitude respiratoire. Cette variable peut nous
renseigner sur l’adaptation de l’organisme face à des stimuli donnés. La fréquence respiratoire
(FR) correspond au nombre d’inspirations et d’expirations par minute.
. T° : la température cutanée des extrémités. Les doigts sont une zone très innervée. L’unité
de mesure est le degré Celsius (°C).
Ces facteurs sont étudiés en corrélation, si besoin est, avec les images faciales et actions
sur écran enregistrées afin de les infirmer ou confirmer.

337
 C'est l'étude de ces facteurs et leurs combinaisons qui devraient nous indiquer l'état
émotionnel dans lequel se trouve le sujet à chaque instant.

5. Matériel expérimental
 un PC utilisateur avec logiciels jeux et applications (CyberLink YouCam, CamStudio
Recorder)
 un PC central avec un logiciel de capture des données liées aux capteurs physiologiques
CAPTIV (connexions sans fil)
 les capteurs de la société TEA (GSR, T°, respiration, CFM)
 un physioscan fonctionnant sur le principe d’ondes électromagnétiques et disposant d’un
logiciel dédié comprenant différents modules dont un pack émotionnel
 un casque neurosky fonctionnant à partir des ondes cérébrales avec lequel nous avons
exécuté l’application Mindwave Mobile
 des enceintes
 des questionnaires et documents de droit et de sécurité
 un local pour l'expérimentation
 un minuteur
 un nécessaire de nettoyage des éléments utilisés par les différents utilisateurs
 des petits cadeaux pour participation

6. Dispositif expérimental ou d'échantillonnage

Quatre matériaux ont été créés :
. un film d’une durée de 25 minutes contenant une succession d'images et d'extraits
de films avec des temps calmes et des temps forts pour les stimulus
. une expérience de concentration/méditation associée au casque neurosky fixée en
temps à 10 minute par le biais d’une minuterie
. un petit jeu vidéo court en temps et de type ambiance (scp)
. un jeu plutôt de stratégie bornée à 20 minutes : le jeu de la molécule
338
 Chaque matériau constitue le support de prise de données : physiologiques, images,
réponses.

7. Variables mesurées
Une seule cible visée : toute personne à partir de 16 ans. Ceci correspond à notre variable
indépendante.
Nos variables dépendantes sont les valeurs issues des capteurs et casque.

8. Mise en œuvre
Les expérimentations ont été réalisées sur trois semaines. Le calendrier s'est établi en
fonction des disponibilités des personnes volontaires. Notre dispositif matériel étant en un seul
exemplaire, il était possible de passer une seule personne à la fois toutes les heures environ.
23 personnes se sont présentées et ont participé aux expériences. Chacune d’entre-elles avait le
choix entre une voire quatre expériences en fonction de ses disponibilités. Nous avons recueilli les
données en continu de 67 expériences au total, d’une durée allant de 5 à 25 minutes chacune.
Les expériences se déroulaient dans une pièce dont les fenêtres étaient couvertes afin d’éviter les
reflets sur l’écran du PC. Chaque personne était informée par écrit et oralement du déroulement
des opérations, signait un document de présentation de l’expérimentation, de droit à l’image et
d’information sur la santé et la sécurité. Elle pouvait interrompre l’expérience à tout moment.
Les capteurs étaient positionnés sur chaque sujet qui prenait place sur une chaise face à une table
sur laquelle étaient posés un ordinateur et des enceintes d’où partaient les stimuli.
Après chaque expérience, un questionnaire était rempli au vu des réponses des sujets par le meneur
ou une tierce personne.
Ces questionnaires ont été établis avec des questions filtres, des questions à échelle d’évaluation
(Likert), des questions ouvertes, des questions dichotomiques et des questions fermées. Ces types
de questions sont utilisés en psychologie, en sociologie.

9. Traitement statistiques et analyses des données obtenues

Durant l'expérimentation, les données reçues en temps réel des capteurs pouvaient être
surveillées. Si un capteur était défaillant, aucune action n’était entreprise afin de ne pas perturber
le sujet et biaiser les résultats. Ces éléments seront pris en compte dans l’analyse.
Toutes les informations ont été enregistrées et classées dans des répertoires afin d'être analysées.

Les tableaux ci-dessous illustrent ces enregistrements.

339
Start time : 09/02/2013 [Link]
Frequency : 32 Hz
Unit : %

Start time : 09/02/2013 [Link]

Frequency : 32 Hz
Unit : uS

Start time : 09/02/2013 [Link]

Frequency : 32 Hz
Unit : °

Start time : 09/02/2013 [Link]

Frequency : 16 Hz
Unit : BPM

Respiration GSR Temperature CFM Respiration GSR Temperature CFM Respiration GSR Temperature CFM Respiration GSR Temperature CFM Respiration GSR Temperature CFM
-18,67 -28,88 21,847 85 -18,67 -28,34 21,847 82 -18,67 -27,89 21,847 80 … … … … -18,67 -28,93 21,835 94
-18,67 -28,84 21,86 85 -18,67 -28,34 21,847 82 -18,67 -27,88 21,847 80 -18,67 -29 21,86 88 -18,67 -28,93 21,835 93
-18,67 -28,8 21,86 85 -18,67 -28,33 21,847 82 -18,67 -27,87 21,847 80 -18,67 -29 21,847 88 -18,67 -28,92 21,835 93
-18,67 -28,77 21,847 85 -18,67 -28,33 21,86 82 -18,67 -27,87 21,847 78 … … … … -18,67 -28,92 21,835 93
-18,67 -28,73 21,86 85 -18,67 -28,32 21,847 82 … … … … -18,67 -29,02 21,847 89 -18,67 -28,9 21,847 93
-18,67 -28,68 21,847 85 … … … … -18,67 -27,87 21,847 78 -18,67 -29,03 21,847 89 … … … …
-18,67 -28,63 21,86 85 -18,67 -28,14 21,847 75 -18,67 -27,85 21,847 78 -18,67 -29,03 21,847 89 -18,67 -28,6 21,835 88
-18,67 -28,59 21,847 85 -18,67 -28,14 21,847 75 -18,67 -27,85 21,847 78 -18,67 -29,04 21,847 89 -18,67 -28,59 21,835 88
-18,67 -28,57 21,847 85 -18,67 -28,13 21,847 75 -18,67 -27,84 21,847 78 -18,67 -29,04 21,847 89 -18,67 -28,59 21,835 88
-18,67 -28,57 21,86 85 -18,67 -28,13 21,86 75 -18,67 -27,84 21,847 78 -18,67 -29,04 21,847 90 -18,67 -28,58 21,835 87
-18,67 -28,55 21,847 85 -18,67 -28,13 21,847 75 -18,67 -27,84 21,847 78 -18,67 -29,04 21,86 90 -18,67 -28,57 21,835 87
-18,67 -28,55 21,847 85 -18,67 -28,03 21,86 75 -18,67 -27,84 21,847 78 -18,67 -29,04 21,847 90 -18,67 -28,55 21,835 87
-18,67 -28,54 21,847 85 -18,67 -28,03 21,847 75 -18,67 -27,83 21,847 78 -18,67 -29,04 21,847 92 -18,67 -28,54 21,835 87
-18,67 -28,54 21,86 85 … … … … … … … … -18,67 -29,05 21,847 92 -18,67 -28,54 21,835 87
-18,67 -28,54 21,847 85 -18,67 -28,02 21,847 76 -18,67 -27,84 21,847 76 -18,67 -29,05 21,847 92 -18,67 -28,53 21,847 87
-18,67 -28,54 21,86 85 -18,67 -28,02 21,847 76 -18,67 -27,84 21,847 76 -18,67 -29,04 21,847 92 -18,67 -28,52 21,835 87
-18,67 -28,53 21,847 85 -18,67 -28,02 21,86 76 -18,67 -27,84 21,847 76 -18,67 -29,04 21,847 92 … … … …
-18,67 -28,52 21,847 85 -18,67 -28,02 21,847 76 … … … … -18,67 -29,04 21,847 92 -18,67 -28,43 21,835 85
-18,67 -28,5 21,847 85 … … … … -18,67 -27,83 21,847 73 -18,67 -29,04 21,847 92 -18,67 -28,42 21,835 85
-18,67 -28,49 21,86 85 -18,67 -27,98 21,847 78 -18,67 -27,82 21,86 73 -18,67 -29,04 21,847 93 -18,67 -28,42 21,835 85
-18,67 -28,49 21,847 85 -18,67 -27,97 21,847 78 -18,67 -27,82 21,86 73 -18,67 -29,04 21,847 93 -18,67 -28,4 21,835 85
-18,67 -28,49 21,86 84 -18,67 -27,97 21,86 78 -18,67 -27,82 21,847 73 -18,67 -29,03 21,847 93 -18,67 -28,39 21,835 85
-18,67 -28,48 21,847 84 -18,67 -27,97 21,847 78 -18,67 -27,83 21,847 73 -18,67 -29,03 21,847 94 -18,67 -28,38 21,835 85
-18,67 -28,48 21,847 84 -18,67 -27,97 21,847 78 -18,67 -27,83 21,847 73 -18,67 -29,02 21,847 94 -18,67 -28,38 21,847 85
-18,67 -28,48 21,86 84 -18,67 -27,97 21,847 78 -18,67 -27,84 21,86 70 -18,67 -29,03 21,847 94 -18,67 -28,37 21,835 81
-18,67 -28,47 21,847 84 … … … … -18,67 -27,84 21,847 70 -18,67 -29,02 21,835 94 -18,67 -28,35 21,847 81
-18,67 -28,47 21,86 84 -18,67 -27,92 21,847 79 … … … … -18,67 -29,02 21,847 94 -18,67 -28,34 21,847 81
-18,67 -28,45 21,86 84 -18,67 -27,92 21,847 79 -18,67 -27,93 21,847 66 -18,67 -29,02 21,847 95 -18,67 -28,33 21,847 81
-18,67 -28,45 21,847 84 -18,67 -27,92 21,847 79 -18,67 -27,93 21,847 66 -18,67 -29,02 21,835 95 -18,67 -28,32 21,835 81
… … … … … … … … -18,67 -27,93 21,86 66 -18,67 -29,02 21,847 95 -18,67 -28,3 21,847 81
-18,67 -28,35 21,847 84 -18,67 -27,9 21,847 80 -18,67 -27,92 21,847 66 -18,67 -29,02 21,835 95 -18,67 -28,29 21,847 81
-18,67 -28,35 21,847 82 -18,67 -27,9 21,847 80 -18,67 -27,92 21,847 66 -18,67 -29 21,847 95 -18,67 -28,28 21,847 81
-18,67 -28,34 21,86 82 -18,67 -27,89 21,847 80 -18,67 -27,92 21,847 66 … … … … … … … …

340
Les données qualitatives ne sont pour l’instant pas exploitées. Nous avons également recueilli des
informations avant et après expériences à partir du pack émotionnel du physioscan. Ces données
sont en cours d’extraction. Elles se présentent sous la forme suivante pour les « émotions –
peurs » :

Des questionnaires, comme celui ci-dessous, ont été remplis par un intervieweur après chaque
expérience.

341
Tous ces éléments seront aussi analysés ultérieurement tout comme les données relatives aux
« humeurs – états d’âme » et aux « pensées positivantes ».

10. Détermination du personnel nécessaire

Les personnes nécessaires à la mise en place de ces expérimentations sont :
. un gestionnaire du projet : une personne
. une aide aux questionnaires : une personne
. la participation éventuelle d'une personne du sexe opposé suivant les sujets pour
l'installation des capteurs sur le torse.

342
Annexe 11 : neurone biologique (chapitre 4)
En biologie, il existe plus de deux cents sortes de cellules nerveuses soutenues par les cellules
gliales ou glie qui les nourrissent, les protègent et jouent sans doute d’autres rôles en relation avec
la transmission d’information. Les neurones de même type ont souvent la même fonction et une
même localisation. Les classements se font sur leurs critères anatomiques.
Un neurone biologique présente les éléments suivants :
 Les dendrites modifient la quantité d’influx nerveux se dirigeant vers le noyau
 Le soma ou corps cellulaire participe aux réactions électrochimiques avec le noyau
 Le noyau contrôle les réactions électrochimiques
 L’axone transporte l’influx vers les synapses
 Les synapses transmettent l’influx nerveux de l’axone vers d’autres cellules grâce aux
neurotransmetteurs
 Une taille
 Des critères fonctionnels :
o Sensitifs ou afférents (circulation des informations des organes des sens vers le
SNC)
o Moteurs ou efférents (circulation des informations du SNC vers les effecteurs)

Structure d’un neurone biologique

[Link] - consulté le 16 décembre 2017
Les neurones ne sont pas tous directement liés à un organe ou un muscle. Dans ce cas, ils sont
appelés neurones d’association ou inter-neurones (entre neurones sensitifs et neurones moteurs).
En bout d’axone, des boutons synaptiques terminent l’arborisation. Chacun de ces boutons peuvent
être en contact avec une dendrite, un soma ou un autre axone. Il existe un espace à ce niveau qui
constitue la fente synaptique.
Un neurone collecte des signaux de différentes sources, intègre ces signaux et distribue
l’information par l’émission de signaux électrochimiques.
343
La zone de réception correspond à la partie des dendrites. Les messages reçus sont traités au niveau
du soma que l’on nomme zone d’intégration et qui génère des signaux bioélectriques. La
propagation de l’impulsion électrique se fait le long de l’axone qui est la zone de conduction. Et,
enfin, la zone de transmission au niveau des terminaisons axoniques ou axonales, soit des boutons
synaptiques, communique l’impulsion électrique à d’autres neurones. Quand le neurone
biologique devient actif, un influx nerveux s’y propage, on parle de potentiel d’action. C’est
l’excitation. Sinon, on parle de potentiel de repos ou d’inhibition.
« La stimulation en un point de la membrane d'un élément excitable, entraînant une dépolarisation
membranaire suffisante (valeur seuil), provoque l'apparition d'un potentiel d'action (PA). Ce PA
est une inversion brutale et transitoire du potentiel de membrane, qui obéit à la loi du tout
ou rien et se propage sans atténuation, de manière autonome, tout au long de la membrane de
l'élément excité »160.
« Ce potentiel d'action est un phénomène électrique qui présente deux caractéristiques fondamentales :

 A partir de la valeur seuil de dépolarisation, toute augmentation ultérieure de l'amplitude

de la stimulation n'apporte aucun changement dans la réponse observée : le PA obéit à la
loi du tout ou rien. Si le seuil de dépolarisation n'est pas atteint, il n'apparaît pas. Si le
seuil est atteint, la réponse est maximale d'emblée.
 Emis en un point de l'axone, il se propage sans atténuation tout au long de la
fibre »161.

160
et 12 [Link] - consultée le 21 janvier 2017

344
Annexe 12 : extrait programme R – carte Kohonen sur 8
expériences (chapitre 4)

Constitution de la carte

345
Visualisation de différents graphes

346
Exemple de projection d’un individu sur la carte apprise

347
348
Annexe 13 : extrait programme Python – Mélange Gaussien,
SVR (chapitre 4)

Mélange Gaussien pour EMDeep

349
350
351
SVR pour EMDeep - extrait

352
353
354
355
 Viviane GAL

Vers une nouvelle Interaction Homme Environnement dans

les jeux vidéo et pervasifs : rétroaction biologique et états
émotionnels
Apprentissage profond non supervisé au service de l’affectique

Résumé
Vivre des moments exceptionnels, connaître des sensations fortes, du bien-être, nous épanouir, font souvent
partie de nos rêves ou aspirations. Nous choisissons des moyens divers pour y arriver comme le jeu. Que le
joueur recherche l’originalité, les défis, la découverte, une histoire, ou d’autres buts, ce sont des états émotionnels
qui sont l’objet de sa quête. Il attend que le jeu lui procure du plaisir, des sensations. Comment les lui apporter ?
Mettre au point une nouvelle interaction humain environnement, dans les jeux vidéo ou pervasifs ou autres
applications, prenant en compte et s’adaptant aux émotions de chacun, sans être gêné par les interfaces,
biocapteurs de contact par exemple, est notre objectif. Cela soulève deux questions :
 Peut-on découvrir des états émotionnels à partir de mesures physiologiques issues de biocapteurs de contact ?
 Si oui, ces capteurs peuvent-ils être remplacés par des dispositifs distants, donc non invasifs, et produire les
mêmes résultats ?
Les modèles mis au point proposent des solutions à base de méthodes mathématiques d’apprentissage non
supervisées. Nous présentons aussi des moyens de mesures à distance et expliquons les futurs travaux dans le
domaine que nous baptisons affectique.

Mots-clés : Etats émotionnels, affectique, interaction humain environnement, apprentissage non supervisé,
capteurs physiologiques, jeux vidéo et pervasifs, cartes de Kohonen, EMDeep, réseau sans fil, intelligence
ambiante

Abstract
Living exceptional moments, experiencing thrills, well-being, blooming, are often part of our dreams or
aspirations. We choose various ways to get there like games. Whether the player is looking for originality,
challenges, discovery, a story, or other goals, emotional states are the purpose of his quest. He remains until the
game gives him pleasure, sensations. How bring them there? We are developing a new human environment
interaction that takes into account and adapts to emotions. We address video or pervasive games or other
applications. Through this goal, players should not be bothered by interfaces, or biosensors invasivness. This
work raises two questions:
 Can we discover emotional states based on physiological measurements from contact biosensors?
 If so, can these sensors be replaced by remote, non-invasive devices and produce the same results?
The models we have developed propose solutions based on unsupervised machine learning methods. We also
present remote measurements technics and explain our future works in a new field we call affectics.

Keywords: Emotional states, affectics, human environment interaction, unsupervised learning, physiological
sensors, video and pervasive games, Kohonen maps, EMDeep, wireless network, ambient intelligence