Rapport de Projet: Outil d’analyse
d’un suivi du regard pour l’étude des
performances d’un clavier
Auteur: Ilyass Tran
Date: 31 Mai 2024
Encadrant : Mathieu Raynal
Université Toulouse III - Paul Sabatier
Abstract
Ce rapport présente le développement d’un outil d’analyse basé sur un eye tracker pour
étudier les performances d’un clavier. Le projet se divise en deux phases principales :
une phase d’entraı̂nement et de manipulation, suivie par la phase de travail principale
consistant en l’intégration des données de l’eye tracker dans des fichiers XML générés par
un projet de clavier. Les résultats incluent la capture des coordonnées de l’œil et leur
visualisation en temps réel, ainsi que l’enregistrement et la relecture des données pour
l’analyse.
Contents
1 Introduction 2
2 Objectifs du projet 3
3 Méthodologie 4
3.1 Récupération des coordonnées de l’eye tracker . . . . . . . . . . . . . . . . 4
3.2 Visualisation du regard avec JFrame et JPanel . . . . . . . . . . . . . . . . 5
3.3 Méthode de moyenne mobile . . . . . . . . . . . . . . . . . . . . . . . . . . 5
3.4 Adaptation des coordonnées à la dimension de l’écran . . . . . . . . . . . . 6
3.5 Contrôle de la souris avec les yeux . . . . . . . . . . . . . . . . . . . . . . . 6
4 Travail principal 8
4.1 Intégration des données de l’eye tracker dans le projet de clavier . . . . . . 8
4.2 Ajout des coordonnées de l’eye tracker dans le fichier XML . . . . . . . . . 8
4.3 Système de relecture du fichier XML . . . . . . . . . . . . . . . . . . . . . 9
5 Résultats 10
6 Discussion 11
7 Conclusion et perspectives 12
A Annexe 14
A.1 Code source . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1
Chapter 1
Introduction
Ce projet a été effectué sous la supervision de Mathieu Raynal dans le cadre du projet 3
en L3 MIDL. L’objectif de ce projet est de développer un outil d’analyse d’un suivi du
regard pour évaluer les performances de deux types de claviers ayant pour but d’accélérer
leur utilisation à l’aide de prédiction de mots. Cette technologie permet de capturer les
mouvements des yeux et de les utiliser pour différentes applications, notamment dans
l’évaluation ergonomique des dispositifs d’entrée tels que les claviers. Ce rapport fait
un survol des notions étudiées lors de la phase d’entraı̂nement, il poursuit ensuite sur
l’application de ces manipulations sur le projet du clavier et se termine sur la présentation
des résultats ainsi que des discussions concernant les choix implémentations.
(a) Premier clavier (b) Second clavier
Figure 1.1: Illustration des deux types de clavier
2
Chapter 2
Objectifs du projet
Les objectifs principaux de ce projet sont :
• Capturer et visualiser les coordonnées des mouvements oculaires.
• Adapter les coordonnées à la dimension de l’écran.
• Améliorer la précision du suivi du regard.
• Intégrer ces données avec les informations de touches pressées fournies par un clavier.
• Enregistrer ces informations dans un fichier XML pour une analyse ultérieure.
3
Chapter 3
Méthodologie
3.1 Récupération des coordonnées de l’eye tracker
Pour commencer, il a été nécessaire de se familiariser avec la récupération des coordonnées
fournies par l’eye tracker. Cela impliquait l’utilisation de bibliothèques spécifiques et la
manipulation des données brutes. Pour cela, je devais récupérer et afficher en direct les
coordonnées de l’eye tracker sur la console.
4
3.2 Visualisation du regard avec JFrame et JPanel
Une interface graphique a été développée en utilisant Java, JFrame et JPanel. Un cercle
représentait la position du regard sur l’écran, permettant de visualiser les données en
temps réel. Voici un aperçu de ce rendu :
3.3 Méthode de moyenne mobile
Pour améliorer la précision des coordonnées capturées par l’eye tracker, une méthode de
moyenne mobile a été mise en œuvre. Cette technique permet de lisser les données en
atténuant les fluctuations rapides, ce qui est essentiel pour obtenir une représentation plus
stable du regard de l’utilisateur sur l’écran.
La moyenne mobile fonctionne en calculant la moyenne des positions précédentes de
manière progressive à mesure que de nouvelles données sont capturées. Plus précisément,
pour chaque nouvelle position du regard capturée, la moyenne mobile recalcule la position
moyenne en utilisant un nombre spécifié de points de données antérieurs. Par exemple,
si l’on choisit une fenêtre de moyenne mobile de 5 points, chaque nouvelle position du
regard est remplacée par la moyenne des cinq dernières positions enregistrées.
Cela permet de filtrer les mouvements oculaires rapides et les tremblements mineurs,
produisant ainsi une trajectoire du regard plus lisse et plus représentative. Ce processus
est illustré dans la figure ci-dessous :
L’efficacité de cette méthode dépend du choix approprié du nombre de points de
données à utiliser pour le lissage, ainsi que de la fréquence à laquelle ces données sont
mises à jour. Une fenêtre trop petite pourrait ne pas lisser suffisamment les fluctuations,
tandis qu’une fenêtre trop grande pourrait introduire un retard excessif dans la réponse
du système.
En résumé, la moyenne mobile est une technique robuste pour améliorer la précision
et la lisibilité des données d’eye tracking, assurant ainsi une évaluation plus précise et
cohérente de l’interaction de l’utilisateur avec le clavier.
5
Figure 3.1: Visualisation du regard en temps réel avec un eye tracker
3.4 Adaptation des coordonnées à la dimension de
l’écran
Les coordonnées de l’eye tracker ont dû être adaptées aux dimensions de l’écran pour
assurer une correspondance précise entre les mouvements oculaires et leur représentation
visuelle.
3.5 Contrôle de la souris avec les yeux
Des exercices ont été réalisés pour contrôler le curseur de la souris avec les yeux et simuler
un clic. Cela a permis de valider la précision et la réactivité du système.
6
Figure 3.2: Illustration de la méthode de moyenne mobile
Figure 3.3: Précision de la méthode de moyenne mobile sur l’exercice du curseur de la
souris
7
Chapter 4
Travail principal
4.1 Intégration des données de l’eye tracker dans le
projet de clavier
Le projet de clavier existant générait un fichier XML contenant des informations sur les
touches pressées. Il a été modifié pour inclure les coordonnées de l’eye tracker toutes les
20 millisecondes.
4.2 Ajout des coordonnées de l’eye tracker dans le
fichier XML
Un script a été développé pour ajouter les coordonnées oculaires au fichier XML. Cela
impliquait de synchroniser les données du clavier et de l’eye tracker.
Figure 4.1: Illustration d’une partie d’un fichier XML
8
4.3 Système de relecture du fichier XML
Un système de relecture a été mis en place pour visualiser les mouvements oculaires
en fonction des touches pressées. Ce système permet d’analyser la relation entre les
mouvements des yeux et l’utilisation du clavier. L’implémentation du système de relecture
a été structurée en plusieurs étapes. Tout d’abord, les données brutes capturées par
l’eye tracker sont enregistrées en temps réel dans un fichier XML. Chaque enregistrement
contient les coordonnées du regard et l’heure à laquelle elles ont été capturées, ainsi que
les informations sur les touches du clavier pressées. Ensuite, un module de lecture XML
a été développé pour extraire les données enregistrées. Ce module analyse le fichier XML
pour extraire les coordonnées du regard. Les données sont ensuite organisées pour être
visualisées sous forme de graphique interactif, montrant les mouvements oculaires.;
Normalisation des coordonnées
Dans le cadre de ce projet, la normalisation des coordonnées de l’eye tracker a été une
étape cruciale pour assurer une correspondance précise entre les positions enregistrées du
regard et la surface de l’écran. La normalisation consiste à adapter les coordonnées brutes
capturées par l’eye tracker aux dimensions spécifiques de l’écran utilisé, garantissant ainsi
que les points de regard correspondent correctement aux éléments affichés à l’écran.
Pourquoi la normalisation est-elle nécessaire ?
Les données de l’eye tracker sont initialement capturées dans un espace de coordonnées
brutes qui ne tient pas nécessairement compte des dimensions physiques de l’écran sur
lequel le regard est dirigé. Sans normalisation, ces coordonnées brutes peuvent être
décalées ou incorrectement proportionnées, rendant difficile toute analyse précise des
points de fixation du regard en relation avec les éléments d’interface. Plus particulièrement,
l’eye tracker utilisé dans mon stage est le Tobii 4c et ses coordonnées sont définies dans
[0,1]². Par conséquent, je devais multiplier les coordonnées x et y par la hauter et la
largeur de l’écran utilisé.
9
Chapter 5
Résultats
Les résultats obtenus montrent une capture précise des mouvements oculaires et leur
enregistrement efficace dans le fichier XML. La relecture des données permet une analyse
détaillée de l’interaction entre l’utilisateur et le clavier.
Figure 5.1: Visualisation du regard en temps réel avec un eye tracker
10
Chapter 6
Discussion
Les résultats indiquent que l’outil développé est capable de capturer et d’analyser effi-
cacement les mouvements des yeux en relation avec les pressions de touches. Toutefois,
des améliorations peuvent être apportées, notamment en termes de précision et de temps
de traitement.
Par exemple, les tests effectués sur les claviers se font sur des petites fenêtres avec
une taille variant selon l’écran utilisé. Ce détail m’a ralenti sur la mise à l’échelle lors du
replay car la dimension de la fenêtre de replay est différente. Pour palier à ce problème
j’ai choisi de modifier la taille de la fenêtre des tests afin qu’elle soit en pleine écran. De
cette manière, en mettant aussi celle du replay en pleine écran, j’ai pu très facilement
convertir les dimensions de tests en dimension de replay.
Pour améliorer mon système de replay, il aurait été intéressant d’ajouter à l’écran les
actions de clavier et de prédiction afin de mieux discerner ce que l’utilisateur regarde.
11
Chapter 7
Conclusion et perspectives
Ce projet a démontré la faisabilité d’utiliser un eye tracker pour évaluer la qualité d’un
clavier. Les prochaines étapes pourraient inclure l’amélioration de la précision des données
et l’extension des fonctionnalités de l’outil pour d’autres applications ergonomiques.
12
Bibliography
[1] Lamport, Leslie. LaTeX: A Document Preparation System. Addison Wesley, 1994.
[2] Einstein, Albert. Relativity: The Special and General Theory. Princeton University
Press, 1920.
13
Appendix A
Annexe
A.1 Code source
Vous pouvez inclure ici le code source pertinent, les configurations et autres informations
techniques supplémentaires.
14
