3D Gesture Recognition For Natural Human Robot Interaction

2015

Dans ce papier, nous proposons une methode de reconnaissance 3D des gestes pour l’interaction homme robot (HRI) basee sur l’information de profondeur fournie par la Kinect. Le suivi du corps est realise avec l’algorithme Skeleton fourni par le Kinect SDK. L’idee de ce travail est de calculer les angles des articulations de la partie supe- rieure du corps durant l’execution du geste. Les variations de ces angles seront les entrees des Modeles de Markov Caches afin de reconnaitre les gestes dynamiques. Les re- sultats montrent que notre methode est tres robuste ; elle necessite peu de pretraitements et n’est pas influencee par les conditions de l’environnement comme les changements d’eclairage et la complexite de la scene.

2018

Dans cette thèse, nous traitons le problème de la reconnaissance des gestes dans un contexte d'interaction homme-robot. De nouvelles contributions sont apportées à ce sujet. Notre système consiste à reconnaitre les gestes humains en se basant sur une méthode d'analyse de mouvement qui décrit le geste humain d'une manière précise. Dans le cadre de cette étude, un module de niveau supérieur est intégré afin de reconnaître les émotions de la personne à travers le mouvement de son corps. Trois approches sont réalisées : la première porte sur la reconnaissance des gestes dynamiques en appliquant le modèle de Markov caché (MMC) comme méthode de classification.Un descripteur de mouvement local est implémenté basé sur une méthode d'analyse de mouvement,nommée LMA (Laban Movement Analysis) qui permet de décrire le mouvement de la personne dans ses différents aspects. Notre système est invariant aux positions et orientations initiales des personnes.Un algorithme d'échantil...

HAL (Le Centre pour la Communication Scientifique Directe), 2013

Dans cet article nous comparons deux approches pour la reconnaissance de gestes en 2D et en 3D. La première exploite les points d'intérêt spatio-temporels où chaque séquence est décrite par des histogrammes de flux optique locaux. La reconnaissance est effectuée par une machine à vecteur support (SVM). La deuxième approche consiste à utiliser la trajectoire 3D de la main acquise à l'aide d'un capteur Kinect et la reconnaissance est effectuée par déformation temporelle dynamique (DTW). Nous comparons les deux approches en étudiant leurs limitations, l'efficacité de chacune en termes de taux de reconnaissance et de temps de calcul.

2006

Nous proposons un prototype permettant d'interagir de façon gestuelle avec des applications. Nous nous intéressons particulièrement aux déplacements et déformations d'objets 3D mais avons bati ce prototype afin de permettreégalement les interactions 2D. Dans uneétude utilisateurs préliminaire, basée sur un magicien d'Oz, nous avons tenté de dégager des gestes intuitifs. Nous avons ensuite développé ce prototype afin de pouvoir faire de réelleś etudes.

Rapport de DEA, Irccyn

2011

The purpose of this thesis is to propose and evaluate a markerless system for capturing hand movements in real time to allow 3D interactions in virtual environment (VE). Tools such as keyboard and mouse are not enough for interacting in 3D VE; current motion capture systems are expensive and require wearing equipments. Systems based on cameras and image processing partially fill these gaps, but do not yet allow an accurate, efficient and real-time 3D motion capture. Our system provides a solution to this problem with a 3D camera. We have implemented modalities that allow a more natural interaction with objects and VE. The goal of our system is to obtain performances at least equal to those of common tools in virtual reality while providing a better overall acceptability (i.e., usefulness, usability, immersion). To achieve this goal, we conducted three experimental studies involving over 100 participants. With the first study, we compared the first version of our system (based on a 3...

HAL (Le Centre pour la Communication Scientifique Directe), 2014

La reconnaissance d'actions humaines dans des séquences vidéo 3D est un problème important, actuellement au coeur de nombreux domaines de recherche comme la vidéo surveillance, les interfaces Homme-Machine et la rééducation. Le développement d'algorithmes de reconnaissance d'actions précis et efficaces est une tâche difficile à cause des fortes variabilités des formes humaines, des vêtements et du mouvement. Dans ce papier, nous proposons un nouvel outil permettant de représenter de manière compacte, de comparer et de reconnaître des actions humaines capturées à partir de caméras de profondeur. Dans un premier temps, les coordonnées 3D de chaque articulation du squelette humain sont considérées comme une chaîne de mouvement. L'évolution spatiale et temporelle de ce vecteur caractéristique est ensuite représentée par une trajectoire dans l'espace des actions. Grâce à cette représentation basée sur les articulations 3D, nous sommes capable de capturer simultanément aussi bien l'apparence géométrique du corps humain que sa dynamique au cours du temps. Le problème de reconnaissance d'actions est ensuite formulé comme un problème de recherche de similarités entre la forme des trajectoires dans une variété riemannienne. La classification par l'algorithme des k-plus-proches-voisins est ensuite effectuée sur la variété pour bénéficier de la géométrie riemannienne dans l'espace des formes. Notre méthode est évaluée sur deux bases de données publiques. En comparaison avec les méthodes existantes dans l'état de l'art, les résultats obtenus montrent l'efficacité de l'approche proposée avec un taux supérieur à 91% sur les deux bases de données.

2011

Les methodes s'appuyant sur une base de donnees pour suivre un grand nombre de postures de la main necessitent une base importante de gestes. Cet article presente une nouvelle methode de suivi utilisant une base de donnees construite a partir d'un nombre reduit de gestes de la main pour suivre et reproduire les mouvements de la main. La base de donnees est construite a partir de nuages de points 3D representant les gestes de la main. Une analyse en composante principale (ACP) est appliquee a chaque nuage de points permettant de produire une nouvelle representation independante de la position et de l'orientation 3D de chaque nuage de points. Ceci permet d'obtenir une classification des gestes ou chaque element de la base represente une classe de gestes 3D de la main. Une fois la base construite, le suivi des mouvements de la main consiste alors a apparier chaque image en entree avec un geste de la base de donnees. Pour cela, la methode proposee explore la base de gest...

www-artemis.it-sudparis.eu

Nous présentons une méthode de modélisation 3D du geste par recalage d'un modèle articulé de la main sur une séquence d'images monoscopique, sans marqueur. Nous décrivons l'ajustement du modèle sur la morphologie de l'opérateur, puis nous comparons différentes fonctionnelles et méthodes d'optimisation pour le recalage d'un modèle de la main. Une originalité de notre approche réside dans l'intégration des contraintes biomécaniques dans la procédure de recalage, ce qui permet de réduire considérablement l'espace de recherche et évite l'obtention de configurations irréalistes. Les applications potentielles d'un tel système sont, entre autres, l'animation d'acteurs virtuels, le codage SNHC et la transmission à très bas débit des gestes humains ou leur reconnaissance.

The purpose of this thesis is to propose and evaluate a markerless system for capturing hand movements in real time to allow 3D interactions in virtual environment (VE). Tools such as keyboard and mouse are not enough for interacting in 3D VE; current motion capture systems are expensive and require wearing equipments. Systems based on cameras and image processing partially fill these gaps, but do not yet allow an accurate, efficient and real-time 3D motion capture. Our system provides a solution to this problem with a 3D camera. We have implemented modalities that allow a more natural interaction with objects and VE. The goal of our system is to obtain performances at least equal to those of common tools in virtual reality while providing a better overall acceptability (i.e., usefulness, usability, immersion). To achieve this goal, we conducted three experimental studies involving over 100 participants. With the first study, we compared the first version of our system (based on a 3D Camera MESA SwissRanger) to a traditional mouse, for a selection task. The second experiment was focused on the study of the realization of objects-manipulation tasks (position, orientation, scaling) and navigation tasks in VE. For this study, we compared the improved version of our system (based on Microsoft Kinect) with data gloves associated with magnetic sensors. An additional study concerns the evaluation of new modalities of interaction, implemented based on participants’ feedback of the second study. Keywords: Hand motion capture, 3D interaction, bimanual interaction, markerless device, real-time, 3D camera.