Note ABES Dynamic hand gesture recognition : from traditional handcrafted to recent deep learning approaches Reconnaissance de gestes dynamiques de la main : des méthodes traditionnelles aux récentes avancées en apprentissage profond Reconnaissance des gestes 006.37 Reconnaissance de l'activité humaine (informatique) Main Mouvements Vision par ordinateur Apprentissage supervisé (intelligence artificielle) Réseaux neuronaux (informatique) Vidéo 3D (imagerie tridimensionnelle) Les gestes de la main sont le moyen de communication non verbal le plus naturel et le plus intuitif lorsqu'il est question d'interaction avec un ordinateur. L'analyse des gestes de la main s'appuie sur l'estimation de la pose de la main et la reconnaissance de gestes. L'estimation de la pose de la main est considérée comme un défi difficile du fait de la petite taille d'une main, de sa plus grande complexité et de ses nombreuses occultations. Par ailleurs, le développement d'un système de reconnaissance des gestes est également difficile du fait des grandes dissimilarités entre les gestes dérivant de facteurs ad-hoc, culturels et/ou individuels inhérents aux acteurs. Nous proposons un système pour représenter les gestes de la main en utilisant des descripteurs de forme et de mouvement calculés sur des squelettes de main 3D. De plus, nous proposons une base de données de gestes de mains dynamiques contenant 14 types de gestes. Les résultats montrent une utilisation prometteuse des données de squelette pour reconnaître des gestes de main. Dans un second temps, nous étendons l'étude de l'analyse des gestes de main à une reconnaissance en ligne. En utilisant une approche d'apprentissage profond, nous employons une stratégie de transfert d'apprentissage afin d’entraîner des caractéristiques de pose et de forme de la main à partir d'images de profondeur d'une base de données crée à l'origine pour un problème d'estimation de la pose de la main. Nous modélisons ensuite les variations temporelles des poses de la main et de ses formes grâce à une méthode d'apprentissage profond récurrente. Enfin, les deux informations sont fusionnées pour détecter et reconnaître des gestes de main. Hand gestures are the most natural and intuitive non-verbal communication medium while using a computer, and related research efforts have recently boosted interest. The area of hand gesture analysis covers hand pose estimation and gesture recognition. Hand pose estimation is considered to be more challenging than other human part estimation due to the small size of the hand, its greater complexity and its important self occlusions. Beside, the development of a precise hand gesture recognition system is also challenging due to high dissimilarities between gestures derived from ad-hoc, cultural and/or individual factors of users. First, we propose an original framework to represent hand gestures by using hand shape and motion descriptors computed on 3D hand skeletal features. Additionally, we create the Dynamic Hand Gesture dataset containing 14 gesture types. Evaluation results show the promising way of using hand skeletal data to perform hand gesture recognition. Then, we extend the study of hand gesture analysis to online recognition. Using a deep learning approach, we employ a transfer learning strategy to learn hand posture and shape features from depth image dataset originally created for hand pose estimation. Second, we model the temporal variations of the hand poses and its shapes using a recurrent deep learning technology. Finally, both information are merged to perform accurate prior detection and recognition of hand gestures. Experiments on two datasets demonstrate that the proposed approach is capable to detect an occurring gesture and to recognize its type far before its end. Electronic Thesis or Dissertation Text en PDF 12516136 text/html https://pepite-depot.univ-lille.fr/LIBRE/EDSPI/2017/50376-2017-De_Smedt.pdf https://theses.fr/2017LIL10139/abes De Smedt Quentin De Smedt 1988-06-04 FR 224858297 https://theses.fr/2017LIL10139 2017LIL10139 https://doi.org/10.70675/68ddb06cz1c43z41c3z828fzc58326157b3c 2017-12-14 Informatique Lille 1 026404184 Doctorat Docteur es non oui Vandeborre Jean-Philippe MADS_DIRECTEUR_DE_THESE_1 069896127 Wannous Hazem MADS_DIRECTEUR_DE_THESE_2 147352460 École doctorale Sciences pour l'ingénieur (Lille ; 1992-2021) MADS_ECOLE_DOCTORALE_1 147297028 Centre de Recherche en Informatique, Signal et Automatique de Lille MADS_PARTENAIRE_DE_RECHERCHE_1 18388695X IMT Nord Europe (2017-....) MADS_PARTENAIRE_DE_RECHERCHE_2 20073511X ddc:004 Vandeborre Jean-Philippe Wannous Hazem École doctorale Sciences pour l'Ingénieur (Lille) Centre de recherche en informatique, signal et automatique de Lille (CRIStAL) Institut Mines-Télécom Lille Douai PDF 12516136