Integrating haptic feedback in smart devices : multimodal interfaces and design guidelines
Intégration de la rétroaction haptique dans les appareils intelligents : interfaces multimodales et directives de conception
- Haptique
- Synchronisation sensorielle
- Interface multimodale
- Perception
- Toucher actif
- Interaction multimodale
- Écrans tactiles
- Réalité virtuelle
- Stimulation sensorielle
- Rugosité
- Haptic Feedback
- Sensory synchronization
- Multimodal interface
- Perception
- Langue : Anglais
- Discipline : Génie électrique
- Identifiant : 2024ULILN002
- Type de thèse : Doctorat
- Date de soutenance : 30/01/2024
Résumé en langue originale
L'intérêt croissant pour l'intégration de la rétroaction haptique dans les produits commerciaux est directement lié aux progrès de la technologie haptique. Notamment, la prolifération des smartphones et des tablettes a conduit à l'intégration de modalités haptiques pour diverses fonctions.Alors que des recherches approfondies ont exploré l'intégration des modalités sensorielles (visuelle, auditive, tactile) dans le toucher passif, il existe un manque relatif de connaissances en ce qui concerne la bimodalité ou la multimodalité dans le contexte du toucher actif. Les technologies émergentes, telles que l'haptique de surface, offrent des opportunités pour étudier divers aspects liés à l'intégration sensorielle.Ce travail fournit des lignes directrices précieuses pour les développeurs, tirées d'études expérimentales dans le domaine du toucher actif. Notre première investigation se concentre sur la relation temporelle entre les retours audio et tactiles, révélant un seuil critique de 200 ms lors des interactions de glissement sur une surface haptique. De plus, nous identifions un délai audio-tactile acceptable de 109 ms pour les gestes de clic avec des boutons virtuels, soulignant la nécessité de prohiber ou de minimiser le délai haptique à moins de 40 ms. Une étude comparative impliquant des individus voyants et aveugles dévoile un aspect crucial de l'inclusion : le respect des limites de synchronisation audio-tactile de la population voyante, concerne les boutons virtuels, permet la conception inclusive d'interfaces adaptées aux deux populations. De plus, nous explorons l'impact de facteurs tels que la stéréoscopie et la déformation de surface sur la perception de la rugosité des textures, démontrant que leur présence peut altérer la rugosité perçue des textures lisses de plus de 20%.En outre, notre recherche explore le potentiel de l'utilisation de casques vibrants pour la localisation d'objets, révélant une sensibilité de 7° pour la modalité haptique, de 8° pour la rétroaction auditive et de 6° pour la rétroaction audio-tactile. Cela met en évidence non seulement la viabilité de la rétroaction haptique en réalité virtuelle pour la localisation d'objets, mais aussi l'amélioration obtenue en renforçant l'expérience sensorielle avec des stimuli audio-tactiles.
Résumé traduit
The growing interest in integrating haptic feedback into commercial products is a direct result of advancements in haptic technology. Notably, the proliferation of smartphones and tablets has led to the integration of haptic modalities for various interfaces.While extensive research has explored the integration of sensory modalities (visual, auditory, tactile) in passive touch, there is a relative dearth of knowledge regarding bimodality or multimodality in the context of active touch. Emerging technologies, like surface haptics, offer opportunities to investigate various aspects related to sensory integration.This work provides valuable guidelines for developers, drawing from experimental studies in the realm of active touch. Our initial investigation focuses on the temporal relationship between audio and tactile feedback, revealing a critical 200 ms threshold during sliding interactions on a haptic surface. Moreover, we identify an acceptable audio-tactile delay of 109 ms for click gestures with virtual buttons, emphasizing the need to prohibit or minimize haptic delay to less than 40 ms. A comparative study involving sighted and blind individuals unveils a crucial aspect of inclusion: adhering to synchronization boundaries of the sighted population, relative to virtual buttons, allows for the inclusive design of interfaces accommodating both populations.Additionally, we explore the impact of factors such as stereoscopy and surface deformation on the perception of texture roughness, demonstrating that their presence can alter the perceived roughness of smooth textures by over 20%.Furthermore, our research explores the potential of using vibration headphones for object localization, revealing a sensitivity of 7° for the haptic modality, 8° for auditory feedback, and 6° for audio-tactile. This highlights not only the viability of haptic feedback in virtual reality for object localization but also the improvement achieved by reinforcing the sensory experience with audio-tactile stimuli.
- Directeur(s) de thèse : Giraud, Frédéric - Lemaire-Semail, Betty
- Président de jury : Merienne, Frédéric
- Membre(s) de jury : Mouraux, André - Basdogan, Cagatay
- Rapporteur(s) : Merienne, Frédéric - Marchal, Maud
- Laboratoire : Laboratoire d'électrotechnique et d'électronique de puissance (L2EP)
- École doctorale : École graduée Sciences de l’ingénierie et des systèmes (Lille ; 2021-....)
AUTEUR
- Brahimaj, Detjon