Objectif général
Projet de recherche avec SAGEM Defense Thèse Cifre Romain Grosse
Co encadrement Dominique Lenne (Heudiasyc) et Stephane Aubry (Sagem Defense)

Objectif général
KIVA est un acronyme pour Knowledge and Informed Virtual environment for gesture cApitalization. Le projet ambitionne de créer un nouvel environnement de formation utilisant la réalité virtuelle afin d’accélérer le processus d’apprentissage de gestes techniques. Il s’inscrit dans la forte dynamique de la formation par la réalité virtuelle, qui est de plus en plus utilisée dans l’industrie. Le groupe Montupet, membre du projet et un des leaders mondiaux dans la conception et la fabrication de pièces automobiles en aluminium, cherche à améliorer son efficience et à réduire ses taux de rebuts, qui sont des conséquences directes de la formation. En effet, la fabrication des culasses (partie supérieure d’un moteur à pistons), nécessite une haute technicité dans le geste. La formation en environnement virtuel permettra de restituer et d’expliciter un savoir-faire essentiellement tacite.

Thèse FLORIAN JEANNE
Mots-clés : réalité virtuelle, guidage en environnement virtuel, interaction 3D, geste technique.
Post Doc YANN SOULLARD
Co tutelle Sebastien Destercke

Mots-clés : machine learning,reconnaissance de geste, environnement virtuel.

Objectif général:
Le geste d'écriture peut être médié par de nouvelles interfaces de réalité mixtes autorisant une aide adaptative.

L’apprentissage de l’écriture est un processus complexe impliquant différentes étapes de développement. Lors de chacune de ces étapes, l’apprenant développe différentes capacités psychomotrices et cognitives. Les systèmes tuteurs intelligents sont principalement utilisés dans le cadre de l’apprentissage de compétences non gestuelles, et sont basées sur des stratégies. Les systèmes à retours sensoriels (visuels, sonores, haptiques, …) sont quant à eux largement utilisés dans le cadre de l’apprentissage de geste. Ces approches sont réactives, améliorent l’apprentissage, mais ne prennent pas en compte l’évolution de l’apprenant et de ses capacités au cours du temps. Nous discutons ici de deux enjeux du développement des systèmes d’apprentissage de l’écriture : l’analyse de l’activité de l’utilisateur, et le guidage adaptatif pour l’apprentissage de l’écriture en environnement mixte.

Thèse* REMY FRENOY

Mots-clés : Sensorial feedback, adaptation, teaching in mixed reality, gestural interaction

Co tutelle Olivier Gapenne

Objectif général:
Pedestrian accidents become a serious problem for the society. Pedestrian Collision Warning Systems (PCWS) are proposed to detect the presence of pedestrians and to warn the driver about the potential dangers. However, their interfaces associated with ambiguous alerts can distract drivers and create more dangers. On another hand, Augmented Reality (AR) with Head-Up Display (HUD) interfaces have recently attracted the attention in the field of automotive research as they can maintain driver’s gaze on the road. In this paper, we aims to design a new PCWS with the AR cues and to propose an experimental protocol that is able to evaluate the system by assessing the driver’s awareness of a pedestrian. At this stage, a fixed-based driving simulator is used to analysis the AR cues. Twenty five healthy middle-aged licensed drivers are studied. A car following task is proposed as the main driving task. Three levels of the driver’s awareness of a pedestrian: the perception level, the vigilance level and the anticipation level are assessed through the observable outcomes. The results show that the proposed AR cues can enhance the driver’s awareness of a pedestrian in all the three levels.

* Thèse TIEN MINH

Mots-clés : Réalité augmentée, vision 3D, interaction, systèmes d’aide à la conduite. Co tutelle Vincent Frémont

Objectif général :
La robotique et la réalité augmentée sont deux domaines dans lesquels l’interaction joue un rôle prédominant. Dans les deux cas l’objectif est de commander une entité artificielle. Les gestes symboliques sont des candidats idéaux pour commander ce type d’entité. Aujourd’hui, il existe plusieurs pistes de recherche pour concevoir des interfaces à base de reconnaissances de gestes emblématiques.

Ce travail se concentre sur la détermination d’ensembles de gestes différents pouvant servir au contrôle d’une application sans engendrer de confusion entre les gestes retenus. Le problème peut être résolu en utilisant des classificateurs à une classe basé sur les séparateurs à vaste marge (SVM). Grâce à ces classificateurs, il est possible de déterminer un ensemble de gestes suffisamment distincts pour pouvoir être utilisé comme contrôle.
* Thèse BERNIER EMMANUEL Soutenue le 28 avril 2013 à l’Italian Institute of Technology, Genes. Segmentation and recognition of natural human gesture for interaction with artificial entities

Mots-clés : réalité virtuelle, robotique, reconnaissance de gestes, interaction-homme robot, évolutivité. Co tutelle avec l'Italian Institute of Technology - PAVIS Lab - Ryad Chellali

La mise en œuvre de ces travaux de recherche se fait sur la plate-forme MobilAR combinant robot mobile et projection pour la réalité augmentée. Un robot SLAM et un système de projection en réalité augmentée sont utilisés pour proposer cette interaction naturelle et évolutive.

memoire_de_these_loic_fricoteaux.pdf
}} www.youtube.com/embed/URjqKRqqdjQ

Objectif général :
Cette thèse porte sur l’interaction entre un humain et un environnement virtuel informé (EVI). L’objectif est de renforcer le couplage entre l’humain et l’EVI en permettant à celui-ci de réagir pertinemment au comportement de l’utilisateur. Pour ce faire, nous ajoutons à l’EVI un module de décision capable de choisir en temps réel des retours multimodaux suivant l’activité de l’utilisateur observée par le système au moyen de différents capteurs. Nous utilisons la théorie des fonctions de croyance pour la prise de décision afin de gérer l’incertitude et l’incomplétude des données récoltées décrivant le comportement de l’utilisateur. Notre système apporte une interaction informée : la réaction du système aux actions de l’utilisateur se base sur des connaissances a priori combinées avec d’autres connaissances acquises en temps réel. Nous apportons alors une interaction personnalisée, adaptée à chaque utilisateur, pour augmenter son efficacité. Ces travaux ont été appliqués à un simulateur de navigation fluviale afin de lui apporter un module de formation permettant un guidage personnalisé des apprenants.
* Thèse FRICOTEAUX LOIC
Soutenue le 28 septembre 2012 à l'Université de Technologie Compiègne
Interaction informée par un système décisionnel pour un retour multimodal en environnement virtuel: application à la formation au transport fluvial

Jury :

Catherine GARBAY : Directeur de recherche CNRS, Laboratoire d'Informatique de Grenoble (Rapporteur)
Bruno ARNALDI : Professeur des Universites INSA Rennes (Rapporteur)
Domitile LOURDEAUX : Maitre de conference Heudiasyc,Université de Technologie de Compiègne (Examinateur)
Thierry Denoeux :Professeur des Universites Heudiasyc, Université de Technologie de Compiègne(Examinateur)
Frederic MERIENNE :Professeur des Universites Le2i Institut Image ENSAM, Université de Technologie de Compiègne(Examinateur)
Indira THOUVENIN : Heudiasyc, Université de Technologie de Compiègne (Directeur de thèse)

Mots-clés : : interaction informée, retour multimodal, observation de l’utilisateur, incertitude, théorie des fonctions de croyance, réseau évidentiel, satisfaction de contraintes.

Objectif général :
Concevoir et réaliser un environnement virtuel informé pour la communication non verbale
Proposer un modèle de comportement non verbal par génération de gestes du personnage virtuel reposant sur une analyse ergonomique.
Intégrer l’incertitude dans le modèle de comportement par une approche Bayésienne.

* Thèse Atman Kendira
Soutenue le 27 janvier 2010 à l'Université de Technologie Compiègne Co-encadrement L. Perron (Orange Labs)
L’animation comportementale d’avatars comme support à la communication dans les environnements virtuels Informés.

Jury :

Catherine PELACHAUD : Directeur de recherche CNRS, Telecom ParisTech (Rapporteur)
Pierre DE LOOR : Centre Européen de Réalité Virtuelle, LISC, ENIB Rapporteur)
Vincent CORRUBLE : LIP6, Université Pierre et Marie Curie(Examinateur)
Jean-Paul BARTHES : Heudiasyc, Université de Technologie de Compiègne(Examinateur)
Indira THOUVENIN : Heudiasyc, Université de Technologie de Compiègne (Directeur de thèse)
Laurence PERRON : Orange Labs Lannion, France Telecom R&D(Directeur de thèse)
Mots-clés : environnement virtuel informé, comportement non verbal, geste, incertitude et incomplétude, approche bayésienne.

Objectif général:
Capitaliser les connaissances pour la maintenance dans le contexte de production de pneumatiques en usine.
Partager et rendre accessible les procédures, en tenant compte des critères de qualité et de sécurité.
Concevoir un EVI pour capturer la connaissance des experts touchant au geste technique. Proposer un modèle d’annotations gestuelles et un mode d’interaction liant perception et ingénierie des connaissances dans les EVs
CIFRE Continental

* ThèseOLIVE Jérôme
Soutenue le mercredi 14 avril 2010 à l'Université de Technologie Compiègne

Annotations gestuelles pour capitaliser les interactions en environnement virtuel informé : application à la maintenance industrielle

Jury : Jean Pierre JESSEL, IRIT, Toulouse (Rapporteur)
Annie LUCIANI, ACROE, Grenoble (Rapporteur)
Charles LENAY, COSTECH, Compiègne ( Examinateur)
Ryad CHELLALI, IIT Italie (Examinateur)
Indira THOUVENIN, Heudiasyc, Compiègne (Directeur de thèse)
Mots-clés : annotations, réalité virtuelle, conception collaborative, ontologies.

Mémoire de thèse PDF
Objectif général :
Proposer un support informatique pour la collaboration en situation de conception mécanique.
Structurer les informations recueillies lors des sessions et gérer leur indexation en environnement virtuel.
Formaliser un modèle d’annotations 3D en EV et gérer l’affichage d’annotations massives par intégration d’un outil de représentation des connaissances.
Manipuler des scènes 3D complexes en relation avec des modèles CAO et des objets 3D numériques issus du domaine du design

* Thèse AUBRY Stéphane
Soutenue le lundi 28 mai 2007 à l'Université de Technologie Compiègne Co-encadrement Dominique Lenne, laboratoire Heudiasyc.

Annotation et gestion des connaissances en environnement virtuel collaboratif

Jury :

Jean-Paul BARTHES, Heudiasyc, Compiègne (Examinateur)
Patrick BOURDOT, LIMSI, Orsay (Rapporteur)
Dominique LENNE, Heudiasyc, Compiègne (Directeur de thèse)
Indira THOUVENIN, Heudiasyc, Compiègne (Directeur de thèse)
Jacques TISSEAU, LISyC, CERV, Plouzané (Examinateur)
Manuel ZACKLAD, Tech-CICO, Troyes (Rapporteur)

Mots-clés : annotations, réalité virtuelle, conception collaborative, ontologies.