Niveau / Grade:
Master ou ingénieur
Master of Science

Dates (flexible):
6 mois à partir de février 2026
6 months starting from February 2026

Possibilité de poursuite en thèse / Possibility of continuing in PhD:
oui
yes

Bourse de stage / Legal internship Grant:
~ 620 € / Month

Profil recherché / Requested profile:

• [Requis] Vision par ordinateur / [Required] Computer vision background
• [Requis] Codage C++ ou python (opencv, numpy, pytorch pour l'apprentissage profond) / [Required] C++ or python coding (opencv, numpy, pytorch for deep learning…)
• [Requis] Autonomie, fort engagement, et participation dans l'équipe (y compris la vie de l'équipe) / [Required] Autonomy, strong commitment, and participation in the team (also team life)
• [Requis] Capacité à assimiler et à proposer de nouveaux concepts / [Required] Ability to assimilate and to propose new concepts
• [Souhaité] Une expérience avec ROS / [Desired] Experience with ROS middleware
• [Souhaité] Anglais, capacité à synthétiser des articles scientifiques pointus / [Desired] English, ability to synthesize scientific articles

Consignes pour postuler / How to apply:
Merci répondre aux demandes suivantes / Please fulfill these requests:

• Le ou les sujets visés / Aimed position(s)
• Tout élément tangible démontrant des acquis sur les compétences que nous recherchons / Any concrete element showing knowledge on our requirements
• Vos relevés de notes aux études universitaires / Your grades from University
• Les coordonnées de référents que nous pourrions contacter / Coordinates of referees to contact

Laboratoire d'accueil / Welcome laboratory:
Heudiasyc UMR CNRS 7253 (Compiègne, France)

Notre laboratoire est spécialisé dans le contrôle de robots mobiles, tels que des voitures et des drones intelligents. Nous nous focalisons sur les problèmes de commande, de localisation, de communication, de perception, et de réalité virtuelle. Le laboratoire dispose de véhicules robotisés équipés de nombreux capteurs, d’une piste d’essais, de simulateurs, et d’une volière. Notre équipe est également impliquée dans le laboratoire commun SIVALab entre UTC, CNRS et Renault (Ampere).
Notre équipe a développé des compétences fortes en vision événementielle depuis 2020, avec des résultats sur des applications de calibrage, de flot optique, d'estimation des profondeurs, et de segmentation des objets mobiles.
Note : En tant que Zone à Régime Restrictif (ZRR), l’accès à Heudiasyc est conditionné par la validation des autorités.

Our laboratory is specialized in mobile robots control, such as intelligent cars and drones. We focus on problems that cover command, localization, communication, perception, as well as virtual reality. The laboratory has robotized vehicles equipped with various sensors, a track, simulators, and an aviary. Our team is involved in the SIVALab common laboratory between UTC, CNRS and Renault (Ampere).
Our team develops strong knowledge in event-based vision since 2000, with results on applications such as calibration, optical flow, depth estimation, and mobile objects segmentation.
Note: As a restricted area (ZRR), Heudiasyc access is detrmined by the validation from authorities.

Projet / Project:
ANR REVE-BNN

Le projet REVE-BNN vise à créer des réseaux de neurones binarisés (BNN) pour traiter efficacement les données des caméras événementielles (neuromorphiques) dans le contexte d'applications robotique mobile. Contrairement aux caméras classiques, les caméras à événements ne transmettent pas des images trames à fréquence fixe, mais transmettent en continu tous changements de luminosité détectés par un ou plusieurs pixels (appelés événements) [Gallego20]. Elles offrent ainsi 3 avantanges par rapport aux caméras classiques :

• plus économe en énergie et bande passante
• latence et réactivité équivalente à une fréquence > à 10000Hz
• dynamique du capteur non limitée par un temps d'exposition global et supérieure aux caméras HDR

Les réseaux de neurones profonds dominent l'état de l'art de nombreuses applications liées à la robotique mobile (ex : véhicules autonomes, bras manipulateurs…). Utiliser des réseaux binarisés devrait ouvrir la porte à des traitements des événements économes, rapides, implémentables sur les systèmes embarqués actuels avec des architectures de processeurs classiques [Yuan23]. Ces qualités permettront de mieux exploiter la caméra événementielle en robotique mobile et intelligente.

REVE-BNN project goal is to propose Binarized Neural Networks (BNN) to efficiently process event camera data (neuromorphic) in the context of mobile robotics applications. In opposition to standard cameras, event cameras do not emit frame images at a fixed rate, but they send a continuous flow of the luminosity changes detected by one or several pixels (called events) [Gallego20]. Hence, they offer 3 advantages over standard cameras:

• more parsimonious in energy and bandwidth
• latency and reactivity equivalent to a frequency > 10000Hz
• sensor dynamics not bounded by a global shutter time and better than HDR cameras

Deep neural networks prevail the state-of-the-art for numerous mobile robotics applications (eg: autonomous vehilces, arm-robots…). The usage of binarized neural networks shall open the door to methods to process events that are parsimonious, fast, implementable on current embedded systems with standard processor architectures [Yuan23]. These qualities will allow to make the most of event camera for mobile and intelligent robotics.

Description:
Le but du stage est de contribuer aux BNN (Binarized Neural Networks) appliqués aux données événements. Pour cela, nous chercherons d'une part à construire des architectures BNN légères, avec capacités de focalisation et d'inférence partielle. Et d'autre part, à valider différentes manières de représenter les événements sous forme de tenseur en entrée du réseau, avec et sans capacité de mémoire. Les architectures proposées seront validées et évaluées sur différents jeux de données afin de les comparer à l'état de l'art. Des expérimentations réelles avec les véhicules du laboratoire pourront pêtre envisagées. Le stagiaire pourra d'ailleurs éventuellement profiter de déplacements scientifiques (séminaire ou visite).

The goal of this internship is to contribute to BNN (Binarized Neural Networks) applied to event data. To this end, we are looking first to build light BNN architectures, with abilities such as focalisation and partial inference. Second, to validate various manners to represent the events as an input tensor for the network, with and without memory abilities. Proposed architectures will be validated and evaluated on several dataset in order to compare them with the state-of-the-art. Real experiments with lab's vehicles can be done. The intern can also benefits of scientific trips (seminar or visit).

Encadrants et personnes à contacter / Supervisors and persons to contact:
Julien MOREAU (first_name.last_name@hds.utc.fr), associate professor, UTC, Heudiasyc UMR CNRS 7253
Franck DAVOINE (first_name.last_name@cnrs.fr), CNRS senior researcher, LIRIS UMR CNRS 5205
Sylvain ROUSSEAU (first_name.last_name@hds.utc.fr), associate professor, UTC, Heudiasyc UMR CNRS 7253

References:

• [Gallego20] Gallego, Guillermo et al., “Event-based Vision: A Survey”, in Transactions on Pattern Analysis and Machine Intelligence, 2020, https://doi.org/10.1109/TPAMI.2020.3008413.
• [Yuan23] Yuan, Chunyu and Agaian, Sos S., “A comprehensive review of Binary Neural Network”, in Artificial Intelligence Review, 2023, https://doi.org/10.1007/s10462-023-10464-w.

Description:
This internship aims to develop a new motion estimation system based on ground observation using an event-based camera embedded on the robot. The Inertial Measurement Unit (IMU) is an electronic system consisting of accelerometers and gyroscopes. In the odometry context, the mathematical integration of these sensors outputs suffer from accumulated errors leading to a drift over time. Visual odometry techniques based on motion tracking between two images have proved their efficiency for localizing robots. New approaches in visual odometry used different methods to be robust to various and poor light levels such as event-based techniques. Event-based cameras offer promising advantages over conventional cameras: microsecond-level latency, operation under challenging lighting conditions, and robustness in very low-light environments. For this type of application, lighting could even be omitted when using an event-based camera instead of a high-frame-rate conventional one.
The objective is to apply a fast optical flow method on event data, such as [Brebion22], and to localize the robot through a state estimation approach [Boyle25], [Hage18]. The fusion with IMU data will also be considered. Since optical flow data may contain errors, a robust state estimation framework incorporating fault detection and exclusion could be added.
The internship will start with a state-of-the-art review of existing state estimation methods based on optical flow. Then, a strategy will be proposed. Experiments may be conducted using the laboratory’s ground vehicle and drone platforms.

Encadrants et personnes à contacter / Supervisors and persons to contact:
Joëlle AL HAGE (first_name.last_name@hds.utc.fr), associate professor, UTC, Heudiasyc UMR CNRS 7253
Julien MOREAU (first_name.last_name@hds.utc.fr), associate professor, UTC, Heudiasyc UMR CNRS 7253

References:

• [Hage18] Joelle Al Hage, Stefano Mafrica., Maan. E. B El Najjar, Franck Ruffier,. (2018). Informational framework for minimalistic visual odometry on outdoor robot. IEEE Transactions on Instrumentation and Measurement, 68(8), 2988-2995.
• [Brebion22] Vincent Brebion, Julien Moreau, Franck Davoine, Real-Time Optical Flow for Vehicular Perception with Low- and High-Resolution Event Cameras, IEEE Transactions on Intelligent Transportation Systems, 23 (9), pp.15066-15078, 2022.
• [Boyle25] L. Boyle, J. Kühne, N. Baumann, N. Bastuck and M. Magno, Planar Velocity Estimation for Fast-Moving Mobile Robots Using Event-Based Optical Flow, IEEE Robotics and Automation Letters, vol. 10, no. 7, pp. 7318-7325, July 2025.

Description:
Dans les véhicules hautement automatisés, la sécurité repose sur une interaction fluide entre le conducteur humain et le système automatisé. Lors des transitions de contrôle, le véhicule doit s’assurer que le conducteur est attentif et prêt à reprendre la main [Li17]. L’analyse du regard constitue alors un indicateur essentiel pour évaluer l’état d’attention, la compréhension de la situation et l’intention du conducteur.
Les méthodes reposant uniquement sur des caméras RGB ou infrarouges présentent des limites tel que la sensibilité aux variations d’éclairage, la latence élevée et dégradation des performances lors de mouvements rapides de tête ou d’occlusions partielles [Fridman19]. Les caméras événementielles offrent une alternative prometteuse : elles capturent les changements de luminosité à très haute fréquence avec une faible latence et une excellente dynamique [Gallego22]. Ces propriétés les rendent particulièrement adaptées à la capture de micro-mouvements oculaires, de clignements ou de transitions rapides du regard — éléments critiques pour détecter les états d’attention ou de distraction.
De plus, la littérature récente souligne que la relation entre conducteur et automatisation doit évoluer vers un modèle de coopération et non de simple supervision : le conducteur et le système doivent partager la situation, s’adapter mutuellement et échanger leurs intentions [Lee22]. Pour rendre ce “teaming” efficace, il est nécessaire de mesurer en continu l’état cognitif du conducteur, notamment à travers le regard, la direction de la tête et la charge visuelle. Ce stage vise à développer une approche de fusion multimodale (RGB + événementielle) pour estimer la direction du regard du conducteur et évaluer son attention. L’objectif est de concevoir un modèle robuste capable de fonctionner dans des conditions réalistes de conduite (variations d’éclairage, mouvements rapides, occlusions), en exploitant les complémentarités entre signaux RGB et événementiels.

Encadrants et personnes à contacter / Supervisors and persons to contact:
Insaf SETITRA (first_name.last_name@hds.utc.fr), associate professor, UTC, Heudiasyc UMR CNRS 7253
Julien MOREAU (first_name.last_name@hds.utc.fr), associate professor, UTC, Heudiasyc UMR CNRS 7253

References:

• [Li17] R. Li, Y. Li, S. E. Li, E. Burdet and B. Cheng, “Driver-automation indirect shared control of highly automated vehicles with intention-aware authority transition,” 2017 IEEE Intelligent Vehicles Symposium (IV), Los Angeles, CA, USA, 2017, pp. 26-32, doi: 10.1109/IVS.2017.7995694.
• [Fridman19] Fridman, L. et al. (2019). Driver Gaze Region Estimation Without Use of Eye Movement. IEEE Intelligent Vehicles Symposium.
• Nikan, S. & Upadhyay, D. Appearance-Based Gaze Estimation for Driver Monitoring. Proceedings of The 1st Gaze Meets ML workshop 2023, 210:127
• [Gallego22] G. Gallego et al., “Event-Based Vision: A Survey” in IEEE Transactions on Pattern Analysis & Machine Intelligence, vol. 44, no. 01, pp. 154-180, Jan. 2022, doi: 10.1109/TPAMI.2020.3008413.
• [Lee22] J. Lee et. al. Teaming with Your Car: Redefining the Driver-Automation Relationship in Highly Automated Vehicles. Journal of Cognitive Engineering and Decision Making. 17. 10.1177/15553434221132636.
• G. Zhao, Y. Shen, C. Zhang, Z. Shen, Y. Zhou and H. Wen, “RGBE-Gaze: A Large-Scale Event-Based Multimodal Dataset for High Frequency Remote Gaze Tracking,” in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 47, no. 1, pp. 601-615, Jan. 2025, doi: 10.1109/TPAMI.2024.3474858.
• [] Ortega, J. D., Kose, N., Cañas, P., Chao, M.-A., Unnervik, A., Nieto, M., Otaegui, O., & Salgado, L. (2020). DMD: A large-scale multi-modal driver monitoring dataset for attention and alertness analysis. arXiv preprint arXiv:2008.12085
• AAAI25-DriveGazen : https://github.com/tooyoungalex/aaai25-drivegazen https://www.kaggle.com/datasets/tooyoungalex/drivegaze