Thèses soutenues

Nico­las Urbani

Le 8 juil­let 2025 à 14h, L102, bâti­ment Pierre Guillaumat

Mem­bres du jury :

• Mme Flo­rence Alberge, pro­fesseure des uni­ver­sités, mem­bre rap­por­teur – ENS Paris Saclay, lab­o­ra­toire SATIE, Gif-sur-Yvette
• M. Alain Rako­toma­mon­jy, prin­ci­pal researcher, mem­bre rap­por­teur – Criteo AI Lab, Paris
• Mme Edith Grall, enseignante-chercheuse, mem­bre exam­i­na­teur – Uni­ver­sité de tech­nolo­gie de Troyes, lab­o­ra­toire Infor­ma­tique et Société Numérique (LIST3N), Troyes
• M. Sébastien Dester­cke, directeur de recherche CNRS, mem­bre exam­i­na­teur – Uni­ver­sité de tech­nolo­gie de Com­piègne, lab­o­ra­toire Heudi­asyc, Compiègne
• M. Yves Grand­valet, directeur de recherche CNRS, directeur de thèse – Uni­ver­sité de tech­nolo­gie de Com­piègne, lab­o­ra­toire Heudi­asyc, Compiègne
• M. Syl­vain Rousseau, maître de con­férences, co-encad­rant de thèse – Uni­ver­sité de tech­nolo­gie de Com­piègne, lab­o­ra­toire Heudi­asyc, Compiègne

Résumé :

Ces dernières années, les clas­sifi­ca­teurs à réseaux de neu­rones sont rapi­de­ment devenus un élé­ment fon­da­men­tal et omniprésent d’une vaste gamme de sys­tèmes automa­tisés. Leur suc­cès dans des tâch­es telles que la recon­nais­sance d’im­ages, le traite­ment du lan­gage naturel et le diag­nos­tic médi­cal a entraîné leur adop­tion général­isée. Néan­moins, un défi de taille demeure : la nature intrin­sèque­ment « boîte noire » de ces mod­èles. Cette opac­ité com­plique la com­préhen­sion com­plète du proces­sus de déci­sion, ren­dant plus dif­fi­cile la garantie de leur fia­bil­ité. Le manque de trans­parence rend égale­ment ardu, voire impos­si­ble, de prédire avec con­fi­ance la réac­tion d’un mod­èle face à des échan­til­lons inat­ten­dus dans la nature, ou la manière dont sa per­for­mance peut être affec­tée lorsqu’il est con­fron­té à des exem­ples hors de sa dis­tri­b­u­tion d’en­traîne­ment. Cette imprévis­i­bil­ité est par­ti­c­ulière­ment préoc­cu­pante dans les appli­ca­tions cri­tiques pour la sécu­rité, où des clas­si­fi­ca­tions erronées peu­vent avoir des con­séquences graves, par exem­ple dans le diag­nos­tic médi­cal ou les déci­sions admin­is­tra­tives automa­tisées. Ce défi majeur pour assur­er un com­porte­ment prévis­i­ble et fiable a catalysé de nom­breuses recherch­es visant à com­pren­dre et à amélior­er la robustesse des mod­èles de réseaux de neu­rones.
Cette thèse con­tribue à l’ob­jec­tif essen­tiel d’amélio­ra­tion de la fia­bil­ité des réseaux de neu­rones en se con­cen­trant sur deux approches dis­tinctes mais com­plé­men­taires. Pre­mière­ment, nous explorons l’in­té­gra­tion d’in­for­ma­tions struc­turelles sup­plé­men­taires, sous la forme d’une hiérar­chie de class­es, durant l’en­traîne­ment afin d’at­ténuer l’im­pact et la grav­ité des erreurs de clas­si­fi­ca­tion, avec pour objec­tif de réalis­er de « meilleures erreurs ». Deux­ième­ment, nous dévelop­pons et étu­dions des méth­odes per­me­t­tant de détecter si un échan­til­lon provient de la dis­tri­b­u­tion d’en­traîne­ment con­nue ou s’il est hors du cadre de la tâche de clas­si­fi­ca­tion définie, indi­quant ain­si qu’il devrait poten­tielle­ment être écarté ou traité dif­férem­ment pour éviter des pré­dic­tions erronées. Ces deux axes représen­tent des moyens alter­nat­ifs de répon­dre aux défis posés par les mod­èles boîte noire et d’amélior­er la con­fi­ance envers les clas­sifi­ca­teurs à réseaux de neu­rones.
Alors que les class­es dans la plu­part des jeux de don­nées de clas­si­fi­ca­tion d’im­ages sont con­sid­érées comme équidis­tantes, cette sup­po­si­tion peut ne pas être val­able pour cer­tains ensem­bles. Par exem­ple, dans un jeu de don­nées de races de chats, il est intu­itif de sup­pos­er que ces class­es parta­gent des sim­i­lar­ités. De même, ajouter d’autres types d’an­i­maux domes­tiques comme class­es sug­gère une par­en­té séman­tique reflétée par leur posi­tion sur des branch­es plus éloignées d’une hiérar­chie de class­es. De nom­breuses méth­odes ont été pro­posées pour exploiter de telles hiérar­chies exis­tantes afin d’amélior­er la per­for­mance de clas­si­fi­ca­tion ou de per­me­t­tre des tâch­es plus com­plex­es, comme la pré­dic­tion sur des super-class­es plutôt que sur des class­es fines.
Les clas­sifi­ca­teurs super­visés sont entraînés pour dis­crim­in­er entre des class­es prédéfinies à l’aide de jeux de don­nées soignés, et leur com­porte­ment devient imprévis­i­ble lorsqu’ils trait­ent des don­nées hors de cette dis­tri­b­u­tion d’en­traîne­ment ce qui est prob­lé­ma­tique pour la fia­bil­ité et peut engen­dr­er des con­séquences inat­ten­dues. La détec­tion Hors-Dis­tri­b­u­tion (Out-of-Dis­tri­b­u­tion, OOD) cible spé­ci­fique­ment les clas­sifi­ca­teurs entraînés sur une tâche mul­ti-classe où des échan­til­lons aber­rants représen­tant un change­ment séman­tique doivent être détec­tés au moment du test. Les méth­odes de détec­tion post-hoc opèrent sur des clas­sifi­ca­teurs pré-entraînés en analysant des sous-pro­duits de la clas­si­fi­ca­tion tels que les dis­tri­b­u­tions de scores de pré­dic­tion, les acti­va­tions de car­ac­téris­tiques et les représen­ta­tions latentes. Ces méth­odes sont par­ti­c­ulière­ment intéres­santes car elles ne néces­si­tent aucune mod­i­fi­ca­tion de l’ar­chi­tec­ture ou de la procé­dure d’en­traîne­ment du mod­èle, préser­vant ain­si la per­for­mance de clas­si­fi­ca­tion prin­ci­pale tout en ajoutant des capac­ités de détec­tion OOD. Cepen­dant, la plu­part des études exis­tantes n’ex­am­i­nent pas en pro­fondeur com­ment la per­for­mance du mod­èle de clas­si­fi­ca­tion sous-jacent influ­ence l’ef­fi­cac­ité des méth­odes de détec­tion OOD post-hoc.
Un domaine con­nexe est la détec­tion d’anom­alies (AD). Ici, l’ob­jec­tif est d’en­traîn­er des clas­sifi­ca­teurs binaires nominal/anormal dédiés à la détec­tion d’échan­til­lons anor­maux d’une classe par exem­ple l’in­spec­tion visuelle automa­tisée de chaînes de pro­duc­tion indus­trielles, véri­fi­ant si les vis et écrous pro­duits sont con­formes ou défectueux. La prin­ci­pale dif­férence avec la détec­tion OOD est que les éti­quettes de la dis­tri­b­u­tion OOD ne se recou­vrent pas avec celles de la dis­tri­b­u­tion In-Dis­tri­b­u­tion (ID). La dif­fi­culté majeure réside dans la rareté
intrin­sèque des anom­alies, les méth­odes de détec­tion d’anom­alies doivent donc s’en­traîn­er sans ou avec très peu de don­nées anor­males.
Nous présen­tons notre étude de la pre­mière approche, util­isant la clas­si­fi­ca­tion hiérar­chique. Cer­taines méth­odes se sont con­cen­trées sur la créa­tion de pipelines de mod­èles pour pren­dre en compte la hiérar­chie ou sur la créa­tion de pertes d’en­traîne­ment alter­na­tives inté­grant directe­ment ces hiérar­chies. Nous pro­posons deux nou­velles méth­odes reposant sur une perte d’en­traîne­ment inédite et une nou­velle tech­nique de lis­sage d’é­ti­quettes (label smooth­ing). Nous nous com­parons aux méth­odes exis­tantes de la lit­téra­ture.
Nous analysons la détec­tion OOD, et plus par­ti­c­ulière­ment l’é­val­u­a­tion de ces méth­odes. Nous pro­posons une étude appro­fondie de l’im­pact de la per­for­mance de clas­si­fi­ca­tion ID du mod­èle sous-jacent. Nous for­mu­lons une cri­tique de cer­tains aspects de la lit­téra­ture exis­tante sur l’é­val­u­a­tion des per­for­mances OOD. Nous présen­tons égale­ment une nou­velle méth­ode post-hoc de détec­tion OOD basée sur l’analyse de l’e­space de car­ac­téris­tiques.
De plus, cette thèse com­prend une méth­ode exploratoire en détec­tion d’anom­alies, visant à fournir de meilleures fron­tières de déci­sion pour détecter les out­liers et à appren­dre, de manière non super­visée, à dif­férenci­er plusieurs types d’anom­alies en intro­duisant plusieurs class­es de rejet, appelées « class­es soeurs ». Bien que ce cadre ait mon­tré des résul­tats promet­teurs sur des don­nées arti­fi­cielles syn­thé­tiques, la méth­ode n’a pas été effi­cace sur des don­nées d’im­ages. Notre inves­ti­ga­tion a révélé des lim­i­ta­tions fon­da­men­tales, sug­gérant un con­flit inhérent entre l’op­ti­mi­sa­tion de la clas­si­fi­ca­tion binaire inli­er-out­lier et l’ap­pren­tis­sage simul­tané de représen­ta­tions sig­ni­fica­tives pour une caté­gori­sa­tion non super­visée des outliers.

.