Soutenances
2024
Christel VRAIN, Professeure des Universités, Université d’Orléans, Présidente Davide BACCIU, Professeur des Universités, Université de Pise, Rapporteur & Examinateur Ngoc-Son VU, Maître de Conférences, ENSEA, CY Cergy Paris Université, Rapporteur & Examinateur Jose DOLZ, Maître de Conférences, ETS Montréal, Examinateur Camille KURTZ, Professeur des Universités, Université Paris-Cité, Examinateur ---
L’apprentissage continu est un aspect essentiel de l’intelligence humaine et constitue un défi majeur pour les systèmes d’intelligence artificielle. En intelligence artificielle, l’apprentissage continu vis à apprendre de manière adaptative des compétences et connaissances de plus en plus complexes à partir d’un flux de données. Dans cette thèse, nous nous concentrons sur l’apprentissage incrémental par classe (Class-Incremental Learning - CIL), qui consiste à entraîner séquentiellement un réseau neuronal profond à reconnaître un nombre croissant de classes, sans accès aux données antérieures. D’une part, le CIL est un défi en raison de l’oubli catastrophique, c’est-à-dire la tendance des modèles profonds à oublier les informations précédemment acquises lorsqu’ils sont confrontés à de nouvelles informations. D’autre part, le CIL est intéressant en raison de ses besoins réduits en matière de stockage et de calcul par rapport à un réapprentissage du modèle à partir de zéro chaque fois qu’une mise à jour est nécessaire. Notre travail s’articule autour de deux axes principaux. Tout d’abord, nous analysons le rôle du pré-entraînement dans les performances des algorithmes de CIL. Nous présentons une analyse statistique des principaux facteurs influençant les performances de l’apprentissage incrémental. Nous menons également une étude expérimentale qui met en évidence les avantages et limitations de différentes méthodes de pré-entrainement pour le CIL. Deuxièmement, nous abordons le problème de la recommandation d’un algorithme CIL adapté à un cas d’utilisation donné. En particulier, nous recommandons une paire adéquate d’une architecture neuronale et d’un algorithme CIL, sous la contrainte d’un nombre de paramètres pour le modèle à l’inférence. En outre, nous proposons une méthode de simulation de flux pour évaluer les performances des algorithmes CIL et recommander un algorithme adéquat pour un cas d’utilisation donné. Nous espérons que ce travail contribuera à rendre l’apprentissage profond plus frugal en termes de mémoire et de ressources de calcul.
2023
Anissa Mokraoui, Rapporteur & Examinateur, Professeur des Universités, Université Paris XIII Vincent Gripon, Rapporteur & Examinateur, Professeur des Universités, IMT Atlantique Stéphane Canu, Examinateur, Professeur des Universités, INSA de Rouen Hervé Le Borgne, Examinateur, Ingénieur-Chercheur, CEA LIST Florian Yger, Examinateur, Maître de conférences, LAMSADE ---
En 2015, alors que les réseaux de neurones convolutionnels atteignaient des performances sur- humaines en reconnaissance d’image à grande échelle, la communauté a commencé à observer que ces performances peinaient à se reproduire avec de petits volumes de données. Les algorithmes d’apprentissage profond présentaient de faibles résultats lorsqu’on leur demandait de classifier des images parmi des classes pour lesquelles on ne leur fournissait qu’une poignée d’exemples. À l’inverse, la capacité à reconnaître de nouveaux concepts à partir de très peu d’exemples est considérée comme une capacité naturelle des humains. Ces observations ont donné lieu à l’apparition, dans le paysage de l’apprentissage machine, du Few-Shot Learning, ou apprentissage à partir de peu de données (peu de shots). Au sein de ce nouveau domaine, nous avons rapidement développé des algorithmes dédiés, construit des jeux de données et établi de nombreuses règles et configurations restrictives pour évaluer les modèles d’apprentissage à partir de peu de données. Si ce procédé s’est montré très propice à des itérations rapides, et a mené à des découvertes intéressantes, il a également restreint la recherche en apprentissage à partir de peu d’exemples à la résolution d’un problème hypothétique. Nous observons que ce problème, créé artificiellement, est, par de nombreux aspects, non représentatif des problèmes industriels réels que nous avons rencontrés à Sicara. Dans cette thèse, nous mettons en évidence plusieurs divergences entre les hypothèses utilisées en recherche académique et les applications réelles de l’apprentissage à partir de peu d’exemples. Nous proposons des contre-mesures pour réduire cet écart. Tout d’abord, la configuration standard de la classification d’images à partir de peu d’exemples suppose que les quelques exemples d’images disponibles (l’ensemble support) sont issus de la même distribution que les images à classifier (l’ensemble des requêtes). En réalité, cette hypothèse est souvent non vérifiée, par exemple lorsque l’ensemble support correspond à des images acquises dans un environnement contrôlé (e.g., le catalogue d’un site d’e-commerce) tandis que les images requêtes sont plus chaotiques (e.g., des photographies prises par des utilisateurs individuels). Nous formalisons ce problème sous la dénomination de Few-Shot Learning under Support-Query Shift, ou apprentissage à partir de peu d’exemples avec changement de distribution entre le support et les requêtes. Nous proposons des jeux de données et des procédés d’évaluation dédiés, ainsi qu’une première méthode pour faciliter les efforts de recherche consacrés à ce problème. Par ailleurs, dans de nombreuses applications de l’apprentissage à partir de peu de données, nous ne pouvons pas assurer que les images requêtes appartiennent effectivement aux classes définies dans l’ensemble support. Ce problème, connu dans la littérature sous le nom de Few-Shot Open-Set Recognition, ou reconnaissance à partir de peu d’exemples dans un ensemble ouvert, était déjà abordé dans des précédents travaux. Cependant, les méthodes complexes développées pour ce problème ne montraient pas d’incrément notable par rapport à des méthodes naïves. Dans cette thèse, nous mettons à profit l’ensemble des requêtes par une approche simple et raisonnée pour atteindre des performances utilisables en reconnaissance à partir de peu d’exemples dans un ensemble ouvert. Enfin, nous avons observé que les bancs de test les plus populaires dans la recherche académique présentaient un biais important. Ainsi, les modèles étaient évalués sur des tâches de classification à partir de peu d’exemples non représentatives d’applications réelles. En effet, dans ces bancs de test, nous avions tendances à demander aux modèles de classifier parmi des classes correspondant à des concepts très distants e.g., distinguer une tarte d’un serpent. À l’inverse, la plupart des applications du monde réel impliquent une distinction entre des concepts très proches e.g., des bactéries d’autres bactéries, des outils d’autres outils, ou des composants électroniques d’autres composants électroniques. Dans cette thèse, nous proposons une nouvelle méthode d’évaluation pour résoudre ces biais.
Sébastien Lefèvre Rapporteur & Examinateur Professeur des Universités, Université Bretagne-Sud Stefan Duffner Rapporteur & Examinateur Maître de Conférences, Université de Lyon Cécile Capponi Examinatrice Professeur des Universités, Université Aix-Marseille Laurent Amsaleg Examinateur Directeur de Recherche, CNRS Vincent Mousseau Examinateur Professeur des Universités, Université Paris- Saclay Emmanuel Arbaretier Invité Airbus Protect ---
Dans le paysage en constante évolution de l’Industrie 4.0, cette thèse aborde deux défis cruciaux visant à améliorer le diagnostic de défauts : une interprétation efficace des données multimodales provenant de divers capteurs et une exploitation intelligente des informations contenues dans des rares rapports de maintenance spécialisés. Le premier défi implique la synthèse de flux de données de diverses modalités en une représentation expressive s’adaptant aux conditions dynamiques du système. Ceci nécessite le développement de stratégies innovantes pour traiter les données complexes efficacement en temps et en mémoire. Le second défi concerne l’extraction d’informations précieuses à partir d’un nombre limité de rapports de maintenance rédigés par des experts. Cette tâche est rendue complexe par le vocabulaire spécifique que ces rapports possèdent. En réponse à ces défis, la thèse présente une architecture d’apprentissage profond unique qui gère habilement les longs flux de données multimodales non alignées. De plus, elle propose une méthode transductive innovante pour l’apprentissage à quelques exemples textuels, qui exploite les données étiquetées limitées disponibles pour améliorer les performances de prédiction, tout en assurant la confidentialité des informations sensibles. Cette thèse est organisée en deux parties principales, la première traite de l’apprentissage multimodal pour le diagnostic des défauts, et la seconde cible l’apprentissage à quelques exemples en TAL pour l’analyse des données textuelles.
Julien VELCIN, Professeur, Laboratoire ERIC - Université Lumière (Lyon 2) (Rapporteur) Lynda TAMINE-LECHANI, Professeur, Institut de Recherche en Informatique de Toulouse (Rapporteure) Fragkiskos MALLIAROS, Assistant professor, Laboratoire CVN, CentraleSupélec (Examinateur) Armelle BRUN, Professeure, Laboratoire LORIA, Université de Lorraine (Examinatrice) Marc AIGUIER, Professeur, Laboratoire MICS, CentraleSupélec (Président) Paul-Henry COURNÈDE, Professeur, Laboratoire MICS, CentraleSupélec (Co-encadrant de thèse) Céline HUDELOT, Professeure, Laboratoire MICS, CentraleSupélec (Directrice de thèse) ---
L’E-recrutement est devenu un outil de recrutement essentiel dans la société moderne, facilitant le processus de recrutement et générant une quantité significative de données numériques sous différents formats. Afin de gérer et d’analyser efficacement ces données, l’industrie a besoin de méthodes appropriées pour représenter ces données, car la représentation des données est fondamentale pour leur gestion leur analyse. Inspirée par le succès de l’Intelligence Artificielle (IA) dans d’autres domaines, cette thèse vise à exploiter l’IA pour aider à l’apprentissage de la représentation de données liées au recrutement Les données de recrutement peuvent être organisées de manière explicite ou implicite en structures de graphe, telles que des taxonomies de compétences prédéfinies et des graphes de transition d’emploi construits à partir des expériences professionnelles. Malgré leur richesse en connaissances normatives, ces données structurées graphiquement sont moins utilisées. Dans ce contexte, cette thèse tente d’exploiter ces données de recrutement structurées implicitement ou explicitement pour améliorer les représentations apprises liées au recrutement.
2021
M. Amaury Habrard Université Jean Monnet, Saint-Etienne Rapporteur M. José Hernández-Orallo Universitat Polichnècnica de València Rapporteur Mme Élisa Fromont Université Rennes 1 Examinatrice M. Aurélien Bellet Inria, Université de Lille Examinateur M. Pablo Piantanida Université Paris-Saclay Examinateur Mots-Clefs : Apprentissage automatique, Adaptation de domaine, Représentations Invariantes ---
L’apprentissage automatique, c’est-à-dire à partir d’un jeu de données, a considérablement amélioré les performances des systèmes d’Intelligence Artificielle. Cependant, ces algorithms ne sont pas infaillibles; ils sont sensibles aux changements de distribution des données, une situation omniprésente dans l’industrie. L’Adaptation des modèles d’apprentissage automatique a fait l’objet de recherche fructueuse. Un outil fondamental est l’apprentissage de représentations invariantes, c’est-à-dire insensible au changement de distributions dans les données. Dans une première partie de cette thèse, nous avons montré que l’apprentissage de représentations invariantes nous expose au risque de détruire leur adaptabilité, une quantité que nous ne pouvons malheureusement pas contrôler. Cette thèse propose une analyse théorique introduisant un nouveau terme d’erreur, appelé erreur de réduction de classe d’hypothèse, permettant de capturer la bonne adaptabilité d’une représentation. Dans un second temps, ces travaux de thèse unifient deux champs de recherche en adaptation, l’échantillonnage d’importance et l’apprentissage de représentations invariantes, sous un même cadre théorique facilitant leur compréhension. En particulier, nous montrons la nécessité du biais inductif pour l’apprentissage adaptatif, remettant l’expertise humaine au centre de l’apprentissage automatique. Enfin, nous remettons en cause une hypothèse fondamentale du paradigme d’apprentissage de représentations invariantes; l’accès à un échantillon large de données non-labellisées de la nouvelle distribution. En effet, cette hypothèse est rarement vérifiée en pratique, où nous souhaiterions idéalement pouvoir adapter un modèle avec peu d’exemples. Cette thèse contribue à cette nouvelle problématique en le formalisant et en apportant à la communauté une base de code pour une recherche reproductible. De plus, nous montrons qu’une hybridation simple entre l’adaptation par le Transport Optimal et l’apprentissage avec peu d’exemples, fournit déjà une référence solide pour cette tâche.