• Langue : Anglais
• Discipline : Mathématiques et leurs interactions
• Identifiant : 2022ULILB003
• Type de thèse : Doctorat
• Date de soutenance : 07/03/2022

Résumé en langue originale

L'adaptation de domaine vise à réduire l'écart entre des données de distributions différentes, communément appelées distribution source et distribution cible. La plupart des travaux associés cherchent soit un espace latent où les données sources et cibles partagent la même distribution, soit une transformation de la distribution source pour qu'elle corresponde à la distribution cible. Cette thèse étudie un cas réaliste d'adaptation de domaine dans le contexte industriel de Worldline où un modèle d'apprentissage automatique est déjà existant. En effet, un modèle prédictif pré-entraîné de domaine source est souvent disponible et doit être préservé. Pour bénéficier d'un tel modèle pré-entraîné, nous proposons une fonction d'adaptation agnostique du modèle qui s'appuie sur la théorie du transport optimal. En outre, la solution proposée présente l'avantage de fournir une transformation interprétable de la cible à la source, en recherchant une adaptation ordonnée et parcimonieuse de l'espace des caractéristiques, en plus des fonctions d'adaptation élémentaires. Pour sélectionner automatiquement le sous-ensemble de caractéristiques à adapter, nous introduisons d'abord un processus faiblement supervisé reposant sur des données cibles rarement étiquetées. Ensuite, nous abordons une version non supervisée, plus complexe, de ce scénario d'adaptation de domaine. À cette fin, nous proposons un nouvel estimateur de pseudo-étiquettes sur des exemples cibles non étiquetés, basé sur la stabilité du rang dans la prédiction du modèle source. Ces étiquettes estimées sont ensuite utilisées dans un processus de sélection de caractéristiques pour évaluer si chaque caractéristique doit être transformée pour réaliser l'adaptation. Nous présentons les fondements théoriques de notre méthode ainsi qu'une mise en œuvre efficace. En outre, nous étendons ces méthodes d'adaptation faiblement supervisées et non supervisées à un cas d'adaptation multi-sous-domaine. Plus précisément, nous considérons que les données des domaines sources et cibles peuvent être subdivisées en données de différentes distributions. Pour exploiter ces sous-domaines cachés, nous proposons d'utiliser un critère de maximisation de la divergence inter-sous-domaines. De plus, nous proposons une méthode d'agrégation des sous-domaines pour obtenir les prédictions finales. Les résultats expérimentaux sur deux bases des données de détection de fraude et une base de données de référence d'analyse de sentiments Amazon reviews démontrent l'efficacité de notre méthode.

Résumé traduit

Domain adaptation aims to alleviate the gap between different data distributions, commonly referred to as the source distribution and target distribution. Most of the related works seek either a latent space where source and target data share the same distribution or a transformation of the source distribution to match the target one. This thesis studies a realistic domain adaptation setting where one has access to an already existing ``black-box'' machine learning model. Indeed, in a industrial scenario like for Worldline, an efficient pre-trained source domain predictive model is often available and should be preserved. To leverage such a pre-trained model, we propose a model-agnostic adaptation function leveraging the optimal transport theory. Besides, the proposed solution has the asset to provide an interpretable target to source transformation, by seeking a sparse and ordered coordinate-wise adaptation of the feature space, in addition to elementary mapping functions. To automatically select the subset of features to be adapted, we first introduce a weakly supervised process relying on scarce labeled target data. Then, we address a more challenging unsupervised version of this domain adaptation scenario. To this end, we propose a new pseudo-label estimator over unlabeled target examples based on rank-stability regarding the source model prediction. Such estimated labels are further used in a feature selection process to assess whether each feature needs to be transformed to achieve adaptation. We provide theoretical foundations of our method as well as an efficient implementation. Furthermore, we extend such weakly supervised and unsupervised adaptation methods to a multi-subdomain adaptation case.Precisely, we consider source and target domain data can be subdivided into data from different distributions.To exploit such hidden subdomains, we propose to use an inter-subdomain divergence maximization criterion.Moreover, we leverage a subdomain aggregation method to get the final predictions. Experimental results over two fraud detection datasets and the Amazon reviews sentiment analysis benchmark demonstrate the efficiency of our method.