Note ABES Enhancing Differentially private machine learning : Optimizations for Repeated Query scenarios Amélioration de l’apprentissage automatique différentiellement confidentiel : optimisations pour les scénarios de requêtes répétées Automatique Informatique Confidentialité différentielle Machine learning Differential privacy Federated learning Privacy Apprentissage automatique Protection de l'information (informatique) Données massives Les réseaux de neurones profonds, et autres modèles d'apprentissageautomatique, ont connu ses dernières années une croissance sans précédent.Avec cet engouement, est apparue une crainte de plus en plus fondéeconcernant la confidentialité des masses de données nécessaires àl'entraînement de ces modèles. La combinaison de ces deux facteursa été un moteur essentiel à l'intérêt porté aux techniques d'apprentissageautomatique respectueuses de la vie privée. La confidentialité différentielles'est imposée comme canon de la mesure deconfidentialité. Cette mesure est maintenant intégrée dans un grand nombre d'interactionsà la donnée comme l'apprentissage automatique ou l'analyse collaborative,où plusieurs parties prenantes souhaitent interroger un donnée partagée sansexposer la leur. Le principal défi dans ce domaine est d'arbitrer entre les garanties deconfidentialité et l'utilité du résultats. En effet, les techniques permettantde protéger la confidentialité vont généralement se faire au détriment de la précisiondu résultat.Cette thèse se concentre sur les techniques permettant d'améliorerl'apprentissage automatique de modèles et les outils d'analyse de ceux-ci,tout en garantissant un niveau satisfaisant de confidentialité surla donnée sous-jacente. Premièrement, elle propose uneapproche novatrice pour les méthodes de descente de gradientrespectueuse de la confidentialité en s'attaquant au biais introduit parles méthodes actuelles. En utilisant les propriétés sur la régularité du gradient plutôt que de letronquer, comme il est d'usage dans les méthodes populaires, notre méthodeparvient à limiter le biais et le bruit ajouté au gradient. Nous proposons ainsiun nouvel algorithme qui surpasse l'état de l'art sur des jeux de donnéesvariés.Deuxièmement, la thèse couvre les techniques permettant de calculerdes fonctions de répartition empirique respectueuses de la confidentialité,même dans les cas où la donnée est partagée entre plusieurs entités. Cetteétude propose une nouvelle méthode compatible avec différents protocolesde sécurité, offrant des garanties de confidentialité démontrables etune analyse des coûts computationnels. De nombreuses applicationsdifférentes sont testées expérimentalement,dont les résultats prouvent l'utilité de cette méthode.Par l'analyse des mécanismes d'optimisation et des fonctions de répartition,cette thèse participe au développement de techniques d'apprentissageautomatique et d'analyse respectueuses de la vie privée, plus pratiques et efficaces. Deep neural networks and other machine learning models have experiencedunprecedented growth in recent years. Alongside this enthusiasm, there hasbeen an increasing and well-founded concern about the privacy of the vastamounts of data required to train these models. The combination of thesetwo factors has been a key driver of interest in privacy-preservingmachine learning techniques. Differential Privacy has emerged as the goldstandard for measuring privacy. This framework is now applied on awide range of data-driven tasks, such as machine learning and collaborativeanalysis, where multiple stakeholders wish to query shared data withoutexposing their own. The main challenge in this domain lies in balancingprivacy guarantees with the utility of the results. Indeed,privacy-preserving techniques often come at the cost of reduced utility.This thesis focuses on techniques to improve machine learning models andtools for analyzing them, while ensuring a satisfactory level ofprivacy for the underlying data. First, it introduces an innovativeapproach to privacy-preserving gradient descent methods by addressingthe bias introduced by existing methods. By leveraging properties ofgradient regularity rather than clipping the gradient, as it iscommonly done in popular methods, our approach effectively reducesbias and the noise added to the gradient. We propose a new algorithmthat surpasses the state of the art across various datasets.Second, the thesis explores techniques for computing privacy-preservingempirical cummulative distribution functions, even in cases where thedata is distributed across multiple entities. This study proposes anovel method compatible with different security protocols,offering provable privacy guarantees and an analysis of computational costs.range of applications are explored, and experimental results arepresented to validate the utility of these methods.By analyzing optimization mechanisms and distribution functions,this thesis contributes to the development of more practical andefficient privacy-preserving machine learning and data analysis techniques. Electronic Thesis or Dissertation Text en PDF 1307373 https://pepite-depot.univ-lille.fr/LIBRE/EDMADIS/2025/2025ULILB016.pdf http://www.theses.fr/2025ULILB016/abes https://theses.hal.science/tel-05458397 https://theses.hal.science/tel-05458397 https://theses.hal.science/tel-05458397 Barczewski Antoine Barczewski 1988-02-05 FR 293063702 https://theses.fr/2025ULILB016 2025ULILB016 https://doi.org/10.70675/210193e0z34fcz4c2eza746zef671a33a1c8 2025-10-15 Informatique et applications Université de Lille (2022-....) 259265152 Doctorat Docteur es non oui Ramon Jan MADS_DIRECTEUR_DE_THESE_1 176311939 Bourhis Pierre MADS_PRESIDENT_DU_JURY 150582102 Boutet Antoine MADS_MEMBRE_DU_JURY_1 170309207 Loubes Jean-Michel MADS_RAPPORTEUR_1 078527015 Clausel Marianne MADS_RAPPORTEUR_2 133853195 École graduée Mathématiques, sciences du numérique et de leurs interactions (Lille ; 2021-....) MADS_ECOLE_DOCTORALE_1 258621362 Centre Inria de l'Université de Lille MADS_PARTENAIRE_DE_RECHERCHE_1 104752 185432247 Centre de Recherche en Informatique, Signal et Automatique de Lille MADS_PARTENAIRE_DE_RECHERCHE_2 410272 18388695X Institut national de recherche en informatique et en automatique (France ; 1979-....) MADS_PARTENAIRE_DE_RECHERCHE_3 026489171 Agence nationale de la recherche (France ; 2005-....) MADS_PARTENAIRE_DE_RECHERCHE_4 121892174 ddc:004 Ramon Jan Bourhis Pierre Boutet Antoine Loubes Jean-Michel Clausel Marianne École graduée Mathématiques, sciences du numérique et de leurs interactions (Lille ; 2021-....) Centre Inria de l'Université de Lille Centre de Recherche en Informatique, Signal et Automatique de Lille Institut national de recherche en informatique et en automatique (France ; 1979-....) Agence nationale de la recherche (France ; 2005-....) PDF 1307373