Note ABES Mathematics of statistical sequential decision making : concentration, risk-awareness and modelling in stochastic bandits, with applications to bariatric surgery aMathématiques de la prise de décision séquentielle statistique : concentration, aversion au risque et modélisation pour les bandits stochastiques, et applications à la chirurgie bariatrique Bandits stochastiques Statistiques Santé Chirurgie bariatrique Concentration uniforme en temps Aversion au risque Stochastic bandits Statistic Health Bariatric surgery Time-Uniform concentration Prise de décision (statistique) Problème du bandit manchot Fonctions de concentration Suivi de cohortes de malades Obésité -- Chirurgie Patients Systèmes de recommandation (informatique) Cette thèse porte sur l'étude des défis mathématiques liés à l'analyse d'algorithmes de prise de décision séquentielle pour le suivi postopératoire de patients. Les bandits stochastiques (multi-bras, contextuels) modélisent l'apprentissage d'une suite d'actions (politique) par un agent évoluant dans un environnement incertain afin de maximiser les récompenses observées. Afin d'apprendre de telles politiques optimales, les algorithmes de bandits se confrontent au dilemme de l'exploitation de l'information déjà acquise et de l'exploration d'actions incertaines. De tels algorithmes ont été amplement étudiés et déployés dans le cadre d'applications industrielles faisant intervenir de grands jeux de données, un faible risque pour chaque décision, ainsi que des hypothèses de modélisation bien définies, comme par exemple la maximisation du taux de clic dans la publicité en ligne. A l'inverse, le problème des recommandations de santé requiert un tout nouveau paradigme de petits échantillons, d'aversion au risque et de modélisation complexe et non paramétrique. Dans cette optique, nous avons développé de nouvelle bornes de concentration uniforme en temps (Bregman, Chernoff empirique), introduit un nouveau cadre de bandits contextuels conscients des risques (au moyen de mesure de risque élicitables), et analyser une nouvelle classe d'algorithmes de bandits non paramétriques sous des hypothèses faibles (échantillonnage de Dirichlet). Outre des garanties théoriques, ces résultats sont étayés par des observations empiriques. Nous avons enfin développé, en coordination avec une équipe de médecins et chirurgiens dans le cadre d'un projet de suivi postopératoire, un modèle interprétable par apprentissage automatique de prédiction de la trajectoire de poids à long terme de patients après chirurgie bariatrique. This thesis aims to study some of the mathematical challenges that arise in the analysis of statistical sequential decision making algorithms for postoperative patients follow-up. Stochastic bandits (multi-armed, contextual) model the learning of a sequence of actions (policy) by an agent in an uncertain environment in order to maximise observed rewards. To learn optimal policies, bandit algorithms have to balance exploitation of current knowledge and exploration of uncertain actions. Such algorithms have largely been studied and deployed in industrial applications with large datasets, low risk decisions and clear modelling assumptions, such as clickthrough rate maximisation in online advertising. By contrast, digital health recommendations call for a whole new paradigm of small samples, risk-averse agents and complex, nonparametric modelling. To this end, we developed new safe, anytime valid concentration bounds, (Bregman, empirical Chernoff), introduced a new framework for risk-aware contextual bandits (with elicitable risk measures) and analysed a novel class of nonparametric bandit algorithms under weak assumptions (Dirichlet sampling). In addition to the theoretical guarantees, these results are supported by in-depth empirical evidence. Finally, as a first step towards personalised postoperative follow-up recommendations, we developed with medical doctors and surgeons an interpretable machine learning model to predict the long term weight trajectories of patients after bariatric surgery. Electronic Thesis or Dissertation Text en PDF 32642179 https://pepite-depot.univ-lille.fr/LIBRE/EDMADIS/2024/2024ULILB001.pdf https://theses.fr/2024ULILB001/abes https://theses.hal.science/tel-04688507 https://theses.hal.science/tel-04688507 https://theses.hal.science/tel-04688507 Bregman Deviations of Generic Exponential Families Sayak Ray Chowdhury Patrick Saux Odalric-Ambrym Maillard Aditya Gopalan en 2023 Text Risk-aware linear bandits with convex loss Patrick Saux Odalric-Ambrym Maillard en 2023 Text From optimality to robustness: Dirichlet sampling strategies in stochastic bandits Dorian Baudry Patrick Saux Odalric-Ambrym Maillard en 2021 Text Development and validation of an interpretable machine learning-based calculator for predicting 5-year weight trajectories after bariatric surgery: a multinational retrospective cohort SOPHIA study Patrick Saux Pierre Bauvin Violeta Raverdy Julien Teigny Hélène Verkindt Tomy Soumphonphakdy Maxence Debert Anne Jacobs Daan Jacobs Valerie Monpellier Phong Ching Lee Chin Hong Lim Johanna C Andersson-Assarsson Lena Carlsson Per-Arne Svensson Florence Galtier Guelareh Dezfoulian Mihaela Moldovanu Severine Andrieux Julien Couster François Pattou Elsevier en 2023 Text Saux Patrick Saux 1993-01-23 FR 280077912 https://theses.fr/2024ULILB001 2024ULILB001 https://doi.org/10.70675/fb3107f5z8cc0z45adzbbb0z72057aab4b87 2024-01-30 Informatique et applications Université de Lille (2022-....) 259265152 Doctorat Docteur es oui oui Preux Philippe MADS_DIRECTEUR_DE_THESE_1 059896353 Maillard Odalric-Ambrym MADS_DIRECTEUR_DE_THESE_2 158055594 Tommasi Marc MADS_PRESIDENT_DU_JURY 121846385 Josse Julie MADS_MEMBRE_DU_JURY_1 22345897X Grünwald Peter D. MADS_MEMBRE_DU_JURY_2 095063110 Thiébaut Rodolphe MADS_MEMBRE_DU_JURY_3 071580735 Maumy Myriam MADS_RAPPORTEUR_1 050228439 Saumard Adrien MADS_RAPPORTEUR_2 148321933 École graduée Mathématiques, sciences du numérique et de leurs interactions (Lille ; 2021-....) MADS_ECOLE_DOCTORALE_1 258621362 Centre Inria de l'Université de Lille MADS_PARTENAIRE_DE_RECHERCHE_1 104752 185432247 Centre de Recherche en Informatique, Signal et Automatique de Lille MADS_PARTENAIRE_DE_RECHERCHE_2 410272 18388695X ddc:004 Preux Philippe Maillard Odalric-Ambrym Tommasi Marc Josse Julie Grünwald Peter D. Thiébaut Rodolphe Maumy Myriam Saumard Adrien École graduée Mathématiques, sciences du numérique et de leurs interactions (Lille ; 2021-....) Centre Inria de l'Université de Lille Centre de Recherche en Informatique, Signal et Automatique de Lille PDF 32642179