Note ABES Ensembles de réseaux de neurones répartis et parallèles appliqués au domaine de l'énergie Ensembles of Deep Neural Networks distributed and parallel for the energy industry Apprentissage ensembliste Deep Learning Ensemble machine learning High Performance Computing Computer Vision Reinforcement learning Réseaux neuronaux (informatique) Apprentissage profond Apprentissage par renforcement (intelligence artificielle) Vision par ordinateur Calcul intensif (informatique) L'apprentissage ensembliste de réseaux de neurones profonds (Deep Neural Network - DNN) combine les prédictions de plusieurs DNN pour améliorer les performances de résultats obtenus à l’aide d’un réseau unique (DNN) notamment en réduisant l'erreur de généralisation.Ces techniques d’ensemble ont le potentiel d'améliorer des applications complexe et stratégique ML en particulier celles du domaine de l’énergie. Cependant, implémenter efficacement ces techniques d’ensembles soulèvent plusieurs questions: Comment orchestrer efficacement les différentes étapes du cycle de vie des ensembles de DNN (apprentissage, inférence) en vue d’une exécution globale performante tirant partie des infrastructures HPC. Comment entrainer plusieurs DNN indépendants, sélectionner un ensemble performant, et exposer les prédictions de l'ensemble construit pour des applications clientes.Dans ce travail, nous proposons des procédures pour construire un ensemble précis de DNN avec de multiples accélérations des étapes son cycle de vie. Nos procédures garantissent de trouver automatiquement de bons ensembles en se basant sur la diversité des DNN, leur précision individuelle et optimisation du coût de calcul de l'ensemble. En ce qui concerne les deux objectifs qualité des prédictions et la vitesse d'inférence, nous avons découvert que notre procédure construit des ensembles de DNN dont le résultat de prédiction apporte un gain significatif (rapidité, précision des prédictions, reproductibilité, économie en consommation de ressources) supérieur par rapport à l’utilisation d’un DNN unique.Ces technologies ont été implémentées au sein de l’entreprise, sur des cas d’usages concrets et opérationnels (classification d’images, contrôle optimal d’installation par renforcement learning). L’application sur ces cas d’usage, entre dans la stratégie de l’entreprise son orientation vers la production d’énergie décarbonée. Ensemble of Deep Neural Networks (DNNs) combines the predictions from multiple DNNs to improve the predictions to improve predictions over one single DNNs by reducing generalization error.They have the potential to develop the most complex and strategic applications such as developing ML applications for the energy industry. However, ensembles of DNNs raise multiple open questions such as: to run and scale efficiently the steps of their life cycle (training and inference) to obtain global performance leveraging HPC. How to train multiple independent DNNs, select a performant ensemble, and serving the built ensemble’s predictions to the client application.In this work, we propose procedures to build an accurate ensemble of DNNs with multiple accelerations of its life cycle. Our procedures ensure to automatically find good ensembles by searching complementary DNNs, individual accuracy, and computing cost. In regard to those two objectives: accuracy and inference speed, we discovered that our procedure to build Ensembles of DNNs bring high advantages: computing speed, accuracy, and higher reproducibility, save resource consumption.Those new technics have been proposed on practical applications on both supervised image classification and optimal facility control by deep reinforcement learning. Experimental proofs have been performed on multiple energy applications towards a low-carbon future. Electronic Thesis or Dissertation Text en PDF 7896716 https://pepite-depot.univ-lille.fr/LIBRE/EDMADIS/2022/2022ULILB009.pdf https://theses.hal.science/tel-03936792 https://theses.hal.science/tel-03936792 https://theses.hal.science/tel-03936792 https://theses.hal.science/tel-03936792 https://theses.hal.science/tel-03936792 https://theses.hal.science/tel-03936792 https://theses.fr/2022ULILB009/abes https://theses.hal.science/tel-03936792 https://theses.hal.science/tel-03936792 https://theses.hal.science/tel-03936792 Pochelu Pierrick Pochelu 1992-01-10 FR 265275555 https://theses.fr/2022ULILB009 2022ULILB009 https://doi.org/10.70675/64704c18zbbf8z40b2za85eze4ab170af86a 2022-06-13 Informatique et applications Université de Lille (2022-....) 259265152 Doctorat Docteur es non oui Petiton Serge MADS_DIRECTEUR_DE_THESE_1 070328153 Duchien Laurence MADS_PRESIDENT_DU_JURY 033697787 Conche Bruno MADS_MEMBRE_DU_JURY_1 Boillod-Cerneux France MADS_MEMBRE_DU_JURY_2 184593387 Sens Pierre MADS_MEMBRE_DU_JURY_3 259987166 Pereira Cécile MADS_MEMBRE_DU_JURY_4 185585310 Saltz Joel MADS_RAPPORTEUR_1 184536928 Daydé Michel MADS_RAPPORTEUR_2 030968054 École graduée Mathématiques, sciences du numérique et de leurs interactions (Lille ; 2021-....) MADS_ECOLE_DOCTORALE_1 258621362 Centre de Recherche en Informatique, Signal et Automatique de Lille MADS_PARTENAIRE_DE_RECHERCHE_1 410272 18388695X ddc:004 Petiton Serge Duchien Laurence Conche Bruno Boillod-Cerneux France Sens Pierre Pereira Cécile Saltz Joel Daydé Michel Ecole doctorale Mathématiques, sciences du numérique et de leurs interactions (Lille) Centre de recherche en informatique, signal et automatique de Lille (CRIStAL) PDF 7896716