• Langue : Anglais
• Discipline : Informatique et applications
• Identifiant : 2024ULILB044
• Type de thèse : Doctorat
• Date de soutenance : 06/12/2024

Résumé en langue originale

Les architectures de réseaux neuronaux sont au centre de l'immense succès de l'apprentissage profond dans de nombreuses tâches. La recherche d'architectures de réseaux de neurones (NAS) est une tâche critique dans le développement de modèles d'apprentissage profond efficaces, qui permet de découvrir de nouvelles composantes ou configurations efficaces, ou bien d'adapter de manière optimale les architectures existantes aux contraintes matérielles de déploiement, par exemple par le biais du NAS adapté au matériel.Bien que les algorithmes d'optimisation en boîte noire soient bien adaptés à ces problèmes, le coût élevé de l'évaluation des solutions individuelles met l'accent sur les méthodes à forte efficacité d'échantillonnage comme l'Optimisation Bayésienne (BO).Dans ce travail, nous partons des principes fondamentaux qui sous-tendent l'efficacité d'échantillonnage de l'Optimisation Bayésienne, et nous tirons parti de certains attributs de la NAS et de la flexibilité inhérente et de la performance prédictive des Deep Ensembles pour réduire de manière significative le temps de recherche et les ressources nécessaires pour explorer efficacement les espaces de recherche.Sur les benchmarks NAS, cette stratégie de recherche atteint une accélération de 100x par rapport à la recherche aléatoire, et jusqu'à 50% de réduction du temps de recherche par rapport aux méthodes basées sur l'Optimisation Bayésienne ou la recherche locale.La conception d'architectures de réseaux neuronaux est un problème complexe qui peut rapidement conduire à une explosion combinatoire. Une conception judicieuse de l'espace de recherche est une condition importante pour trouver rapidement des modèles performants.Nous démontrons la polyvalence et l'efficacité de cette approche de recherche sur plusieurs espaces de recherche de types et de degrés de complexité différents. Nous nous concentrons sur la recherche et l'amélioration d'architectures de modèles de vision efficaces. Nous démontrons qu'il est possible de trouver de nouveaux modèles très performants tout en limitant les coûts de calcul requis.

Résumé traduit

Neural network architectures are at the heart of the tremendous success deep learning has demonstrated in multitudes of tasks. Neural Architecture Search (NAS) is a critical task in the development of efficient vision models, instrumental in unearthing new efficient architecture patterns or optimally adapting existing architectures to hardware and deployment constraints, for instance via hardware-aware NAS.While many blackbox optimization algorithms are well-suited for such problems, the high cost of evaluating individual solutions places a special focus on highly sample-efficient methods like Bayesian Optimization (BO).In this work, we start from the core principles behind the sample efficiency of BO, and leverage certain attributes of NAS and the inherent flexibility and predictive performance of deep ensembles to significantly reduce the time and resources required to effectively explore the search spaces.On NAS benchmarks, this search strategy achieves a 100x acceleration compared to random search, and up to 50% reduction compared to leading BO-based methods and local search methods.Creating neural network architectures is a complex design problem which can quickly lead to combinatorial explosion. Well-considered search space design is an important requirement for quickly finding high-performing models.We showcase the versatility and effectiveness of this search approach on a range of search spaces of varying types and degrees of complexity. Our focus is on finding and improving efficient vision model architectures intended for edge devices. We demonstrate the possibility of finding new and high-performing designs without incurring high computing costs.