Analyse et apprentissage automatique de
réseaux de neurones polynomiaux
(multifidélité pour la conception sous
incertitudes)
Encadrement : Rodolphe Turpault† & Gaël Poëtte†‡
† IMB Bordeaux, ‡ CEA-CESTA
[Link]@[Link] [Link]@[Link]
Ce sujet de thèse s’inscrit dans le contexte de l’utilisation des outils d’Intelligence Artificielle (IA)
et d’apprentissage automatique pour la simulation de phénomènes physiques complexes. L’utilisation
de l’IA en synergie avec des codes de simulation pour la physique ouvre les portes vers de nouveaux
moyens de calculs efficaces et fiables [8, 6]. Toutefois, l’application des outils IA pour la simulation n’est
pas immédiate et sans risque : les utilisateurs sont alors confrontés aux trois défis de l’IA que sont la
certifiabilité (avoir confiance en son IA), l’interprétabilité/l’explicabilité (comprendre ce qui améliore
ou freine son IA) et la frugalité (obtenir des prédictions précises mais également rapidement/rapides).
La frugalité notamment est indispensable par exemple pour accélérer des codes de calculs [8, 6]. Dans
ce contexte, la phase d’apprentissage s’est révélée critique [7] afin d’obtenir des modèles précis et
peu profonds donc rapides d’exécution et à l’encombrement mémoire contrôlé. L’apprentissage repose
sur la résolution d’un problème d’optimisation en grande dimension d’une fonction de coût complexe
(non-convexe), dont le mécanisme ne ”voit” pas toujours la totalité (mini-batchs). Le réseau le plus
efficace doit quant à lui être recherché parmi une myriade de combinaisons d’hyperparamètres dont
les effets ne sont pas toujours intuitifs. Ce sujet de thèse aborde ainsi la possibilité de construire
progressivement des réseaux aux complexité et performance croissantes et contrôlées.
Le sujet de thèse part de deux constats :
— Il y a quelques années, l’utilisation de réseaux de neurones profonds à fonctions d’activation
polynomiales orthogonales a présenté des résultats d’une précision très intéressantes sur des
applications du CEA [9, 5] (phénomènes à seuil, chocs dans un contexte d’inférence Bayésienne).
L’approche est plus connue sous le nom de Chaos polynomial itératif : elle permet de construire
des modèles de complexités graduelles en ajoutant des couches tout en assurant un gain. Par
contre, l’apprentissage de ces réseaux s’est révélé complexe, instables vis-à-vis de perturbations
[10].
— Récemment, de nouveaux optimiseurs (cœur de l’apprentissage) ont été développés [3, 4, 2, 1].
Ces optimiseurs sont basés sur des principes mathématiques forts et concrets en lien avec des
équations différentielles. Outre leur simplicité, ils ont montré une grande efficacité sur des
problèmes de référence.
La première partie de la thèse consistera à s’approprier l’état de l’art sur les réseaux polynomiaux et
sur l’apprentissage de réseaux de neurones. Dans un second temps, il s’agira de combiner les travaux
sur les réseaux polynomiaux orthogonaux de [9, 10] et ceux sur les optimisers stables et convergeants
de [3, 4, 2, 1]. Dans un troisième temps, l’analyse des nouvelles méthodes mises en place sera effectuée,
les propriétés mathématiques de l’apprentissage et de l’architecture démontrées. On cherchera finale-
ment à éprouver le nouvel optimiseur sur des problèmes concrets issus d’applications rencontrées au
CEA-CESTA (métamodélisation en grande dimension sur des variétés complexes pour faciliter la pro-
pagation d’incertitudes ou l’accélération de codes, exploitation et dépouillement efficace d’expériences
de dynamique rapide, etc.) notamment en revisitant les résultats de [9, 10] sur les réseaux de neurones
polynomiaux.
Cette thèse s’inscrit donc dans un contexte entre les mathématiques pour la simulation (modélisation,
Analyse et apprentissage de réseaux polynomiaux
analyse numérique, analyse d’incertitudes) et pour l’apprentissage statistique (probabilité, statistique).
Il sera effectuée dans le cadre des travaux conjoints menés entre le CEA-CESTA et l’Institut de
Mathématique de Bordeaux (IMB) au sein du Laboratoire de Recherche Conventionné ANABASE.
La mission du doctorant/objectifs :
1. Bibliographie : optimiseurs pour l’apprentissage de réseaux de neurones, réseaux de neurones
polynomiaux.
2. Prise en main des méthodes et des codes associés, notamment du nouvel optimiseur [3, 4] et de
i-gPC [9, 10].
3. Analyse et développement de nouvelles architectures polynomiales et de leur entrainement avec
les nouveaux optimiseurs (tensorflow/pytorch/scikitlearn).
4. Etude numérique approfondie (profiling).
5. Etude théorique.
Le profil recherché :
1. Master 2 ou 3ème année d’école d’ingénieur avec une spécialité en mathématiques appliquées.
2. Maitrise des langages de programmation tels que Fortran ou C/C++ et python.
3. Rigueur scientifique et capacité à mener un plan d’expériences numériques.
Mots-clés : réseaux de neurones, deep learning, transfer learning, optimiseurs, méthodes numériques
Références
[1] Bilel Bensaid. Analyse et développement de nouveaux optimiseurs en machine learning. 2024.
soutenue le 17 octobre 2024.
[2] Bilel Bensaid, Gaël Poëtte, and Rodolphe Turpault. An abstract lyapunov control optimizer :
Local stabilization and global convergence. submitted to Math. Computing, 2023.
[3] Bilel Bensaid, Gaël Poëtte, and Rodolphe Turpault. Deterministic neural networks optimization
from a continuous and energy point of view. Journal of Scientific Computing, 9-1 :1573–7691,
2023.
[4] Bilel Bensaid, Gaël Poëtte, and Rodolphe Turpault. Lyapunov optimization for neural networks
training. HAL, 2023.
[5] Alexandre Birolleau, Gaël Poëtte, and Didier Lucor. Adaptive bayesian inference for discontinuous
inverse problems, application to hyperbolic conservation laws. Communications in Computational
Physics, 16(1) :1â34, 2014.
[6] A. Bourriaud, R. Loubère, and R. Turpault. A priori neural networks versus a posteriori mood
loop : A high accurate 1d fv scheme testing bed. Journal of Scientific Computing, 84, 2020.
[7] Paul Novello, Gaël Poëtte, David Lugato, and Pietro M Congedo. Goal-oriented sensitivity
analysis of hyperparameters in deep learning. 2024.
[8] Paul Novello, Gaël Poëtte, David Lugato, Simon Peluchon, and Pietro Marco Congedo. Accele-
rating hypersonic reentry simulations using deep learning-based hybridization (with guarantees).
J. Comput. Phys., September 2022.
[9] G. Poëtte and D. Lucor. Non Intrusive Iterative Stochastic Spectral Representation with Ap-
plication to Compressible Gas Dynamics. J. of Comput. Phys., 2011. DOI information :
10.1016/[Link].2011.12.038.
[10] Gaël Poëtte, Alexandre Birolleau, and Didier Lucor. Iterative polynomial approximation adapting
to arbitrary probability distribution. SIAM J. Numerical Analysis, 53(3) :1559–1584, 2015.
