Résumé
Nous étudions les algorithmes adaptatifs de descente de gradient par dynamique de Langevin (SGLD) pour résoudre des problèmes d'optimisation et d'inférence. Ces algorithmes, inspirés de l'analyse stochastique, consistent en une descente de gradient avec ajout de bruit Gaussien exogène dans le but d'échapper aux minima locaux et points selle, en lien avec l'algorithme de recuit simulé. Contrairement à l'équation différentielle stochastique de Langevin classique, nous nous concentrons sur le cas où le bruit exogène est adaptatif i.e. non constant et dépend de la position de la procédure.
Dans une première partie nous donnerons des éléments de preuve de convergence de ces algorithmes, puis dans une seconde partie nous présenterons des exemples d'application à des problèmes d'optimisation apparaissant en apprentissage machine et en probabilités numériques.
