Le cours présente l'état de l'art de la génération d'images, de sons et de données scientifiques par réseaux de neurones profonds. On se concentre sur l'échantillonnage de distributions de probabilités obtenues par transport d'un bruit blanc Gaussien. Après une revue de l'état de l'art, on étudie le transport par score diffusion, qui effectue un débruitage progressif pour générer des données (images, sons, …). Cela nécessite d'estimer le score de la densité de probabilité, avec un réseau de neurone profond. Le cours introduit les bases mathématiques, algorithmiques avec leurs applications. Les sujets suivants seront abordés :
- Transport de probabilités en apprentissage profond. Génération et échantillonnage par transport ;
- Équation de Fokker Plank donnant l'évolution de la densité de probabilité d'un système dynamique. Équation de Langevin pour l'échantillonnage de probabilités ;
- Génération de données par score diffusion. Estimation du score par débruitage avec la formule de Tweety-Myasawa ;
- Apprentissage du score avec des réseaux de neurones profonds. Généralisation de l'apprentissage. Applications à la génération d''images et de sons ;
- Analyse du calcul effectué par les réseaux de neurones. Débruitage et parcimonie dans des bases orthogonales ;
- Génération de données conditionnée par une information complémentaire ;
- Interpolant stochastiques pour la prédiction. Applications à la prédiction de systèmes physiques chaotiques comme la météorologie.