Les réseaux de neurones profonds ont des applications spectaculaires dans des domaines très divers dont la vision par ordinateur, la compréhension de la parole, l’analyse de langages naturels, mais aussi pour la robotique, la prédiction de phénomènes physiques divers, le diagnostic médical ou des jeux de stratégie comme le Go. Ce premier cours sur les réseaux de neurones présente leurs applications, les architectures de ces réseaux, les algorithmes permettant d’optimiser leurs paramètres, et enfin les questions mathématiques sur l’optimisation et la capacité de généralisation des réseaux de neurones. Nous verrons que les théorèmes connus ne répondent à ces questions que dans des cas simplifiés qui sont souvent loin des conditions d’applications de ces réseaux. La compréhension mathématique des réseaux de neurones profonds reste donc essentiellement un problème ouvert. Outre les challenges de données, les séminaires sont dédiés à des applications spécifiques des réseaux de neurones profonds.
Le cours abordera successivement les sujets suivants :
- Applications des réseaux de neurones en vision, audition, physique, langage naturel...
- Réduction de la dimensionnalité : symétries, décompositions multi-échelles, et parcimonie.
- Les origines des réseaux de neurones : la cybernétique et le perceptron.
- Universalité d'un réseau à deux couches.
- Approximations de fonctions : malédiction de la dimensionnalité.
- Approximations avec des réseaux multicouches.
- Apprentissage d'un réseau : fonctions de coûts.
- Optimisations par descente de gradient stochastique.
- Algorithme de rétro-propagation.
- Architecture des réseaux convolutifs.
- Analyses multi-échelles et ondelettes.
- Symétries, invariants et parcimonie dans les réseaux profonds.