Résumé
Le cours a commencé par un rappel des architectures multi-échelles des réseaux de neurones profonds, leurs nombreuses applications, ainsi que des questions que l’on se pose pour comprendre leur fonctionnement. Il s’agit d’établir le lien entre les architectures, les algorithmes d’apprentissage et les propriétés de généralisation. Cela demande de mettre en évidence les principes d’organisation qui permettent de contourner la malédiction de la dimensionnalité, grâce à de l’information a priori sur le problème. On peut distinguer trois types de propriétés : la séparabilité des composantes, qu’elle soit hiérarchique ou spatiale, l’existence de symétries, et l’utilisation de représentations parcimonieuses. La parcimonie permet un codage efficace sur un petit nombre de structures irréductibles qui peuvent être apprises. Ces propriétés font appel à de nombreuses branches des mathématiques dont les statistiques, les probabilités, l’optimisation, l’analyse harmonique et la géométrie. Le cours s’est concentré sur des applications pour la classification d’images ou de sons, en faisant le lien avec les modèles de neurophysiologie de la vision et de l’audition.
