Résumé
Le dernier cours revoit les principes mathématiques qui guident la réduction de dimensionnalité pour la classification ou la régression. Il montre des applications pour le traitement de la parole, pour la reconnaissance d’images, mais aussi pour la régression de fonctionnelles en physique, notamment pour calculer l’énergie quantique de molécules. Il fait le lien entre les architectures convolutives et la transformée en scattering par ondelettes, qui s’obtient en itérant sur des transformées en ondelettes avec des modules qui suppriment la phase.
Les réseaux de scattering incluent des filtres d’ondelettes optimisés à partir de l’information a priori que l’on a sur les signaux. Cette transformée s’implémente dans un réseau de neurones profonds dont les filtres ne sont donc pas appris. La séparation d’échelles et la stabilité par déformation de la transformée de scattering par ondelettes est suffisante pour obtenir des résultats proches de l’état de l’art sur des problèmes de classification qui ne sont pas trop complexes.
Pour la classification d’images incluant des structures complexes, une représentation définie a priori ne semble pas suffisante pour atteindre les résultats obtenus par des réseaux de neurones appris. Cet apprentissage peut être capturé par des représentations parcimonieuses, dans des dictionnaires qui doivent être appris en fonction de la tâche de classification. On comprend toujours mal cet apprentissage ainsi que les propriétés des dictionnaires obtenus.
