Résumé
Le cours a repris le problème d’optimisation dans le cas particulier des réseaux de neurones. Il a décrit le phénomène de sur-paramétrisation, qui semble aider la généralisation, comme cela a été observé avec les courbes de « doubles descentes » lorsque le nombre de paramètres augmente. On a abordé ensuite le problème d’approximation de fonctions et de malédiction de la dimensionnalité. Cela a commencé par un rappel des bornes d’approximations des fonctions lipchitziennes, qui sont pessimistes en grande dimension. La séparabilité est une forme de régularité qui permet de réduire la dimension de l’espace d’approximation en réduisant les interactions entre les variables. Cela peut considérablement améliorer les vitesses d’approximation. C’est à la base de descripteurs SIFT et MFCC utilisés pour la reconnaissance d’images et de sons. La séparabilité peut aussi se faire à travers les échelles, ce qui peut s’implémenter avec des transformées en ondelettes.
Les symétries connues a priori sont une autre source importante de régularité. Une symétrie est un opérateur qui transforme les données tout en préservant les valeurs de la fonction que l’on veut approximer. L’ensemble des symétries définissent un groupe. Le cours a rappelé la définition d’un groupe. La réduction de dimension de l’approximation se fait en observant que l’on peut quotienter l’espace des données par le groupe de symétrie, ce qui définit des invariants.
