Résumé
La réduction de la dimensionnalité est au cœur de de la modélisation et de l’analyse de données, que ce soit pour représenter les données x ou des fonctions de ces données f(x). On veut construire des modèles ayant le moins de variables possible de x ou de f, ce que l’on appelle une représentation parcimonieuse. Cela correspond au principe du rasoir d’Occam en sciences et en philosophie, « les explications les plus simples sont les meilleures ». Ce cours d’introduction rappelle ces notions et explique pourquoi la réduction de la dimensionnalité est une étape importante de la compression de signaux x avec le moins de bit possibles, mais aussi pour la suppression de bruit additionné à un signal x inconnu ou pour des problèmes inverses où il faut estimer x à partir de mesures incomplètes et bruitées. C’est aussi le cas pour les problèmes de classification ou de régression, où il s’agit d’approximer la fonction f(x) avec un nombre limité de données d’entraînement. Dans tous les cas, la réduction de dimensionnalité permet de réduire le nombre de paramètres à estimer, par exemple ceux d’un réseau de neurones pour l’approximation de f.
Le cours va aborder ce sujet de trois points de vue différents, mais équivalents : l’existence de régularités, l’approximation en basse dimension, et la construction de représentations parcimonieuses. Ces trois notions sont les sommets du triangle RAP (Régularité, Approximation, Parcimonie) dont le cours va étudier les propriétés mathématiques, avec des approches linéaires et non linéaires.
