Résumé
On commence par construire l’extension séparable d’une base pour des fonctions de plusieurs variables, et définir la régularité de Sobolev en dimension p quelconque à partir de la décroissance des coefficients de Fourier capturée par une série convergente. On démontre l’équivalence entre cette régularité et la décroissance de l’erreur d’approximation à partir de M coefficients de Fourier en dimension p. Ce théorème met en évidence la malédiction de la dimensionnalité qui nécessite un nombre de coefficients M qui grandit exponentiellement avec la dimension, pour atteindre une erreur d’approximation fixée. Dans le cas de la base de Fourier, ces approximations peuvent aussi s’interpréter comme des filtrages qui ne gardent que les basses fréquences.
L’optimalité des approximations linéaires est étudiée dans un cadre probabiliste à partir des composantes principales. Lorsque x est un vecteur aléatoire, on démontre que l’erreur d’approximation linéaire à partir de M coefficients dans une base orthonormée ne dépend que de sa matrice de covariance. On démontre le théorème d’approximation de Karhunen-Loève, à savoir que les bases qui minimisent l’approximation linéaire sont des bases qui diagonalisent la matrice de covariance. Les vecteurs d’une telle base sont appelés des composantes principales. Si x(t) est stationnaire alors sa matrice de covariance est une matrice de convolution diagonalisée dans la base de Fourier. Les composantes principales sont donc des sinusoïdes. Les approximations linéaires de Fourier sont optimales dans ce cas. Ceci termine le parcours du triangle entre régularité, approximation et parcimonie, dans le cas linéaire.
