Résumé
Les algorithmes de régression linéaires peuvent devenir très flexibles en introduisant au préalable un changement de variable Φ(x). Après ce changement de variable, une régression linéaire peut se réécrire à partir des valeurs prises par le noyau k(x, x’) = < Φ(x), Φ(x’) > sur les données d’apprentissage. La régression qui minimise l’erreur empirique se calcule par la résolution d’un problème d’optimisation convexe.
La minimisation de fonctions convexes sous contraintes est au cœur de beaucoup de problèmes d’apprentissage. La convexité garantit que l’ensemble des minima est convexe. De plus, il existe un unique minimum si la convexité est stricte. La minimisation d’une fonction sous contraintes d’inégalités peut s’exprimer en définissant un Lagrangien qui associe des variables duales à chacune des contraintes. Ces variables sont les multiplicateurs de Lagrange. On montre qu’un point-selle du lagrangien correspond à un minimum qui satisfait les contraintes. Si la fonction que l’on minimise ainsi que les contraintes sont convexes, alors la condition de point-selle du lagrangien est nécessaire et suffisante pour obtenir une solution du problème d’optimisation. Les conditions de Kuhn et Tucker s’obtiennent en annulant les dérivées partielles du Lagrangien relativement aux données, et en assurant que les dérivées relativement aux multiplicateurs sont négatives.
