Résumé
L’apprentissage par réseaux de neurones a d’excellentes capacités de généralisation sur des problèmes aussi divers que la reconnaissance d’images, de son, du langage, la prédiction en physique ou pour des diagnostics médicaux. Cela indique que ces problèmes ont des régularités similaires. En 1962, un article de Herbert Simons, « L’architecture de la complexité », définit quelques propriétés génériques de systèmes complexes. Le cours a commencé par une présentation de cet article, qui est issu d’une analyse « cybernétique » à partir d’un modèle de système dynamique incluant une boucle de rétro-action. Les propriétés essentielles mises en avant sont l’existence d’une organisation hiérarchique, la régularité imposée par la stabilité au cours de l’évolution temporelle, ainsi que la séparabilité de certaines composantes du système qui ont des interactions faibles. Ces propriétés se retrouvent dans les systèmes neurophysiologiques, biologiques, physiques, ou symboliques.
En lien avec cette analyse, le cours a abordé l’architecture hiérarchique et multi-échelle des réseaux de neurones convolutifs, qui sont eux-mêmes structurés par une information a priori. Comprendre ces réseaux nécessite d’analyser trois aspects : l’estimation, l’optimisation et l’approximation. L’estimation consiste à identifier le meilleur modèle dans une classe définie a priori par l’architecture. Les propriétés des estimateurs sont brièvement revues. L’estimation peut se faire en minimisant une fonction de risque. Cette minimisation est calculée avec un algorithme d’optimisation et notamment par descente de gradient stochastique, afin d’ajuster les paramètres du réseau.
