Applications des réseaux de neurones profonds

Résumé

Pour comprendre l’impact des réseaux de neurones et les questions que cela pose, ce cours présente des applications très diverses : reconnaissance de la parole, traitement du langage naturel, prédiction de phénomènes physiques, neurophysiologie de la perception, ainsi que la modélisation et la génération de données complexes comme des images ou des sons.

L’analyse de la parole est un des domaines les plus anciens d’analyse de signaux, qui a émergé dès les années 1960. Les algorithmes d’analyse de la parole étaient souvent basés sur une représentation du signal par spectrogramme suivi d’un modèle de mixture de Gaussiennes optimisé avec une chaîne de Markov. Ces algorithmes ont été considérablement améliorés par les réseaux de neurones profonds y compris pour séparer des signaux audios mélangés, ce que l’on appelle de la séparation de sources. Une des questions est de comprendre le lien entre ces réseaux et les algorithmes plus classiques de reconnaissance, et d’expliquer l’amélioration importante qu’ils apportent.

Les théories du traitement du langage naturel ont considérablement influencé notre compréhension de la notion même d’intelligence. Ces théories ont beaucoup évolué depuis le structuralisme qui essaye de caractériser l’agrégation de structures élémentaires du langage jusqu’aux théories de grammaires formelles introduites par Chomsky. Le traitement informatique du langage naturel a commencé avec des modèles statistiques basés sur des chaînes de Markov et des modèles informatiques des grammaires formelles. Cependant, là encore les réseaux de neurones ont apporté des améliorations considérables pour des applications telles que la traduction automatique ou la génération de phrases pour répondre à des questions. Ce sont ces réseaux de neurones qui sont actuellement utilisés dans la plupart des applications commerciales.

L’application des réseaux de neurones à la physique est un sujet qui se développe rapidement. En physique, on essaye de prédire l’évolution d’un système en essayant de résoudre des équations fondamentales. Cela peut cependant devenir très compliqué lorsqu’il y a de nombreux corps en interaction. La prédiction de phénomènes physiques par réseaux de neurones peut s’assimiler à une forme de physique statistique. On prédit un phénomène à partir d’une base de données d’exemples, en essayant de capturer des formes de régularité de cette évolution. Des résultats de plus en plus précis sont obtenus avec des réseaux de neurones, en physique quantique, en dynamique des fluides ou en science des matériaux.

Le lien entre la neurophysiologie de la perception et l’architecture des réseaux de neurones profonds est aussi un sujet de plus en plus exploré. Les modèles de réseaux donnent actuellement de bons modèles de calculs pour expliquer certaines réponses de neurones dans les aires visuelles V1, V2, V4 ainsi que dans les aires corticales auditives A1 et A2. De nombreuses recherches sont actuellement menées sur cette interface.

Pour des applications robotiques ou pour des jeux de stratégie comme les échecs ou le Go, les réseaux de neurones sont utilisés avec des algorithmes d’apprentissage par renforcement. L’optimisation du réseau est fait en utilisant l’information donnée par une récompense, qui évalue la performance d’une action. C’est ce principe qui a permis de mettre au point des réseaux de neurones capables de battre le champion du monde du jeu de Go, ou d’adapter les trajectoires de robots.

Les réseaux de neurones profonds ont aussi permis de créer de nouveaux modèles stochastiques afin de générer des données. Cela concerne des phénomènes physiques complexes comme de la turbulence en dynamique des fluides ou des textures d’images ou d’audio, aussi bien que des données très structurées comme des images de visages ou des musiques. Ces derniers sont synthétisés avec des paires de réseaux de neurones (GAN ou Auto-encodeurs) qui d’un côté analysent les propriétés statistiques de ces données et de l’autre génèrent des données ayant les mêmes propriétés. Ces réseaux sont optimisés de façon conjointe à partir d’une base de données d’exemples. Des applications surprenantes ont récemment été montrées par exemple pour synthétiser des tableaux suivant des styles de peintres différents.