Résumé
Ce séminaire présente des applications des réseaux de neurones profonds pour le traitement du langage naturel. Ces architectures profondes ont permis des avancées spectaculaires pour de nombreuses tâches, et un changement complet de paradigme dans le domaine. Le séminaire commence en discutant des modèles de langages et des architectures de réseaux adaptées (réseau de neurones récurrent, LSTM, GRU et transformer). Piotr Bojanowski présente l'optimisation des paramètres de ces modèles, ainsi que les approximations nécessaires afin d'appliquer ces méthodes à grande échelle. Dans une seconde partie il introduit des systèmes de traduction automatique et des améliorations algorithmiques qui ont permis de construire les modèles performants d'aujourd'hui.
