Résumé
La malédiction de la grande dimension résulte de l’explosion combinatoire de l’ensemble des modèles possibles lorsqu’il y a un grand nombre de variables. On évite cette explosion en introduisant des contraintes sur les modèles probabilistes. Les modèles de chaînes et de champs de Markov limitent le nombre d’interactions possibles entre les variables, avec des contraintes d’indépendance conditionnelle. Cela permet de factoriser les distributions de probabilités avec des probabilités conditionnelles plus simples. Les liens avec les modèles d’entropie maximum sont évoqués.
La seconde partie du cours introduit les deux principes de la thermodynamique, dans le cadre de la théorie cinétique des gaz, qui sont à la base de la physique statistique. Ces deux principes sont la conservation d’énergie et l’augmentation d’entropie des systèmes isolés, qui est liée avec la notion d’irréversibilité.
