Résumé
Le taux d’entropie d’une chaîne de Markov est calculé en fonction de sa matrice de transition. On démontre que la distance de Kullback-Liebler (entropie relative) décroît toujours pour deux distributions de probabilités qui évoluent selon une chaîne de Markov. Si la distribution stationnaire de la chaîne est uniforme alors on démontre aussi que l’entropie augmente le long d’une chaîne de Markov (dans le temps). Cela démontre le second principe de la thermodynamique, sous cette hypothèse.
La seconde partie du cours introduit les ensembles canoniques de la physique statistique. Au lieu de fixer l’énergie du système, on fixe sa température, si bien que l’énergie du système peut fluctuer. La température est redéfinie comme étant la variation de l’entropie relativement à l’énergie. On montre que la distribution de probabilité des énergies est une loi exponentielle appelée distribution de Gibbs.
