Résumé
Les ensembles microcanoniques envisagés par Boltzmann et formellement introduits par Gibbs définissent une modélisation statistique d’un système de particules en fixant le volume, l’énergie et le nombre de particules. L’entropie d’un système isolé augmente dans le temps. On montre qu’elle atteint son maximum lorsque la distribution de probabilité des micro-états est uniforme. Sous hypothèse de couplage faible, cela permet d’introduire la température comme étant la variation de l’entropie relativement à l’énergie, pour un système à l’équilibre.
La seconde partie du cours revisite la notion d’entropie du point de vue de la théorie de l’information, en lien avec le codage. Les ensembles microcanoniques sont remplacés par les ensembles typiques où se concentre l’essentiel du support d’une distribution de probabilité. On commence par une distribution de probabilité d’un ensemble de variables indépendantes, dont la densité de probabilité peut s’écrire comme un produit des densités de probabilités de chaque variable. L’entropie est définie comme l’espérance du log de la densité de probabilité. Les ensembles typiques sont définis par la concentration de l’entropie autour de sa valeur moyenne.
Le théorème d’équipartition asymptotique démontre que la distribution de probabilité dans un ensemble typique converge vers une distribution uniforme lorsque le nombre de variables (dimension) augmente. Il est démontré dans le cas de variables indépendantes prenant un ensemble de valeurs finies. On en déduit un algorithme de codage optimal, dont le nombre de bits moyen converge vers l’entropie, quand la dimension augmente.
