Résumé
Les modèles d’entropie maximum de Jaynes relient la physique statistique à la modélisation de données. Une distribution de probabilité est spécifiée par des moments (espérances des fonctions génératrices) en maximisant son entropie, ce qui revient à expliciter le fait que l’on n’a pas plus d’information. Le théorème de Gibbs démontre que la distribution d’entropie maximum est une distribution exponentielle, spécifiée par des multiplicateurs de Lagrange. Dans le cas d’une distribution gaussienne, les multiplicateurs de Lagrange sont donnés par l’inverse de la matrice de covariance.
On démontre que les dérivées premières et secondes du log de la fonction de partition (cumulant/énergie libre) de la distribution de Gibbs permettent de calculer les espérances et les covariances des fonctions génératrices de la distribution de Gibbs. On introduit la notion de dualité conjuguée, qui établit le lien entre la paramétrisation d’une distribution de Gibbs par ses multiplicateurs de Lagrange et par les moments des fonctions génératrices. Cette dualité conjuguée se calcule par la transformée de Legendre. Le maximum d’entropie dépend du maximum de vraisemblance, qui s’obtient par transformée de Legendre de l’énergie libre (cumulants). Les multiplicateurs de Lagrange peuvent être calculés à partir des moments des fonctions génératrices par maximisation de la vraisemblance, avec un algorithme d’ascension du gradient.
On démontre qu’une distribution de probabilité est invariante par l’action d’un groupe si et seulement si les moments des fonctions génératrices sont invariants par l’action du groupe sur les données. Cela réduit la paramétrisation de la distribution de Gibbs. Les distributions stationnaires sont invariantes par l’action du groupe des translations.
