On se concentre maintenant sur des modèles paramétriques qui admettent une énergie de Gibbs. Il s’agit d’estimer les paramètres permettant d’approximer au mieux la distribution des échantillons de la base d’entraînement.
On approxime la distribution que l’on veut estimer par une distribution ayant une énergie de Gibbs paramétrée. La sélection du paramètre se fait par minimisation de la divergence de Kullback-Leibler, ou de façon équivalent par maximisation de la log-vraisemblance. L’algorithme de descente de gradient nécessite de calculer le gradient de la log-vraisemblance, ce qui met en jeu la fonction de partition. Ce terme est long à calculer avec un algorithme de Monte-Carlo. En effet, cela demande d’échantillonner des distributions paramétrées pendant l’optimisation. L’optimisation peut se réécrire comme une maximisation d’entropie, sous contraintes données par des valeurs de moments. On étudie un modèle exponentiel correspondant au modèle phi4 de la physique statistique, qui est une approximation continue du modèle d’Ising.
