Résumé
Maximiser la vraisemblance revient à minimiser une fonction de coût qui est l’opposée de la log vraisemblance. Cette minimisation peut se calculer par descente de gradient. Sa convergence dépend du Hessien de la fonction de coût. La convergence est garantie si le hessien est strictement positif et la vitesse de convergence exponentielle dépend de son conditionnement.
On considère le cas particulier des distributions exponentielles définies par une énergie de Gibbs qui dépend linéairement des paramètres. On démontre que le Hessien est alors toujours positif mais peut être mal conditionné. L’optimisation des paramètres peut s’interpréter comme un déplacement sur une variété riemannienne, ce qui est le point de vue de la géométrie de l’information. On considère le cas particulier des distributions gaussiennes multivariées.
