Résumé
On introduit les codes instantanés définis sur des alphabets finis de symboles, et les codes de préfixe qui peuvent être représentés par des arbres binaires. On démontre le théorème de Shannon, à travers le lemme de Kraft, qui montre que la longueur minimum de ces codes est bornée inférieurement par l’entropie. Le code de Shannon est un code instantané qui s’approche arbitrairement de l’entropie lorsqu’il est calculé sur des blocs dont la longueur augmente. Le code de préfixe optimal s’obtient par l’algorithme de Huffman.
La notion d’entropie s’étend à des variables à valeurs réelles par la notion d’entropie différentielle, qui n’est pas toujours positive. On démontre un résultat d’équipartition asymptotique qui vérifie que la densité jointe d’un grand nombre de variables aléatoires indépendantes est quasiment constante sur des ensembles typiques, dont le volume dépend de l’entropie. L’entropie définit donc le volume du domaine dans lequel une variable aléatoire est concentrée.
L’entropie de Shannon se relie à l’information de Fisher à travers les modèles de probabilités d’entropie maximum. On définit un modèle de probabilités à partir d’observables qui sont des moments correspondant à l’espérance de fonctions des données. Le théorème de Boltzmann démontre que la distribution d’entropie maximum est une distribution de probabilités exponentielle, dont les paramètres peuvent aussi être calculés par maximum de vraisemblance.
