Résumé
Dans son article sur la théorie mathématique des communications, Shannon définit l’entropie comme une mesure d’incertitude, qui est la complexité descriptive d’une variable aléatoire. Cette notion correspond à l’entropie en physique statistique, qui est notamment au cœur de la thermodynamique. Celle-ci dépend du nombre de configurations possibles du système physique. Par opposition à l’information de Fisher, l’approche de Shannon est non paramétrique. Mathématiquement, l’entropie de Shannon est l’espérance de la négative log probabilité.
On établit les propriétés de l’entropie jointe et conditionnelle de paires de variables aléatoires, ainsi que leur information mutuelle et leur entropie relative. On démontre qu’un grand nombre de variables aléatoires indépendantes de même probabilité se concentrent avec forte probabilité dans un ensemble typique dont le cardinal est proportionnel à l’entropie de cette distribution de probabilité. Ce résultat permet de démontrer que la taille d’un code optimal est borné par l’entropie, et que l’on peut s’approcher arbitrairement de cette borne par un codage typique.
