Résumé
Les définitions d’entropie de Shannon, de divergence de Kullback-Leibler et d’information mutuelle de Fano, ont été utilisées par Shannon sous « forme opérationnelle » pour résoudre les problèmes de codage (compression et transmission). D’autres types de problèmes font appel à d’autres notions, comme l'information de Fisher pour l’estimation paramétrique. Choisir a priori un critère comme l’entropie n’est pas forcément optimal pour résoudre un problème donné.
Le séminaire s’intéresse à mesurer des fuites d’information dans les systèmes cryptographiques. Ici, la notion de maximum a posteriori (MAP) est importante mais l’entropie classique n’a pas réellement de définition opérationnelle. On présente alors une théorie de l’« alpha-information » basée sur l’entropie de Rényi, l’entropie conditionnelle d'Arimoto et l’information de Sibson. Elle englobe la théorie de l’information classique pour alpha = 1, l’information de Hartley pour alpha = 0 et le MAP pour alpha infini, tout en préservant des inégalités essentielles de traitement de données et de Fano. Ces inégalités permettent d’évaluer les limites de toute attaque à partir de mesures divulguées par un canal caché en relation à une croyance a priori sur le secret (sans accès aux mesures).
