Introduction au raisonnement Bayésien et à ses applications

Point important, dans la théorie bayésienne, ces probabilités p ne sont plus interprétées comme les fréquences relatives d’événements (point de vue « fréquentiste »), mais comme des mesures du degré de connaissance subjective. Cette acception est bien couverte par le terme de « plausibilité », mais étant donné l’équivalence que nous venons de présenter, dans ce qui suit, nous continuerons à utiliser également le terme usuel de probabilité.

La théorie des probabilités, telle qu’elle est enseignée, est surtout utilisée pour calculer la probabilité d’une observation D, étant donné certaines hypothèses H sur l’état du monde. Cependant, les données d’observation D et les hypothèses H jouant des rôles symétriques, rien n’empêche de poser la question inverse : étant donnée une observation D, quelle est la plausibilité de l’hypothèse H ? La règle fondamentale répond à cette interrogation :

p(H|D) = p(D|H) p(H) / p(D) ou p(H|D) α p(D|H) p(H)

Dans cette équation, p(H) est appelée probabilité a priori de H (prior en anglais) (notons qu’il ne s’agit pas nécessairement d’une connaissance indépendante de l’expérience, au contraire, l’a priori résulte souvent d’expériences antérieures). p(H|D) est la probabilité a posteriori de H (ce terme n’étant pas nécessairement à prendre dans son sens temporel, mais plutôt au sein d’une déduction logique : après avoir pris connaissance des données D, nous révisons la plausibilité de H). Enfin, p(D|H), considéré comme une fonction de H, est la vraisemblance de H.

Le facteur de Bayes qui sépare deux hypothèses ou deux « modèles » M1 et M2, est une mesure de leur mérite relatif, le rapport de leurs vraisemblances : p(D|M1)/p(D|M2). Le logarithme décimal de cette valeur (log likelihood ratio), mesuré en décibans, est une mesure souvent plus intelligible. On appelle également « évidence » (en anglais weight of evidence ou, chez Turing, log odds) la valeur log(p/(1-p)), qui quantifie la vraisemblance d’une hypothèse par rapport à toutes les autres. Selon Jeffreys, 10 décibans, soit un rapport de 10 contre 1, constitue une évidence « substantielle », et 20 décibans ou plus (au moins 100 contre 1) une évidence « décisive ».

Le principe du maximum de vraisemblance consiste à choisir le modèle M_i pour lequel les données sont les plus probables (p(D|M_i) est maximale). Le principe du maximum a posteriori (ou MAP) consiste à maximiser p(M_i |D) – ce qui prend également en compte les probabilités a priori des différents modèles M_i.

On attribue à Guillaume d’Ockham (1285-1347) un principe de raisonnement, en réalité énoncé depuis l’Antiquité, selon lequel « une pluralité ne doit pas être posée sans nécessité » : « Les entités ne doivent pas être multipliées au-delà du nécessaire » ; ou encore, toutes choses égales par ailleurs, les explications les plus simples doivent être préférées aux plus complexes. Le raisonnement bayésien, en tant que modèle optimal de la « logique de la science » (Jaynes, 2003), inclut automatiquement un rasoir d’Ockham. En effet, une vraisemblance plus petite est allouée aux hypothèses les plus faibles, celles qui font les prédictions les plus diffuses ou les moins spécifiques. De plus, si deux modèles atteignent la même vraisemblance, celui qui l’atteint avec le plus de paramètres libres est automatiquement pénalisé par les équations bayésiennes. Enfin, il est souvent naturel d’attribuer une probabilité a priori plus petite aux modèles plus complexes. Tous ces facteurs contribuent à la règle d’Ockham et font de la théorie bayésienne un modèle plausible du raisonnement scientifique (Jaynes, 2003).