L’année a été marquée par les performances impressionnantes des grands modèles de langage et de l’intelligence artificielle génératrice. Cela met en jeu des réseaux de neurones de grandes tailles qui ont un impact considérable, en science, dans l’industrie et les services, mais aussi pour l’enseignement. Ces générations se font par échantillonnage de distributions de probabilités. Le cours aborde les bases mathématiques de ce domaine.
On commence par expliquer pourquoi la modélisation en grande dimension est abordée dans un cadre probabiliste plutôt que déterministe. C’est aussi motivé par l’importance de l’algorithmique aléatoire et notamment la méthode de Monte-Carlo. Une application importante est l’inférence statistique qui revient à calculer des probabilités conditionnelles, par échantillonnant et somme de Monte-Carlo. Cette introduction fait un bref panorama du domaine en séparant les aspects de modélisation, d’échantillonnage et d’apprentissage.
La base d’entraînement est la réalisation d’une famille de variables aléatoires indépendantes, ayant la même distribution de probabilité qui est inconnue. La modélisation de cette distribution peut se faire par des modèles exponentiels, par champs de Markov, ou avec des réseaux de neurones, en optimisant les paramètres par maximum de vraisemblance. On génère des nouveaux échantillons à partir de ces modèles, avec des algorithmes d’acceptation-rejet, des chaînes de Markov, ou par score diffusion.
