Les challenges sont des problèmes de prédictions, de régressions ou de classification, avec des données réelles, mises à disposition par des entreprises ou des laboratoires de recherche. Ils couvrent un large spectre d’applications sur des images, sons, textes, données médicales, mesures physiques, données d’Internet, présentées dans des vidéos sur le site du Collège de France. Chaque challenge fournit des données labélisées ainsi que des données de test. Les participants soumettent au site web leurs prédictions calculées sur les données de test. Le site calcule un score avec une métrique d’erreur qui est spécifiée. Il fournit un classement aux participants, ce qui permet d’évaluer leurs résultats dans une large communauté. Les challenges commencent le 1^er janvier. Une clôture intermédiaire a lieu en juin par une évaluation des prédictions sur des nouvelles données de test. La clôture finale est en décembre, avec une remise des prix après chaque clôture.

Le site web challengedata.ens.fr offre un support aux professeurs voulant utiliser ces challenges comme projets pour les élèves de leur cours. L’enseignant peut inscrire son cours sur le site web et spécifier une liste de projets pouvant être traités par les élèves dans le cadre du cours. Il a accès aux scores et aux rapports postés par ses élèves.

Chaque année les propositions de nouveaux challenges doivent être soumis en septembre, en envoyant un mail à challenge.data@ens.fr Ils sont validés par une équipe de l’École normale supérieure.

L’organisation de ces challenges de données est soutenue par la chaire CFM de l’École normale supérieure et par la Fondation des Sciences Mathématiques de Paris.