Après ses études secondaires et le début du cursus universitaire à Luxembourg, J. Scheid a découvert la recherche en histoire ancienne à l’université de Strasbourg, puis lors de sa maîtrise à la Sorbonne. Il a subi au cours de ses études à l’École pratique des hautes études l’influence de deux domaines de recherche, la prosopographie (H.-G. Pflaum) et l’histoire des religions de l’Antiquité gréco-romaine (R. Schilling, J.-P. Vernant, M. Detienne).
Ayant décidé de choisir cette voie, il passa l’agrégation après avoir acquis la nationalité française, et fut membre de l’École française de Rome de 1974-1977. Il décida de consacrer sa thèse de doctorat d’État à la confrérie sénatoriale des frères arvales, sur laquelle avait porté une thèse de doctorat de IIIe cycle qu’il a soutenue en 1972. Depuis 1975 et jusqu’en 1998, il dirigeait aussi des fouilles du sanctuaire des frères arvales dans la banlieue de Rome, et travaillait au musée national des Thermes sur la riche collection de leurs comptes-rendus épigraphiques qu’il devait rééditer.
Au cours des vingt ans passés à la Ve section de l’École pratique des hautes études, il s’est spécialisé dans le domaine des religions de Rome. Son élection au Collège de France en 2000 lui permit d’enseigner également sur les institutions, notamment le régime impérial, ou la société romaine, conformément à l’intitulé de sa chaire, en évitant toutefois de rompre le lien avec les textes antiques, les inscriptions, ainsi que l’archéologie des lieux de culte qu’il a pratiquée jusqu’en 2012. Car la prise en compte de la documentation directe plutôt que des seuls textes littéraires lui a paru indispensable pour comprendre les institutions et notamment les religions du monde antique, si différentes du christianisme.