Né le 28 janvier 1864 à Paris, Charles-Marie-Joseph Bédier (de son nom complet) est issu d'une famille de l'Île de la Réunion. Il passe donc les premières années de sa vie sur l'île qu'il n'appellera jamais autrement que par son ancien nom, l'Île Bourbon. Après avoir décroché une capacité ès lettres en 1881, il rejoint Paris grâce à une bourse afin de poursuivre ses études au Lycée Louis-le-Grand (1881-1883), puis intègre l'École normale supérieure.
Après son succès à l'agrégation de lettres en 1887, il étudie une année en Allemagne avant de retourner à l'ENS en tant que « caïman » (agrégé-répétiteur) et de devenir professeur de langue et littérature françaises à l'Université de Fribourg (1889-1891). L'année 1891 est relativement difficile pour lui : après une tentative infructueuse pour un poste de maître de conférences à l'Université de Montpellier, notamment parce qu'il n'a pas achevé sa thèse, et ce en dépit de l'appui de Gaston Paris et Louis Liard (directeur de l'enseignement supérieur), il intègre finalement la faculté de lettres de Caen, où il enseigne jusqu'en 1893.
Il retourne à l'École normale où il occupe un poste de maître de conférences, d'abord suppléant (1893-1895) puis titulaire, jusqu'en 1903, date à laquelle il est élu professeur au Collège de France, à la suite d'une élection qui l'oppose à Ernest Langlois et Alfred Jeanroy. Malgré le peu de sympathie que lui témoigne Paul Meyer (qui lui préfère M. Jeanroy), il obtient la chaire de Langue et Littérature françaises du Moyen Âge par 21 voix contre 13, grâce à l'appui de Michel Bréal et Maurice Croiset, l'un pour son « haut sentiment littéraire », l'autre pour la « parfaite dignité de son caractère ». Il faut avouer qu'en plus d'être un éminent philologue, Joseph Bédier connaît aussi un certain succès grâce à son édition du Roman de Tristan et Iseut (1900 ; prix Saintour de l'Académie française en 1901). Il est également reconnu par ses pairs, même si la nouveauté de ses théories ne manque pas de le mettre au centre de vives polémiques. Certes, sa thèse, Les fabliaux : étude de littérature populaire et d'histoire littéraire du Moyen Âge (1893) est récompensée par le prix Marcelin Guérin de l'Académie en 1895. Mais il développe progressivement une approche suffisamment novatrice pour voir naître des rivaux. Parmi les plus fameuses querelles, on retient en particulier celle qui l'opposa à Auguste Longnon (à propos de Raoul de Cambrai), et une autre particulièrement vive avec Pio Rajna en 1910. Ce dernier lui reproche son attitude envers le défunt Gaston Paris, par sa remise en cause post-mortem de son enseignement. Or, Bédier n'a jamais hésité à s'opposer à son maître de son vivant… S'ensuit donc un vif échange par revues interposées entre les deux hommes, ainsi qu'une correspondance fournie, avant qu'ils ne retrouvent une relation apaisée.
Installé en chaire, Joseph Bédier devient l'un des romanistes les plus influents du début du XXe siècle. En effet, il sait dépasser les limites de son objet d'études. De par son parcours universitaire, il a du cultiver un goût prononcé pour l'étude littéraire globale, et ce n'est qu'assez tardivement qu'il se spécialise dans la littérature médiévale. Qui-plus-est, pour reprendre l'expression d'Alain Corbellari, il est un véritable « commis voyageur des lettres françaises ». En témoignent ses multiples voyages aux États-Unis, entre 1909 et 1936 (il est alors âgé de 72 ans) qui lui assurent une renommée qui dépasse les frontières. Il est aussi un intellectuel engagé, par sa fréquentation, lors de l'Affaire Dreyfus, des salons de la marquise Arconati-Visconti ; salons dont les membres soutiennent alors le capitaine. Cela ne l'empêche pas de rester fidèle à Ferdinand Brunetière, qui évolue dans le camp opposé, mettant en lumière son sens de l'amitié. Par ailleurs, la Grande Guerre le voit prendre activement part au combat idéologique, puisqu'il multiplie les écrits contre l'Allemagne.
En 1920, l'Académie française l'élit au fauteuil 31, laissé vacant par la disparition d'Edmond Rostand. Enfin, il occupe le poste d'administrateur du Collège de France de 1929 à 1936. Son exercice sera marqué par plusieurs moments forts, comme les 400 ans du Collège de France (1931), des cérémonies commémoratives en l'honneur d'Adam Mickiewicz (1934), et enfin la construction d'un nouveau bâtiment, à destination des scientifiques, à côté de l'édifice historique, à partir de 1935. Parallèlement à ces fonctions, il est également président de la Fondation Singer-Polignac de 1932 à 1938, où il succède à Raymond Poincaré, et anime la Revue de France à partir de 1921.
Sa vie privée est marquée par son mariage en 1891 avec Eugénie Bizarelli (1869-1953), fille du sénateur et député de la Drôme Louis Bizarelli (1836-1902). Ils ont ensemble trois enfants : Louis (1894-1984), Jean (1898-1992) et Marthe (1899-1957).
Joseph Bédier décède le 29 août 1938 au Grand-Serre, dans la Drôme.