Pour l’évêque d’Hippone, Joseph est moins un sujet d’intérêt qu’une source de problèmes. Le sermon 51, prononcé en 403/404 à Carthage, propose la seule synthèse de quelque ampleur qu’Augustin a consacrée au père du Christ : il y entreprend de défendre Joseph contre les multiples accusations que lui portent ses adversaires, au premier rang desquels les manichéens. Joseph est-il un fiancé indigne ? Un faux mari ? Un père purement fictif ? L’évêque d’Hippone se trouve face à un feu nourri d’accusations, et la manière dont il répond est caractéristique de son art oratoire et de son goût pour le paradoxe : loin de rester sur la défensive, il contre-attaque vigoureusement et entend prouver à son auditoire qu’en Joseph on trouve le mari au plus haut sens du terme et le père par excellence.
