La disparition des antécédents de Swann entre 1909 et 1912 a entraîné celle de la thèse que Proust soutenait dans le Cahier 9 sur l’assimilation des juifs en France au XIXe siècle. Sur le personnage, nous n’avons plus que des indices, dont les plus importants sont les particularités physiques, le nez en particulier, et le nom.
La première notation physique apparaît dans le Cahier 9 sous la forme d’une addition marginale autographe. Proust y décrit « son curieux visage en bec d’aigle », qui deviendra « son visage au nez busqué » (RTP, I, 14). C’est ce « nez busqué » (RTP, I, 19) qui reste comme la marque de Swann, tandis que le judaïsme s’estompe. Or, cette expression conserve une ambiguïté puisqu’elle relève de deux côtés, c’est à la fois le « nez sémite », pour le nez crochu, et le « nez aristocrate », pour le nez aquilin. Le « nez busqué » de Swann est comparé à celui d’un personnage de Luini (RTP, I, 563), alors que le nez d’Oriane est qualifié de « proéminent » (RTP, I, 173). Celui-ci est caractéristique du profil aquilin des Guermantes (RTP, II, 724, 731). Dans le Cahier 9, Proust évoque la « ligne du nez aquilin » de Swann. « Aquilin » est un synonyme possible de « busqué ». « Busqué » peut donc virer soit vers « crochu » soit vers « aquilin ». Le « nez busqué » qui conserve une telle équivocité dans le roman n’en est pas moins un euphémisme stéréotypé du nez juif dans toute la littérature contemporaine. Swann qualifie lui-même le nez de Bloch de « recourbé » en faisant allusion au portrait de Mahomet II par Bellini (RTP, I, 96).
Le nom de Swann a les mêmes ambiguïtés. Il évoque à plusieurs reprises et d’une manière explicite une origine anglaise (RTP, IV, 165). Mais on pourrait ajouter que beaucoup de noms monosyllabiques de consonance voisine sont portés par des juifs. Dans Sodome et Gomorrhe, Swann refuse de signer les listes en faveur de Picquart, en trouvant son nom « trop hébraïque pour ne pas faire mauvais effet » (RTP, III, 111). Dans une addition marginale du Cahier 8, il préfère garder son nom juif plutôt que de reprendre « un grand titre français éteint », grâce à son amitié avec le comte de Chambord.
Il reste quelques informations inclassables et incohérentes dans le roman. Face au catholicisme exacerbé de Charlus, Mme Cottard se dit dans Sodome et Gomorrhe : « Swann, sauf sur la fin, était plus tolérant, il est vrai qu’il était converti » (RTP, III, 427). Il a reçu un enterrement catholique entouré d’honneur militaire puisqu’il était, malgré son dreyfusisme, clérical et militariste. Commentant le mariage de Gilberte dans Albertine disparue, la mère du narrateur mentionne « le sang de la mère Moser qui disait : “Ponchour Mezieurs” » (RTP, IV, 237). On ne sait pas s’il s’agit de la grand-mère paternelle ou de la grand-mère maternelle de Swann. La même ambiguïté se rencontre dans la description du nez de Mlle de Saint-Loup (RTP, IV, 609).