On a entériné la réputation de sagesse plébéienne du chiffonnier, notamment dans des pièces de théâtre comme Le Chiffonnier d’Alphonse Signol (1831). Identifié à Diogène, il est un modèle du rôdeur parisien. Au début de la Restauration, Étienne de Jouy fait déjà le portrait d’un chiffonnier littérateur qui parle grec et latin et collectionne les imprimés ; une célèbre gravure d’Édouard Traviès, en 1832, représente Liard sans ses accessoires et hors de Paris, preuve de sa fantaisie. Le collectionneur Henri Beraldi juge assez sévèrement ce « chiffonnier poseur » ou « pseudo-chiffonnier » de Traviès et s’étonne de la bienveillance de Baudelaire à son égard. Pour la réalité, mieux vaut faire confiance à la police, à Frégier ou à Parent-Duchâtelet, qui insistent sur le grand nombre de repris de justice et d’anciennes prostituées dans la profession – ce qu’on retrouve dans les caricatures.
Dans Les Français peints par eux-mêmes, Louis-Agathe Berthaud, comme Frégier, résume le chiffonnier à sa hotte, son crochet et sa lanterne. Ces objets sont souvent poétisés dans des appellations métaphoriques : la hotte est un « mannequin », un « paletot », un « cachemire d’osier », parfois un « cabriolet » ; le bâton à crochet est nommé « numéro sept » ; la borne est un « fauteuil », le chiffonnier un « chevalier du crochet » ou encore un Cupidon, à cause de sa hotte-carquois. Baudelaire recourt à cet argot dans « La Mort des artistes ». Mais selon la police, ces instruments sont aussi des armes dangereuses. Frédéric Le Play, lui, loue en 1855 l’indépendance d’une profession emblématique de l’industrialisme et du libéralisme économique souhaités par le régime, et y voit la transposition des activités traditionnelles qu’étaient la chasse et la pêche. Il étudie toutefois un cas peu représentatif, abstème (buvant peu) et imbu du sentiment religieux. En 1828, on interdit aux chiffonniers de déposer leurs hottes chez les marchands de vin, mais la consigne fut peu respectée.
L’origine louche des chiffonniers explique qu’on leur consente quelques facilités. D’après Georges Renaud, en 1900, « chiffonnier » était presque synonyme de « mouchard ». Dans L’Âne mort, le geôlier est un ancien chiffonnier. Dans « Le Vin des chiffonniers », il est question des « mouchards, ses sujets » : pour W. Benjamin, cela renvoie au combat sur les barricades, mais à quelques exceptions près (le père Bribri dans Les Mystères du peuple), la réputation du chiffonnier est à l’opposé. Dans Les Misérables, c’est plutôt une chiffonnière conservatrice et royaliste que rencontre Gavroche à l’approche des barricades. Même l’émeute des chiffonniers de mars 1832 est exempte de revendications révolutionnaires. La même année, on voit dans La Caricature un chiffonnier serrant la main de Louis-Philippe. Jules Vallès dénoncera à son tour la complicité des chiffonniers avec la police – ils se réunissent à « La Casserole », terme d’argot désignant un indicateur.
