Voltaire traite ses adversaires de chiffonniers, mais s’attribue aussi, en humble compilateur, la même qualité. Denis Diderot aurait ainsi qualifié les collaborateurs de l’Encyclopédie. En 1800 paraît un recueil parodique de rapsodies collectées par Pierre Villiers intitulé Le Chiffonnier ou le panier aux épigrammes ; un critique confondra ce titre avec Le Panier aux ordures d’Armand Gouffé. Le frontispice donne la première représentation de l’écrivain en chiffonnier. En 1824, Étienne de Jouy relate sa rencontre avec un « chiffonnier littérateur » dont le grand-œuvre consiste en cinquante volumes regroupant toute la littérature nouvelle. En avril 1814, il rédige un testament parodique exigeant que ses papiers soient brûlés pour échapper aux « chiffonniers de la littérature », déclinant la formule d’un de ses correspondants qui s’en prenait en 1812 aux « écumeurs de la littérature ».
Dans sa chanson « Le Chiffonnier du Parnasse », Louis-Marie Ponty troque le croc contre la plume, permutation qu’on retrouve dans une élégie ironique attribuée à un chiffonnier-troubadour en 1827. Le journaliste de petite presse est lui aussi souvent associé au chiffonnier : dans Le Satan, en 1843, l’article « Les Chiffonniers littéraires » évoque Paul-Émile Daurand-Forgues, éreinteur professionnel que Baudelaire appellera « le pirate, l’écumeur de lettres » (il avait publié une traduction d’Edgar Allan Poe sans nommer celui-ci). On retrouve la comparaison dans des caricatures de 1848 ou dans Le Diable à Paris. Dans son Dictionnaire démocratique, ce sont les professeurs que Francis Wey traite de « chiffonniers des cimetières de la littérature ». L’assimilation du chiffonnier et de l’écrivain est partout, de Janin à Gustave Le Vavasseur, et jusque dans La Caricature, où Sue est représenté en chiffonnier en 1842. Dans La Physiologie des physiologies, on trouve tout un chapitre sur « Les chiffonniers littéraires ». Les deux figures sont interdépendantes, même si le marché du chiffonnier avantage le vendeur, contrairement à celui de la poésie. C’est aussi le plagiat qui les rapproche, comme chez Charles Nodier, en 1831.
En février 1856, dans le Figaro, Louis Goudall livre une charge contre Champfleury et « le chiffonnier Réalisme ». La caricature de Baudelaire en « prince des charognes » par Nadar ressemble à celle de Champfleury en chiffonnier, par le même Nadar – qui le traite de chiffonnier de Balzac. Zola sera souvent caricaturé en chiffonnier – alors qu’il n’y en a plus dans Les Rougon-Macquart. La figure peut aussi être prise en bonne part, comme sur l’affiche de Célestin Nanteuil pour La Revue anecdotique, en 1855, qui montre une jeune et belle chiffonnière en Némésis. Mais cela reste une rareté ; le chiffonnier est plutôt associé au rapportage, puis au « reportage ». Vallès utilise la métaphore pour évoquer les débuts de sa carrière de journaliste, selon un modèle entièrement négatif.
