Dans « Le Vin des chiffonniers », comme dans Du Vin et du Haschisch, la démarche trébuchante du chiffonnier est comparée à celle du poète errant dans les villes. Dans « Le Soleil », le poète « trébuche », « heurte ». Or, heurter quelque chose, c’est non seulement « se cogner », mais « trouver », double sens qu’on trouve dans La Physiologie des physiologies à propos des « chiffonniers littéraires », et qui peut rappeler la dédicace du Spleen de Paris. W. Benjamin voyait dans cette « fantasque escrime » le choc moderne du poète avec la foule – foule « spirituelle », les rues étant désertes ; il s’agit plutôt du poète-chiffonnier heurtant ses vers au coin de la borne, ce que confirme la suite du poème évoquant les « porteurs de béquilles », diables boiteux ou anciens grognards.
Le crochet du chiffonnier est souvent apparenté à une arme blanche. Dans une double gravure d’Henri Valentin (dans Le Tableau de Paris de Texier), le sabre de la grisette déguisée devient un crochet de chiffonnière. Dans la Gazette d’Augsbourg, Henri Heine décrit l’émeute des chiffonniers de 1832 comme une « petite contre-révolution », et dans La Mode, revue légitimiste qui soutient effectivement l’émeute, le crochet du chiffonnier croise le sabre du sergent de ville. N’oublions pas qu’un « baudelaire », c’est d’abord une épée courte à double tranchant, et Baudelaire pouvait substituer à sa signature un cimeterre, sous la forme d’un rébus.
Le premier des « Sept vieillards » réunit de nombreux traits du chiffonnier : corps plié, démarche claudicante, canne, barbe comme une « épée », boue… Le chiffre ésotérique de la procession rappelle lui-même le petit nom de la canne à bec, dont Baudelaire fait parfois usage. Dans « Le Soleil », la locution figée « flairant dans tous les coins » est remotivée par le système du chiffonnage. Le rapprochement du crochet avec la plume métallique en essor à partir de 1830 (remplaçant la plume d’oie, malgré la résistance de Baudelaire ou de Flaubert), confirme le rapprochement entre le chiffonnier et le poète, au-delà de la période réelle du chiffonnage. Enfin, dans Le Peintre de la vie moderne, c’est Constantin Guys qui est dépeint en escrimeur au retour de ses collectes nocturnes.