« Les Petites vieilles » des Fleurs du mal portent « un petit sac brodé de fleurs ou de rébus ». Il y a alors une vogue des rébus, mais Baudelaire se réfère aux anciennes gravures du Journal des dames et des modes de Pierre de La Mésangère, et à la mode des « réticules » sous le Directoire, contemporaine de celle de l’« album sentimental ». Parmi ces gravures, une seule montre un rébus : le chiffre 100, la lettre D et une tour, pour signifier « sans détour », formule de nature galante et rébus idéal souvent cité dans les dictionnaires. Dans son Histoire du Directoire (1851), Adolphe Granier de Cassagnac décrit cette tenue, et Arsène Houssaye s’en inspirera pour habiller Madame Tallien dans Notre-Dame de Thermidor, mais sans le sac à rébus. Baudelaire, lui, déplace ce sac dans le Paris d’Haussmann. Or la chiffonnière rencontrée par Nerval chez Paul Niquet était une ancienne « merveilleuse » : les « petites vieilles » ne sont-elles pas aussi des chiffonnières ? Dans le Figaro, en 1837, Théophile Gautier décrit sans signer une chambre d’artiste où s’entassent toutes sortes de débris et qui peut faire penser à la chambre de Baudelaire caricaturée par Émile Durandeau. Il écrit « rebus » sans le « t » final. Dans l’un des poèmes d’Ernest Prarond attribués à Baudelaire, « rébus » rime avec « abus », mais, dans le même recueil, Le Vavasseur fait rimer « rébus » avec « Phœbus », « Gibus » et « omnibus ». Dans le Dictionnaire universel de la langue française de Pierre-Claude-Victor Boiste, édition de 1823, l’article « Rébus » signale la locution « Mettez les rébus au rebut », indiquant un calembour courant. Les petites vieilles sont bien des chiffonnières, et c’est au rebut qu’elles ont trouvé leur vieux sac à rébus.
Le détour par le chiffon nous a permis de mieux comprendre Baudelaire, « complice » poétique plutôt que politique du chiffonnier. Celui-ci fut un personnage considérable, double carnavalesque du roi et de l’empereur. Il est l’idéal-type de Paris capitale du xixe siècle, mais, en 1867, dans le Paris-Guide, on lit que « Liard est allé où va toute chose et [que] nous n’avons plus de chiffonnier philosophe ». Dans les tableaux de Raffaëlli, dans les livres de Vallès ou dans les photographies d’Eugène Atget, le chiffonnier officie au-delà des barrières, loin de la rue Mouffetard. Son temps est passé ; pourtant, Stéphane Mallarmé, Tristan Corbière ou Lautréamont s’identifient encore à lui. Il convient de distinguer le chiffonnier de ses voisins, le collectionneur, le fripier, le chineur, le marchand d’habits, et ne pas dissoudre cette figure dans une esthétique de la reprise universelle. Aujourd’hui, les chiffonniers nous intéressent parce que nous sommes revenus à une « économie circulaire » du recyclage. Dans Les Glaneurs et la Glaneuse, Agnès Varda reprend la métaphore disparue pour se désigner elle-même. En ce début de xxie siècle, où nous trions tout, nous sommes tous devenus des chiffonniers.
