Jusqu’en 1998 le musée ne conservait quasiment aucun dessin de joaillerie. Une collection de bijoux y existait toutefois, constituée des pièces Renaissance de la collection d’art ancien léguée par les frères Dutuit en 1902, de créations Art nouveau dues à Henri Husson et à Jules Desbois données en 1916 par le collectionneur Jacques Zoubaloff, ou encore de bijoux 1900 de la Maison Fouquet, créés d’après des dessins d’Alphonse Mucha ou de Charles Desrosiers et achetés par le Petit Palais en 1937. De plus, en 1979, un ensemble de bijoux Art nouveau dus à René Lalique ou encore à Henri Vever et Eugène Grasset est transféré du Musée Galliera, ancien musée d’art industriel devenu Musée de la mode et du costume de la Ville de Paris, au Petit Palais.
En écho à ce transfert, un premier dessin de joaillerie est acheté en 1987 lors d’une vente publique : un dessin préparatoire pour un peigne orné de cygnes et de nénuphars, dessiné par Georges Callot pour Eugène Grasset, en rapport avec la pièce réalisée conservée par le musée.
C'est véritablement grâce à l’action de Gilles Chazal, directeur du Petit Palais de 1998 à 2012, que la collection de dessins de joaillerie s’est constituée. Son projet scientifique et culturel fait la part belle aux arts décoratifs et renoue avec les acquisitions de bijoux. En parallèle à ces dernières, il achète ou suscite les dons de plusieurs ensembles de dessins de joaillerie. Le fonds Jacqueau en est le premier jalon. En 1998, dans le sillage de l’exposition L’Art de Cartier, organisée au Petit Palais en 1989-1990, Fanny Deshayes et Marie-Rose Grollier donnent au Petit Palais le fonds d’atelier de leur père. Charles Jacqueau (1885-1968) était l’un des principaux dessinateurs de joaillerie de la maison Cartier pour laquelle il avait travaillé de 1909 à 1954. La donation représente un ensemble conséquent de plus de 4 500 dessins et 10 cahiers, ainsi que de la documentation (notamment des photographies, des revues, articles et coupures de magazines, et des gravures des XVIIe et XVIIIe siècles d’après l’œuvre de bijoutiers et joailliers français). Ce fonds est précieux en ce qu’il témoigne de tout le processus créatif de l’artiste, de ses sources d’inspiration jusqu’à ses gouachés très soignés, alors que les premières étapes de la création sont très rares dans le domaine du dessin de joaillerie : une fois le dessin bijou mis au net, elles sont le plus souvent jetées.
A ce premier don qui constitue le noyau des collections de dessins de joaillerie s’ajoutent d’autres ensembles. Entre 2001 et 2002, près de 750 dessins et plus d’une centaine de maquettes de bijoux de Pierre-Georges Deraisme, ciseleur de Lalique, sont donnés au musée par la petite-fille de Deraisme et son mari. Suit une série d’achats en vente publique : une cinquantaine de dessins de joaillerie anonymes de style Art déco ainsi qu’une petite cinquantaine de dessins de la Maison Boucheron sont acquis en 2002, puis une vingtaine de dessins de bijoux de René Lalique et de Raymond Subes en 2005. Un ensemble de 90 dessins des frères Fannières, et huit dessins de Carl Philippi viennent compléter la collection en 2010. Enfin ces enrichissements se sont poursuivis en 2017 grâce au don d’une trentaine de dessins de la Maison Rouvenat.
Composée de plus de 5 600 œuvres, cette collection de dessins de joaillerie, même si elle n’est pas représentative de l’ensemble de la création joaillière du XIXe et du début du XXe siècle, permet tout de même d’évoquer plusieurs grands noms ainsi que les principaux courants tels l’historicisme, l’Art nouveau et l’Art déco. Elle permet de plus d’appréhender les conventions qui s’appliquent à cet art spécifique, tels le dessin à l’échelle 1 ou encore les codes couleur des gemmes et des pierres semi-précieuses, les matériaux et les techniques typiques (papiers transparents et gouaches, notamment), et enfin les différentes étapes du dessin de joaillerie.