A l’origine, le fonds du Petit Palais est d'abord constitué de commandes ou d'achats effectués dès 1870 par la Ville de Paris dans les Salons ou directement auprès des artistes. En 1902, l’exceptionnel legs Dutuit vint compléter ces collections contemporaines par un fonds impressionnant d’œuvres anciennes.

A Rouen, Eugène et Auguste Dutuit avaient constitué un remarquable ensemble de céramiques et de bronzes antiques ainsi que d’objets d’art du Moyen Âge et de la   Renaissance. Les vases grecs, les rythons, l’Œnochoé du peintre de Dutuit répondaient aux céramiques très rares de Saint-Porchaire, aux superbes majoliques historiées, à la Vierge d’Ourscamp en ivoire patinée, aux émaux précieux et aux verres de Venise.
Les deux frères avaient aussi passionnément collectionné les tableaux flamands et hollandais et des milliers de gravures des XV^e, XVI^e, et XVII^e siècles, qui font du legs Dutuit un des cabinets d’arts graphiques les plus spectaculaires de France, auquel viennent s’ajouter manuscrits anciens, raretés bibliophiliques et quelques centaines de très beaux dessins.

En 1930, la donation Tuck a renforcé le fonds d’art ancien du musée. Outre quelques précieux tableaux primitifs, elle réunissait essentiellement des œuvres du XVIII^e siècle, peintures, sculptures, tapisseries, meubles, porcelaines de Sèvres, de Saxe ou de Chine, montres et tabatières en émail, qui complétaient parfaitement le legs Dutuit.

S’y sont encore ajoutés les porcelaines de Meissen du legs Sarchi, les montres du legs Forest, l’argenterie de la donation Delaroche-Vernet, les sculptures germaniques de la donation Pierre Marie et les tableaux de la donation Ocampo.

En parallèle, la collection d'art français du XIX^e et du début du XX^e siècles  s’est régulièrement enrichie par des dons et des legs : en 1904, don Hoentschel de deux cents sculptures et céramiques de Carriès, complété en 1967 par le don Jean Soustiel d’une vingtaine de fragments de la Porte de Parsifal ; en 1905, legs Henner et Ziem ; en 1906-1909, don de huit peintures de Courbet par sa sœur Juliette ; entre 1906 et 1922, dons de Théodore Duret d'oeuvres de Courbet, Manet, Toulouse-Lautrec ; en 1916, don Zoubaloff de peintures et dessins de Redon et de Harpignies, sculptures de Barye, Maillol et Rodin, objets d’art de Husson et Cros ; en 1938, don de sculpture de Carpeaux par sa fille ; en 1979, don de cinquante peintures de Brokman par son fils. 

Les arrérages du legs Dutuit ont par ailleurs permis de très belles acquisitions parmi lesquelles la Marietta de Jean-Baptiste Corot, le Sommeil de Gustave Courbet ou le Combat du Giaour et du Pacha d'Eugène Delacroix.

Les collections contemporaines, issues de la donation Matisse, du legs Vollard puis de l’important legs Girardin en 1953, ont pour leur part rejoint le Palais de Tokyo pour former la base du nouveau musée d’Art moderne de la ville de Paris, inauguré en 1962. De ces legs et donations sont toutefois restées au Petit Palais les œuvres antérieures au mouvement fauve, tels les tableaux de Paul Cézanne ou d’Édouard Vuillard, les céramiques d’Aristide Maillol ou d’André Metthey…

Les donations récentes

Roger Cabal (1929-1997) a su rassembler à partir des années 60 une exceptionnelle collection d’environ quatre-vingts icônes grecques et russes qu’il a, avec l’accord de ses sœurs, légué au Petit Palais en 1998 permettant à cet établissement d’être le musée le plus riche de France en ce domaine.

Charles Jacqueau (1885-1968) fut le principal dessinateur auprès de Louis Cartier pendant la première moitié du XX^e siècle. Il a grandement contribué à l’évolution joaillière avant et après la Première guerre mondiale. Ses filles ont donné en 1998 au Petit Palais, les quatre mille deux cents dessins restés dans l’atelier familial.

Paul Landowski (1875-1961) est un des sculpteurs les plus présents dans le paysage parisien (Sainte-Geneviève du Pont de la Tournelle, Caïn et ses fils du jardin des Tuileries, les Fontaines de la Porte de Saint-Cloud…). À l’occasion de l’exposition organisée au Petit Palais consacrée à son grand projet du Temple de l’Homme, ses descendants ont offert en 1998 et 1999 deux sculptures et environ deux cents dessins.

Ciseleur de René Lalique, Georges Deraisme (1859-1932) fut aussi un créateur indépendant. En 2001 et 2002, ses descendants ont formidablement   contribué à enrichir le fonds de dessins de joaillerie du Petit Palais en offrant près de huit cents études caractéristiques de l’ensemble de son œuvre.

Collaborateur d’Alfred Roll pour ses décorations monumentales de l’Hôtel de Ville de Paris et du Petit Palais, Ernest Renoux (1863-1932) fut essentiellement un peintre en plein air. En 2002 et 2004, sa belle-fille a donné au Petit Palais un carnet de croquis, des peintures et des outils de travail de cet artiste discret.