La storia dell'edificio è insolita. Situato nel cuore di Parigi, lungo la Senna, di fronte ai Giardini delle Tuileries, il museo è ospitato nell'ex stazione d'Orsay, un edificio costruito per l'Esposizione Universale del 1900. In un certo senso, l'edificio è la prima "opera" delle collezioni del Museo d'Orsay, che presenta l'arte dei pochi decenni tra il 1848 e il 1914.