Este museu está instalado na mais antiga moradia de Montmatre, o Hôtel de Rosimond, que em 1680 teve como primeiro proprietário um ator da troupe de Molière, Claude de La Roze, senhor de Rosimond (1645-1673). Dois séculos depois esse edifício abrigou muitos jóvens artistas que depois se tornariam célebres.

Pierre-Auguste Renoir (1841-1919) alugou um atelier em 1876 para trabalhar em seu famoso quadro Bal du moulin de la Galette e retratou o jardin na tela Le jardin de la rue Cortot. Em 1896 Suzanne Valadon (1865-1938) mudou-se para o 1º andar com seu filho Maurice Utrillo (1883-1955); mais tarde transferiu-se para um grande atelier que dava para o jardim. Em outra ala do edifício instalou-se, em 1901, Raoul Dufy (1877-1953).

Em 1886 um grupo de artistas preocupados com o destino do bairro e com a preservação de sua história, reuniu-se no bistrô Le Rocher Suisse, na rue Lamarck, e fundou a Société d'Histoire et d'Archéologie "Le Vieux Montmartre". Logo começaram a reunir material artístico, histórico e etnológico. Depois da Segunda Guerra esse movimento levou à recuperação do Hôtel Rosimond, que havia sido adquirido em ruinas pela cidade de Paris em 1922, e em 1960 a Société du Veux Montmartre instalou ali o material que havia reunido.

O museu apresenta uma coleção de importantes pinturas, fotografias, pôsteres e manuscritos que documentam a história de Montmartre. Exposições temporárias também são realizadas com obras dos artistas que lá viveram. Há também um centro cultural que oferece palestras e concertos. Atualmente o museu passa por um processo de renovação e ampliação que deve terminar em 2014.

Uma curiosidade sobre o local, segundo o New York Times, é que as uvas das vinhas do jardim desta casa serviam para produzir o vinho ruim mais caro da cidade.