O museu, inaugurado em 1903, esta no segundo andar do antigo Hôtel Rohan-Guémenée, construído na Place des Vosges por Isaac Arnaud no início do século XVII. Foi neste andar, um apartamento de 280 m2, que Victor Hugo e sua família moraram de 1832 a 1848.

Neste local, Victor Hugo recebeu regularmente a visita de Alexandre Dumas, Balzac, Chateaubriand, Lamartine, Saint-Beuve entre outros personagens ilustres da época. E foi também onde o romancista e poeta escreveu obras primas como “Ruy Blas”, “Les Voix Intérieures”, “Les Chants du Crepuscule” e parte de “Les Misérables”. Em 1843 a tragédia se abateu sobre ele. Primeiramente foi a alegria do casamento de sua lida filha Leopoldine, em fevereiro, na Église St- Louis – St- Paul; pouco tempo depois, no dia 4 de setembro do mesmo ano, sua morte junto com o marido, afogados em Villequier.

Perseguido por motivos políticos, Victor Hugo teve que refugiar-se na Bélgica a partir de 1851 e viveu no exílio até 1870. Seus móveis foram leiloados e dispersos. Alguns foram adquiridos por amigos fiéis. Reunidos aqui com aqueles que ele levara para o exílio, restaurou-se um pouco da atmosfera original de seu apartamento. Além desse mobiliário e objetos pessoais do autor, é possível apreciar manuscritos originais, pinturas, esculturas, caricaturas, fotos e obras que tem a ver com a vida dele, muitas delas doadas pelo amigo e admirador Paul Meurice. A biblioteca dispõe de importantes obras de pesquisa sobre Victor Hugo.

Este museu foi precursor em matéria de acessibilidade para deficientes físicos e auditivos.