Este palácio começou a ser construido em 1634 por Jean-Baptiste Scarron, senhor de Saintry que era conselheiro e secretário do rei. Desse período resta o corpo residencial que dá para o jardim e a ala direita do edifício. Em 1639 foi tomado por credores, que em 1640 o venderam a Philippe II de Coulanges. Coulanges pasou a morar no palácio com sua esposa e uma jóvem sobrinha. Essa criança havia nascido em 1626 no hôtel particulier de seus pais, na Place des Vosges e ali viveu até ficar orfã, quando passou para a guarda de seus tios. Ela se chamava Marie Rabutin Chantal e se tornaria célebre como escritora, conhecida como Madame de Sévigné, nome que adotou depois de seu casamento em 1644 com Henri, marques de Sévigné.
Philippe de Coulanges morreu em 1659 e seu filho empreendeu uma reforma que aumentou o corpo central, demoliu a ala esquerda –que foi deslocada para aumentar o pátio e acrescentou as arcadas decoradas com máscaras, mas em seguida vendeu o palácio para o chanceler Le Tellier, que já morava ao lado. Le Tellier passa a residir no Hôtel Coulanges e transforma sua moradia anterior, o Hôtel Le Tellier em escritórios nos quais desempenha sua função auxiliado por assessores e oficiais. Entre seus funcionários estava o intendente Jean Darbon, cuja esposa teria criado, no maior segredo, os filhos ilegítimos do rei Louis XIV com sua amante, Madame de Montespan.
Durante o século XVIII o palácio foi reformado e ampliado com a anexação de duas construções vizinhas. Durante a Revolução Francesa. o proprietário do momento, Durand-Pierre Puy de Vérine e sua esposa, teviram o azar de ser presos durante os últimos dias de reinado do Terror, foram condenados e acabaram conduzidos à guilhotina na última « carroça da morte», no dia 9 de Termidor do ano II do calendário revolucionário, horas antes da queda de Robespierre. O imóvel foi desapropriado e tornou-se bem do Estado. Anos depois, em 1811 foi restituido a seus filhos, que logo o venderam.
O Hôtel de Coulanges teve uma parte de sua arquitetura classificada em 1926 como Monumento Histórico, depois foi desclassificado e quase condenado à demolição. Uma forte campanha de oposição fez com que, desta vez todo o edifício, voltasse a ser tombado no dia 23 de outubro de 1961. A cidade de Paris tornou-se proprietária do palácio em 1972 e lançou um projeto de rastauração cuidadosa que envolveu, além do Hôtel de Coulaneges, a casa vizinha (n. 37), a reestruturação da área que dá para a rue des Rosiers, a restauração do Hôtel Barbés (n. 33) e a criação de um jardim – o Jardin Francs-Bourgeois-Rosiers. Desde 1978 o palácio abriga a Maison de l’Europe de Paris, local de encontros e troca de idéias com o objetivo de desenvolver e estreitar os laços culturais entre os países europeus.