Antes de tornar-se arcebispado da igreja católica, em 1622, Paris pertencia à jurisdição da cidade de Sens. Neste local havia um palácio doado pelo rei Charles V em meados do século XIV ao arcebispo de Sens. Quando Tristan de Salazar, o sucedeu, em 1474, demoliu o antigo edifício e ergueu outro mais amplo e luxuoso entre 1475 e 1519.
Devido ao estilo arquitetônico medieval tardio, o Hôtel de Sens é bem distinto dos palácios da época. Parece uma pequena fortaleza, com torres de vigilância nos ângulos, paredes pesadas como muralhas que contrastam com os refinados elementos decorativos de estilo flamboyant nas claraboias e no pórtico. Faz par com o Hotel Cluny, outra rara relíquia arquitetônica desse período. Ambos têm uma planta que se tornaria padrão nos palácios edificados em Paris à partir do século XVI: um edifício principal , o corps de logis, com duas alas que envolvem um pátio e, na parte posterior, um jardim.
De 1605 a 1606 o Hôtel de Sens foi residência de Marguerite de Valois, a reine Margot, primeira esposa do rei Henri IV, cujo casamento fora anulado pela igreja católica em 1599. Famosa pela vida desregrada que levava e por seus inúmeros amantes, Margot protagonizou neste cenário uma novelesca tragédia amorosa. Um de seus cortesãos, enciumado com o novo preferido de Margot, o desafiou para um duelo e o matou. Ela ficou furiosa e enviou um portador ao Louvre com uma mensagem em que pedia autorização ao rei Henri IV para punir o duelista. Autorização dada, Margot ordenou que ele fosse decapitado imediatamente no próprio pátio do palácio. Pouco tempo depois, amargurada, ela se mudou para um edifício onde hoje se encontra a École des Beaux-Arts.
O Hôtel de Sens foi tomado pelo Estado durante a Revolução Francesa. Em 1797 foi vendido para particulares. Durante todo o século XIX teve os mais diversos usos comerciais e acabou bastante arruinado. O bom senso fez com que fosse tombado como monumento histórico em 1862. Depois de muitas pressões públicas o palácio foi adquirido pela cidade de Paris em 1911. A partir de 1933 foi submetido a um longo trabalho de restauração e reconstituição, baseado em desenhos e gravuras da época, que só foi concluído em 1961. Desde então abriga a Bibliothèque Forney, dedicada às belas artes, à arte decorativa, ao artesanato e a variadas técnicas. Esse nome foi atribuído em homenagem a Samuel-Aimé Forney, industrial que no século XIX doou recursos para a formação de artistas.