Dit gebouw is een deel van een klooster, gesticht in 1630 door Magdeleine d’Egmont, Prinses van Chimay. Tot aan de Franse Revolutie in 1789 verbleven in dit gebouw een twaalftal Karmelietenzusters afkomstig van Luik. In 1825 werd het gebouw gekocht door de stad om er een meisjesschool van te maken, alvorens het rond de jaren 1970 een museum van de leisteen onderdak zou verschaffen.