Le bâtiment a été construit entre 1858 et 1860 selon un projet de l’architecte de renom Alphonse Balat, qui fut également l’architecte de la reconstruction du Palais royal de Bruxelles ainsi que des Serres de Laeken.
Entre 1901 et 1909, le « Palais du marquis d’Assche » fut le lieu de résidence du Prince Albert et de la Princesse Elisabeth, futurs souverains. Au cours des années 1930, le Palais fut aussi la résidence d’ambassadeurs des États-Unis.
« Le Palais du marquis d’Assche » est classé comme monument historique.