Ancienne propriété des Latour d’Auvergne, ducs de Bouillon (18è siècle).
Les Frères de l’école Verlaine y fondèrent le Collège Saint-Joseph au 19è siècle.
A l’intérieur, il contient un escalier monumental en chêne. Celui-ci supporte les armoiries des différentes familles qui s’y sont succédées.
Après la révolution française, elle a également appartenu au Colonel Grandjean, oncle de Paul Verlaine.