Anciennement appelé Saussure, Carlsbourg doit son nom actuel au duc Charles-Godefroid de la Tour d'Auvergne, qui y résida en 1756.
A l’intérieur, il contient un escalier monumental en chêne. Celui-ci supporte les armoiries des différentes familles qui s’y sont succédées.
Après la révolution française, elle a également appartenu au Colonel Grandjean, oncle de Paul Verlaine.