Anciennement appelé Saussure, Carlsbourg doit son nom actuel au duc Charles-Godefroid de la Tour d'Auvergne, qui y résida en 1756.
Binnenin bevat het een monumentale eikenhouten trap. Hierop staan de wapenschilden van de verschillende families die elkaar zijn opgevolgd.
Na de Franse Revolutie behoorde het ook toe aan kolonel Grandjean, oom van Paul Verlaine.