Het werd gebouwd door de graven van Salm op deze locatie tussen 1307 en 1362. Het vervangt een eerste kasteel gebouwd in Vielsalm tegenover de kerk.