La légende raconte que le fils de Josine de la Marck, comtesse de Rochefort, a été emporté par un singe sur le toit du château. Glacée d’effroi, elle a alors invoqué suppliante Notre-Dame de Lorette pour qu’il lui soit rendu vivant, en lui promettant de construire une chapelle qui lui soit dédiée s’il s’en sortait. Ce qui advient !