Durbuy kreeg zijn eerste versterkte kasteel rond 899. Het werd een eeuw later verwoest en in de 11e eeuw laat Henri de eerste van Namen, Graaf van Durbuy, het kasteel heropbouwen. Het huidige kasteel, na de oude brug bij de inkom van de stad, dateert uit de 17e eeuw en is particulier bezit. Het is niet te bezoeken of huren, je mag het wel fotograferen.