In de dertiende eeuw begint men in Nederland te bouwen met het dure baksteen. Iedere landheer met enige importantie wil dan een ‘stenen huis’.
In 1270 laat Zweder van Abcoude uit het geslacht Van Zuylen op de plek waar het oude plaatsje Dorestad gelegen was zijn eigen bakstenen bouwsel optrekken. Het gaat om de Donjon, een verdedigbare woontoren, hier rechts.
Philip van Bourgondië versterkte het kasteel en breidde het tegelijk uit. Toen Duurstede in de 16e eeuw in bezit kwam van de Staten van Utrecht begon het verval; gaandeweg verviel het kasteel tot ruïne, omdat de bevolking de stenen gebruikte om hun woningen na de verwoesting van de binnenstad door de Fransen te herbouwen.
Daarna is het kasteel in Wijk bij Duurstede een aantal malen gerestaureerd en er is een prachtig park aangelegd. Het kasteel is een gewilde trouwlocatie. Ook nu zie je de ballonnen aan de ophaalbrug hangen.
Het kasteeleiland met terras is vrij toegankelijk. Rondleiding binnen alleen met gids.