Ooit begonnen als een versterkt huis werd in 1654 het 'Kasteel van Renswoude' gebouwd. Renswoude bestond oorspronkelijk slechts uit 3 straten, de Dorpsstraat, de Molenstraat en de Kerkstraat. De Heer van Renswoude mocht eigen recht spreken in de 'Hooge en vrije heerlijkheid' Renswoude.
Tot 2009 werd het kasteel bewoond door Baron Taets van Amerongen. Het is niet vrij toegankelijk hetgeen wel geldt voor de prachtige kasteeltuin.