In de middeleeuwen was Freÿr een slot, dat in 1378 als leengoed aan Jean de Rochefort Orjol werd gegeven door de graaf van Namen. Zijn kleindochter Marie huwde met Jacques de Beaufort in 1410. Hun afstammelingen behielden het landgoed tot op vandaag. Het slot werd in 1554 door de Fransen vernietigd in de oorlogen tegen keizer Karel V. Het oudste gedeelte van het huidige kasteel, de oostelijke vleugel, werd in 1571 gebouwd. In de 17e eeuw werden drie vleugels aan het woongedeelte toegevoegd, zodat een vierkant ontstond. Rond 1760 werd de zuidgevel neergehaald en vervangen door een smeedijzeren poort, waarmee het kasteel zijn huidige voorkomen verkreeg. We waren er half mei, de koer was nog vrijwel leeg. Bij overvloedige regenval loopt het kasteel, gelegen naast de Maas, soms onder water.