Rijd je binnendoor van Toulouse naar Albi dan kom je wellicht ook in het dorpje Castelnau-de-Lévis. Het gelijknamige kasteel dat hoog op een heuvel boven het dorpje uittorent, werd in 1235 gebouwd door Sicard Alaman. Deze man was een machtige vazal van Raymond VII de Toulouse. Het kasteel was een bastion, gelegen ten noorden van de rivier de Tarn ter verdediging van het verzet tegen de monarchie, dat zijn territorium voornamelijk ten zuiden van de Tarn had. Het kasteel is gebouwd op een rots genaamd ‘Puy de Bonnafous’ en werd daardoor lange tijd Castelnau-de-Bonnafous genoemd,. Nadat de familie van Levis het erfde kreeg het zijn huidige naam. Aan de voet van de muren werd tegelijkertijd een dorp gebouwd. Van het oude kasteel zijn slechts enkele ruïnes over gebleven, waaronder deze uitkijktoren met uitzicht op de vallei van de Tarn en de stad Albi. Na het verval werd de ruïne als steenhoeve gebruikt en de zijn verdwenen stenen in de negentiende en twintigste eeuw hergebruikt in de omgeving.

Begin jaren tachtig is men begonnen met een gedeeltelijke restauratie en zijn de wanden van de hoge muur gelokaliseerd en een versterkte poort. De toren, 35 meter hoog, bestaat uit een halfronde toren die wordt ondersteund door een vierkante toren. Het heeft drie gewelfde verdiepingen. De toegang tot de toren is gesloten voor bezoekers. Slechts de kraaien maken gebruik van de toren als hun nestplek.