De kern van het landgoed wordt gevormd door Clootwijckhoeve. Clootwijckhoeve is in zijn huidige staat het resultaat van een omvangrijke restauratie in het begin van de tachtiger jaren van de vorige eeuw. Dat gebeurde nadat deze zijn agrarische functie had verloren.

De boerderij op de stroomrug van de Alm resp. haar aftakking "De Werken" richting Werkendam, dateert wat het voorste gedeelte betreft uit 1618 en het achterste deel uit 1797.

De geschiedenis van de Heerlijkheid met haar bebouwing, gaat echter aanzienlijk verder terug in de tijd (zie: Genealogie en historisch overzicht). Ca. 1000, stichtten de Kanunikken er een klooster met hoeve. De Heerlijkheid, ook wel geschreven als Klootwijk, is de bakermat van een tak van de adellijke familie Van der Merwede (ook wel Van de Merwe). Rond 1280 neemt Adriaan Danielszn. de naam Van Clootwijck aan. Er ontwikkeld zich een adelijke burcht met slotgracht. Wijc of wic duidt op een nederzetting. De Sint Elizabethsvloed van november 1421 zorgde ervoor, dat het gehele complex verwoest werd.

De familie "Van Clootwijck" was kerkelijk actief, zoals blijkt uit het feit dat de een van de familieleden Van Clootwijck, abt was van de Abdij Van Berne der Norbetijnen in Heeswijk-Dinter. De familie "Van Clootwijck" speelde ook een grote rol in de 80-jarige oorlog, met name bij de bevrijding van Geertruidenberg en diverse streken in het Land van Altena. Monumenten hiervan zijn terug te vinden in de kerken van Almkerk, Meeuwen en Geertruidenberg.

Rond 1800 is de gracht gedempt en is de dan gerenoveerde hoeve, als onderdeel van de Nieuwe Hollandsche Waterlinie, tot een schans versterkt.

Daarna ging het bezit over naar de familie Ten Hage (met diverse burgemeesters in Woudrichem) en daarna naar de familie B. Swart. De naam van deze familie blijft tot 1977 aan de boerderij verbonden. Momenteel is J. Hak eigenaar van Clootwijck. Hij vatte het plan op het bezit uit te bouwen tot een landgoed waarin oorspronkelijke elementen in het landschap weer terug worden gebracht; zoals het Clootwijckerpad, diverse dreven en lanen en het herstel van de slotgracht.

Klik hier voor de informatie voor de historie, beschreven van jaar tot jaar.