Het is zoveel materiaal, dat het jaren duurt voor het hoofdgebouw is verdwenen. In 1809 protesteert het stadsbestuur nog omdat het hooggelegen complex met de omliggende wallen als wijkplaats bij watersnood dient. Maar de sloop gaat door. Intussen worden veel middeleeuwse grote stenen gebruikt voor de bouw en verbouw van lokale huizen en muren. Hardstenen onderdelen worden apart verkocht en komen vaak in de Burense gevels terecht. Met het puin wordt de Hondsbosse Zeewering versterkt.
Hergebruik
Het stadsbestuur heeft het geheel in eigendom verkregen onder voorwaarde 'ten eeuwigen dage de wallen te behouden als wijkplaats bij watersnood'. Als in 1883 ook het allerlaatste deel, de voorpoort, onder de slopershamer valt, worden die stenen gebruikt voor een poortgebouw voor de begraafplaats en de bouw van een vloedvrij lokaal met ruimte voor een gevangenis, de brandweer en een schietschouw.
Monument
Eind 19e eeuw neemt J.A. Heuff Azn., de schrijver Huf van Buren, het initiatief de in de stad en elders voorkomende ornamenten te verzamelen en daarmee een monument op te richten ter herinnering aan het kasteel. Dat lukt in 1899. Er worden zelfs ansichtkaarten van gemaakt. Maar veel onderdelen zijn gestolen. Het uitgeklede nieuwe monument uit 1971 is het enige dat rest van dit eens zo machtige kasteel van Buren.
Auteur: Wim Veerman
