Heer Johan II van Culemborg start rond 1350 met de bouw van het kasteel. De witte toren staat er mogelijk al rond 1270. In de middeleeuwen blijft de burcht wonderwel in tact. De heren van Culemborg mengen zich zelden in het strijdgewoel. Achtereenvolgende bewoners breiden het slot verder uit, laten het verfraaien en comfortabeler maken.
In de Tachtigjarige Oorlog loopt het kasteel flinke schade op. In het Rampjaar 1672 wordt het uitgewoond en zwaar beschadigd door ingekwartierde Franse soldaten. Kasteelheer graaf Van Waldeck-Pyrmont zoekt maar een ander onderkomen. De burcht wordt niet meer hersteld en in de loop der tijd afgebroken. Rond 1812 is het kasteel van Culemborg verdwenen.
