Ernst-Frederik, hertog van Saksen-Hildburghausen, erft in 1714 Culemborg van zijn tante Louisa. Hij verkeert voornamelijk in het Duitse Hilburghausen, waar hij grote bedragen uitgeeft aan zijn privéleger en de verfraaiing van zijn slot. In 1720 verkoopt hij het graafschap voor een miljoen gulden. Daarvan laat hij een kanaal aanleggen om de paleistuinen in Hildburghausen.
Nieuwe eigenaar is het Kwartier van Nijmegen. Om de koop te betalen sluit deze een lening af, die het stadsbestuur zelf moet terugbetalen. Dat bedrag komt nog bovenop de aflossing van de oude grafelijke schulden. Een zware last voor stad en burgers . In 1748 krijgen de Oranjes Culemborg cadeau. Na de dood van stadhouder Willem IV wordt Willem V in 1766 de nieuwe graaf. Om het graafschap bekommert hij zich weinig.
