In 1816 verkocht Marmont de pyramide met bijbehorende grond aan Hubert M.A.J. van Asch van Wijk. In 1873 werd het gekocht door Anna Aleida Stoop, douairière A.J. de Beaufort. De zoon J.B. de Beaufort, burgemeester van Woudenberg, liet in 1894 de verdwenen houten obelisk door een stenen exemplaar vervangen. Deze staat er heden ten dage nog.
De nabijgelegen uitspanning bestond al voor 1873 en was toen al verhuurd aan de familie Van Kolfschoten, die anno 2015 nog steeds de exploitant is. Vele generaties kennen het als uitje bij een schoolreisje.
Tegenwoordig
Vanaf medio 19e eeuw is de pyramide een trekpleister voor bezoekers geweest. Behalve het plaatsen van een nieuwe stenen uitkijktoren op de top van de pyramide in 1894 is er zo weinig onderhoud gepleegd dat de heuvel rond de millenniumwisseling volledig met bossages was bedekt. Een restauratieprogramma voorzag in het opschonen van de bossen rondom en op de pyramide alsmede het terugbrengen van de trapsgewijze opbouw. Door extreme regenval met verzakkingen tot gevolg is dit programma meerdere malen gefrustreerd. Diverse werkzaamheden worden nog steeds uitgevoerd.