De eerste Van Apeldoren waarvan bekend is dat er een relatie was met het Kasteel Duistervoorde is Johannes van Apeldoren. Wat die relatie precies was is niet bekend, ook niet of hij er gewoond heeft. De eerste Van Apeldoren waarvan bekend is dat hij op Duistervoorde woonde is Herman van Apeldoren. Door het huwelijk met Mechteld van Silvolde, komen ook de goederen het Herteler en Zelvolden in bezit van de familie Van Apeldoren. Door huwelijken met vrouwen uit verschillende adellijke geslachten (Bentinck, Van Wijnbergen, Van Meckeren etc.) wordt het bezit van het Huis Duistervoorde steeds omvangrijker. Doordat er uiteindelijk geen mannelijke opvolgers meer zijn gaat, met toestemming van de Hertog van Gelre, het bezit (de leenplicht) van Duistervoorde, dat nog berustte bij het Sticht Utrecht, over naar het Gelders leen, en tevens naar de familie Van Steenbergen. Dorothea van Apeldoren was in 1560 getrouwd met Willem van Steenbergen.
Nadat diverse adellijke families eigenaar van het Huis Duistervoorde zijn geweest, worden het Huis en de landgoederen in 1829 verkocht aan de protestantse koopman Johan Carl Goldberg. Vanaf 1830 verkoop Goldberg lagzaamaan stukjes van de bezittingen van het Huis Duistervoorde. In 1863 verkoopt hij tenslotte het Huis Duistervoorde met de overgebleven landerijen en boerderijen aan de Amsterdamse bankier J.H. Timme.