In 1836 zijn de resten van het, daar in 1462 gebouwde en in 1732 verlaten, klooster Soeterbeeck gekocht door Josephus Smits (van Oyen), een Eindhovense textielfabrikant. Hij herstructureerde het gebied en bouwde een landhuis in Franse stijl.
Na zijn dood en die van zijn vrouw, erfde zijn ongehuwde dochter Theresia in 1865 het landgoed. Na haar overlijden in 1904 verwierf jhr. Ernest de Kuijper uit Tongelre het geheel op een veiling. Hij ging er een café-restaurant in exploiteren, met op de voorgevel ‘Kasteel Zoeterbeek, cafe-restaurant 1e klas buiten-verblijf’. Hij heeft er ook gewoond. In 1914 stond de enige Nuenense auto op zijn naam op dat adres.
Na zijn faillissement in 1921 komt het landgoed, via de hypotheekbank, uiteindelijk in 1930 in handen van de Valkenswaardse familie Beeks. Zij geven de exploitatie echter uit handen en dan gaat het snel bergafwaarts. Uiteindelijk brandden het kasteel en het op 200 meter gelegen koetshuis geheel af op 19 juni 1936. De eigenaar Antonius Beeks en een knecht worden direct gearresteerd voor brandstichting, maar op 4 juli vrijgelaten bij gebrek aan bewijs.
In 1937/38 werd het landgoed weer gekocht door een telg van de familie Smits: jhr. mr. Johannes Theodorus Maria Smits van Oyen. Hij was burgemeester van Nuenen, Gerwen en Nederwetten van 1921 tot 1931. Hij liet een nieuw buitenhuis en een nieuwe dienstwoning ontwerpen door architect Frits Eschauzier. Het omringende tuinontwerp is van de landschapsarchitect Dirk Tersteeg. De Nuenense bevolking bleef dit landhuis ‘kasteel’ noemen.
Smits van Oyen was vanaf 1936 kamerheer in buitengewone dienst van Koningin Wilhelmina en na WO II waarnemend Commissaris van de Koningin (1944-1946). Dit was de reden dat de Koningin in maart 1945 op Soeterbeek heeft overnacht.
Smits van Oyen verhuisde eind 1961 naar Brussel. Zijn zoon jhr. mr. Johannes Jacobus Smits van Oyen, solliciteerde daarom bewust naar het burgemeesterschap van Nuenen, Gerwen en Nederwetten. Hij woonde vanaf 1962 op Soeterbeek, en bleef burgemeester tot aan zijn overlijden in 1977. Zijn weduwe heeft er tot 2010 gewoond. Nu beheren twee van hun kinderen het landgoed en geven het weer een mooie toekomst.