Door toedoen van de jonge Nuenense architect Henk Smolders is afbraak van dat pand voorkomen. Hij had in Zwitserland ervaren hoe oude panden werden gerenoveerd en een nieuwe bestemming kregen en stelde de gemeente voor om van het oude en inmiddels sterk vervallen fabriekspand een ontmoetingsplaats en expositieruimte voor beeldende kunstenaars te maken. Na langdurig overleg besloot de gemeente dat het plan kon worden uitgevoerd doch, dat ze gezien de geraamde kosten, afzag van een financiële bijdrage.
Smolders besloot daarop de restauratie zelf te bekostigen maar liep gelijk tegen een aantal tegenslagen aan. Een bulldozer die bezig was met de wegwerkzaamheden had de hoek van de pui eruit gereden; de hele kapconstructie was aangetast door boktor en olm; het dakspant kruide waardoor de buitenmuren naar buiten werden gedrukt en onder de lemen vloer hadden zich tientallen ratten verscholen. Rattenbestrijder Cor Martens had er zijn handen vol aan.
Nadat deze problemen waren opgelost kon met de feitelijke restauratie worden begonnen, waarbij zoveel mogelijk personen uit Nuenen werden betrokken. Zo werden de restauratiewerkzaamheden uitgevoerd door aannemer Jan van Leuken en werden de grenenhouten ramen, die aan vervanging toe waren, exact nagemaakt door meubelmaker Ben Weick.
Eindelijk na vijf jaar was het zover en werd de oude linnenweverij, door Smolders omgedoopt tot Galerie ’t Weefhuis, op 8 november 1972 officieel geopend door burgemeester jhr. mr. J.J. Smits van Oyen. In 1989 heeft Smolders de kunstgalerie overgedragen aan Rob Sanders, die hem op zijn beurt in 2000 weer overgedragen heeft aan Oscar Meijn en Thea van Eijk. In 2010 is de galerie gesloten en heeft de gemeente ’t Weefhuis in gebruik genomen.