November 1675: Benoeming door de Heeren van de Weth (het stadsbestuur) van de eerste "binnenvader" (ook "concierge" genoemd) voor het “Gast ofte Dolhuis, werck ofte Tuchthuis”, geen predikant, geneesheer of cipier, maar iemand met handelskwaliteiten. Zijn naam was Joseph Scharboteur.
De binnenvader had de dagelijkse leiding. Hij moest ervoor zorgen dat er gewerkt werd: touwpluizen, wolkammen en hout raspen. Met arbeid brachten de verpleegden hun eigen kostgeld op, terwijl de binnenvader de mogelijkheid had om met de verkoop van de goederen winst te maken. Vrouwen sponnen en weefden tapijten. Mannen raspten boomschors waaruit kleurstof voor de tapijten werd gewonnen.
De kwaliteit van de tapijten was zeer goed. Er werden tapijten geleverd aan onder andere het Zweedse en Poolse koningshuis.
Op 20 september 1677 werd het Dolhuis onafhankelijk van het weeshuis op basis van een eigen gestichtsreglement.
Van 1677 tot 1812 was het Sint Joris Gasthuis (kortweg het Joris genoemd) een dol- en tuchthuis, waar ook criminelen werden tewerkgesteld.
De datum 20 september 1677 wordt gezien als de oprichtingsdatum van het Sint Joris Gasthuis als zelfstandige instelling. Maar het was ook een tuchthuis. Het lag op de plaats van het Sint Annaklooster aan de Geerweg, waar tot 1983 het binnengesticht van het Sint Joris Gasthuis was gevestigd. De bevolking bestond uit zowel mannen als vrouwen.
Zes personen werden als regent aangesteld en moesten wekelijks vergaderen. Hun taak was toezicht op het Sint Joris Gasthuis en de controle op de verbeterhuizen.
In 1812 werd het Dolhuys ontkoppeld van het tuchthuis.
