In de jaren tachtig van de vorige eeuw was het gebouw niet veel meer dan een bouwval. Tijdens een ingrijpende restauratie werden twee dubbele bogen met een sleuf ontdekt. Daar moest ooit een valdeur hebben gezeten. Het monument bleek oorspronkelijk een toegangspoort te zijn. Tot op heden zijn deskundigen het niet met elkaar eens of het een toegangspoort vanuit zee was voor de Gelderse graaf, of de zesde stadspoort van Harderwijk. Zoals al aangegeven in het vierde venster was de Vanghentoren waarschijnlijk de toegangspoort tot het stadskasteel. Echte stadspoorten waren groter en robuuster gebouwd. Dat betekent overigens ook dat er van het Oude Blokhuis feitelijk niet meer is overgebleven dan de Vanghentoren.
In de negentiende eeuw kreeg de toren een andere functie. Daaraan ontleende het ook zijn latere naam Soephuys of Soephuis. Tussen ongeveer 1820 en 1941 gebruikte de Commissie voor uitdeeling van warme spijzen aan behoeftigen van Harderwijk (de Soepcommissie) het gebouw als een soort gaarkeuken. In de winter konden arme mensen hier elke woensdag en zaterdag soep komen halen. Die soep werd gekookt in een enorme ketel van twaalfhonderd liter. De originele ketel wordt nu met een houten deksel erop onder de vloer bewaard.
We kunnen ons moeilijk voorstellen dat in Nederland mensen zo arm waren dat ze geen warme maaltijd konden betalen. Toch hebben we zelfs in de eenentwintigste eeuw in Harderwijk een Voedselbank, feitelijk ook een soort Soephuis. In de negentiende eeuw was er veel meer armoede dan nu. Dat wordt extra duidelijk als je bedenkt dat twaalfhonderd liter soep heel veel is in een stad met ongeveer vijfduizend inwoners. En, wat die armoede nog erger maakte, er waren geen sociale voorzieningen als een Bijstandswet. Armen waren afhankelijk van de liefdadigheid van kerken en particulieren. Ook de gemeente deed af en toe iets voor de armen.
De kwetsbaarste groep bestond uit weduwen en wezen. Zij waren meestal niet in staat om de kost te verdienen. Verder waren kleine stadsboeren vaak arm. Ze hadden weinig grond om aardappelen en rogge te verbouwen en hun (weinige) dieren te laten grazen. Ook vissersgezinnen moesten regelmatig een beroep doen op de armenzorg. De opbrengst van de vis viel nogal eens tegen. De meeste vissersgezinnen waren groot, waardoor armoede op de loer lag. Vooral de winter als er vanwege het ijs op de Zuiderzee soms wekenlang niet kon worden gevist, was een moeilijke tijd.
In het begin van de negentiende eeuw kreeg de werkgelegenheid in Harderwijk een harde klap door de sluiting van de Gelderse Munt (1806) en de universiteit (1812). Gelukkig slaagde het stadsbestuur erin een opleidingsdepot voor koloniale soldaten binnen te halen. Dat depot werd later bekend als het Koloniaal Werfdepot. Het is beschreven in venster 24. Deze militairen gaven zoveel geld uit in Harderwijk dat honderden inwoners er een goede boterham aan verdienden. Dus minder armoede.
