Johan van Speulde
Op 21 oktober 1554 meldde priester Johan van Speulde aan het bestuur van de stad dat hij van de opbrengst van zijn goederen een 'som penningen' had overgespaard, die hij wilde gebruiken voor het oprichten van een 'huis en woning' waar weeskinderen konden worden verzorgd. De 740 Hollandse guldens van de priester zaten in een gesloten kistje. Hij hoopte dat andere 'goede en vrome mensen' zijn voorbeeld zouden volgen. Welnu, die hoop werd niet beschaamd. Er kwam een stroom van grote en kleine giften op gang. Daardoor kwam zoveel geld beschikbaar dat een weeshuis kon worden gesticht.
Minderbroedersklooster
Het stadsbestuur reageerde snel. Op hun verzoek werd op 26 februari 1555 een vervallen huis en een onbebouwd stuk grond bij het Minderbroedersklooster geïnspecteerd om na te gaan of hier een weeshuis kon komen. Dat perceel bevond zich op de hoek van de Markt en de Donkerstraat. Het huis bleek een ruïne te zijn, maar werd uiteindelijk toch aangewezen om er een weeshuis van te maken.
Verhuizingen van het weeshuis
Een weeshuis werd in die tijd bestuurd door weesmeesters, aangesteld door het stadsbestuur. Op 16 oktober 1555 namen zij de eerste wezen aan, namelijk Wijntje en Woltertje Gelinck. Omdat het weeshuis nog niet klaar was, werden de kinderen uitbesteed. Een bij 'Ott de portier', een van de poortwachters van Harderwijk voor twaalf gulden per jaar, en het andere kind bij Artgen Luyten, voor tien gulden. In 1558 was de verbouwing gereed en konden de zeven wezen die inmiddels waren aangemeld, eindelijk in het weeshuis gaan wonen.
Als gevolg van wateroverlast zocht men in 1651 een nieuwe plek voor het weeshuis. Het werd een gebouw op de hoek van de Korte Kerkstraat en het Kerkplein, tegenwoordig beter bekend als de Wheme. Het toegangspoortje met het fraaie driehoekige fronton is sinds een aantal jaren weer in volle glorie te zien. De laatste verhuizing was in 1872, naar een nieuw pand aan het Kerkplein.
Stichting het Burger Weeshuis
Op Kerkplein 3 werden tot 1937 wezen verzorgd. In dat jaar besloot men de wezen voortaan onder te brengen bij pleeggezinnen, waardoor het weeshuis zijn oorspronkelijke taak verloor. Het bestuur van het weeshuis bleef wel voor de wezen zorgen, maar op afstand. Die taak eindigde definitief op 1 januari 1965. Door de invoering van de Algemene Bijstandswet nam de overheid deze taken toen helemaal over van particuliere instellingen. Het weeshuis veranderde in de Stichting Het Burger Weeshuis die nog steeds bestaat.