Na het vertrek van de Fransen, werd in 1815 het gebouw van de vroegere Gelderse Munt aan de Smeepoortstraat verbouwd tot kazerne, geschikt voor zevenhonderd man. Dit keer geen garnizoen. Harderwijk werd een opleidingsplaats voor militairen die in de koloniën moesten gaan dienen. In 1844 kwam de naam Koloniaal Werfdepot in gebruik.
Het vertrek van de koloniale militairen in het voorjaar van 1909 was een zware klap voor de Harderwijker economie. Mede dank zij vakkundig lobbywerk van burgemeester Kempers, marcheerde op 2 november 1909 het derde bataljon van het 9e regiment infanterie onder de fraaie erepoort de kazerne aan de Smeepoortstraat binnen.
Harderwijk werd in hoog tempo weer een echte garnizoensstad. Infanterie, artillerie en verbindingstroepen vormden de hoofdmoot van dat garnizoen. De Oranje-Nassaukazerne was weldra te klein voor de groeiende militaire bevolking. Aan de Oranjelaan bouwde men de Nieuwe Kazerne, in 1913 ingebruikgenomen. In 1934 werd de kazerne omgedoopt tot Jan van Nassaukazerne. Kort vóór de Tweede Wereldoorlog besloot de overheid in Harderwijk een artilleriekazerne te bouwen, de Willem George Frederikkazerne, ofwel de WGF-kazerne. Deze kazerne werd door de Duitse bezetters afgebouwd. Harderwijk beschikte ook over een militair hospitaal, aan de Kaatsbaan. Daarnaast was er sinds 1915 nog een militair complex, namelijk Kamp Kranenburg, bedoeld voor de veldartillerie. Later omgevormd tot Kranenburg Noord en Kranenburg Zuid.
Een van de redenen waarom zoveel militairen aan het werk waren op de Veluwe, was de ruimte om te oefenen. Het Beekhuizerzand werd een ware speelplaats voor militaire oefeningen.
De Jan van Nassaukazerne werd na de Tweede Wereldoorlog het opleidingscentrum voor alle infanterie-eenheden. Daardoor brachten duizenden dienstplichtigen een deel van hun diensttijd in Harderwijk door. De vierde divisie streek neer in de WGF-kazerne. Ten slotte vond de School Militaire Inlichtingendienst (SMID) onderdak in de Oranje-Nassaukazerne. Omdat de SMID bij Harderwijkers een geheimzinnige indruk maakte, ontstonden bijnamen als Sectie Stiekem of de Spionnenschool.
Het einde van de Koude Oorlog aan het begin van de jaren negentig van de twintigste eeuw betekende een forse inkrimping van de Nederlandse krijgsmacht. Harderwijk verloor in enkele jaren het militaire uiterlijk. Op 2 november 1994 werd de vierde Divisie opgeheven. Voor de laatste keer paradeerden militairen door de stad. Met het planten van een lindeboom, het plaatsen van een gedenksteen en het opstellen van een oud scheepskanon aan de Vitringasingel kwam definitief een einde aan Harderwijk als garnizoensstad.
