In het depot in Harderwijk werden de soldaten in een week of zes voorbereid op hun dienst in Nederlands-Indië, het tegenwoordige Indonesië. In de 94 jaar dat het depot bestond, zijn vele tienduizenden militairen in Harderwijk hun dienst in de koloniën begonnen. De 'kolonialen' kwamen niet alleen uit Nederland, maar ook uit andere Europese landen, vooral uit Duitsland. Er zijn hier zelfs Ghanese troepen geweest. Ook militairen uit Amerika. Zij werden geronseld en kregen een handgeld (een soort premie) als ze een contract ondertekenden.
Dat handgeld, soms oplopend tot 250 à 300 gulden, werd meestal tijdens de opleiding in Harderwijk opgemaakt. Harderwijk genoot in die tijd de twijfelachtige eer 'het gootgat van Europa' te worden genoemd, vanwege de vele kroegen en bordelen in de stad. Aan de ene kant waren de Harderwijkers blij met deze forse bron van inkomen. Aan de andere kant was er veel kritiek op het uitbundige uitgaansleven in de stad, inclusief talrijke vechtpartijen.
Onder de kolonialen waren mensen die nog steeds beroemd zijn. Bijvoorbeeld de Franse dichter Arthur Rimbaud (1854-1891) die in 1876 enkele weken in Harderwijk was. Het leger in Nederlands-Indië had weinig plezier van Rimbaud, hij deserteerde al na een week of drie. De Duitser Franz Wilhelm Junghuhn (1809-1864) vertrok in juni 1835 uit Harderwijk als gezondheidsofficier. In Indië ontwikkelde hij zich tot een van de belangrijkste negentiende-eeuwse natuuronderzoekers. Tussen 1850 en 1854 verscheen in dertien afleveringen zijn Java, deszelfs gedaante, bekleeding en inwendige structuur. Ten slotte Hendrik Colijn (1869-1944), diverse keren minister-president, die ook zijn koloniale opleiding in Harderwijk kreeg.
Na elke opleidingsperiode vertrokken op zaterdagmorgen onder begeleiding van militaire muziek en gejoel van de Harderwijker jeugd de militairen naar het station (vanaf 1863) om met de trein naar Rotterdam te gaan en vandaar met de boot naar onze koloniën.
In 1907 besloot de regering het Harderwijker Werfdepot naar Nijmegen over te plaatsen. Het laatste detachement koloniale militairen verliet op 1 mei 1909 de stad. Op 2 november van hetzelfde jaar trokken infanteristen in dezelfde kazerne. Daarmee werd Harderwijk een garnizoensstad.
In 1922 veranderde de naam Oranje Gelderlandkazerne in Oranje-Nassaukazerne. Na de Tweede Wereldoorlog werd de kazerne bekend als spionnenschool, de populaire naam voor de School Militaire Inlichtingendienst (SMID). Talrijke dienstplichtigen leerden hier Russisch. De Sovjetunie was toen immers de grote vijand die goed in de gaten moest worden gehouden. In 1988 verlieten de laatste militairen de kazerne.
Net als de Jan van Nassaukazerne werd van de Oranje-Nassaukazerne een appartementencomplex gemaakt. Het kreeg de naam de Geldersche Munt, als herinnering aan een eerdere functie van het gebouw. Het binnenplein heet toepasselijk Muntplein. Het smeedijzeren hek, geschonken door de dankbare burgerij van Harderwijk, herinnert nog aan het koloniale tijdperk.
