De Franse bezetting drukte zwaar op de stad. Behalve met inkwartiering kregen de Harderwijkers ook met forse betalingen te maken, zoals een maandelijkse contributie van dertienhonderd gulden. Om een plundering door troepen van de bisschop van Münster af te kopen werd een collecte gehouden die 7.180 gulden opbracht, in die tijd een zeer hoog bedrag. Een groot aantal gegoede burgers verliet de stad. Wie ook in veiligheid werden gebracht waren de wezen van het weeshuis. Zij werden geëvacueerd naar Hoorn en Enkhuizen. Ook voor de bibliotheken van de stad en van de Gelderse Academie zocht men een goed heenkomen. Uiteindelijk kwamen ze in Hoorn terecht.
Om Harderwijk beter te kunnen verdedigen begonnen de Fransen de stad te versterken. Boeren uit de omgeving werden gedwongen aan de wallen en de nieuw aangelegde palissade (omheining van palen) te werken. De vervallen stadsmuren werden hersteld en het schootsveld rond de stad vrijgemaakt. Dat betekende dat gebouwen en begroeiing buiten de stad werden weggehaald. De kanonniers moesten vrij zicht hebben op hun doelen. Vooral tuinhuisjes werden het slachtoffer. Het omvangrijkste werk was het versterken van de stadswallen met duizenden houten palen.
Harderwijk zou niet lang profiteren van deze opknapbeurt. In maart 1673 kwam de Franse vestingbouwer Magolotti de vestingwerken inspecteren. Ze vonden geen genade in zijn ogen. De versterkingen moesten worden afgebroken; de Smeepoort en de Luttekepoort werden zelfs opgeblazen. Bij hun aftocht op 5 september 1673 staken de Fransen de stad aan alle kanten in brand. Door snel en moedig optreden van de burgers brandden slechts een school en zo'n dertig huizen af.
Harderwijk zag er eind 1673 gehavend uit: afgebrande huizen, opgeblazen poorten, afgebroken muren en gevluchte burgers. Politiek en bestuurlijk was het een chaos. Het duurde vele maanden voor er weer orde op zaken was gesteld. In mei 1676 besloot het stadsbestuur de restanten van de Smeepoort af te breken en van het puin portiershuisjes te laten bouwen. Twee jaar later, op 11 augustus 1678, werd de Vrede van Nijmegen gesloten en kon Harderwijk eindelijk op adem komen.
Voor de stad braken rustiger tijden aan. De vestingwerken werden gedeeltelijk hersteld en de schutterij oefende regelmatig om de stad en de burgers te kunnen beschermen. Van de Smeepoort is alleen nog het wachtlokaal over. Boven de voetgangerstoegang bevindt zich in de muur het wapen van Harderwijk, aangebracht in spiegelbeeld.