Bij stadsmuren denken we al gauw aan dikke, hoge muren van baksteen. De eerste stadsmuur van Harderwijk was echter vermoedelijk een aarden wal met daarop houten palen. Zo'n constructie heet een palissade. In de meeste steden bouwde men pas in de tweede helft van de veertiende eeuw stadsmuren van baksteen. In Harderwijk was dat waarschijnlijk iets anders. Sommige stukken stadsmuur aan de zeekant blijken al omstreeks 1300 te zijn gebouwd. Zeker aan de zeekant werd de stadsmuur minimaal één keer verhoogd om zich beter tegen het water te kunnen verdedigen.
Je kon de stad door vijf toegangspoorten binnenkomen. Op het land via de Grote Poort, de Luttekepoort (ofwel kleine poort) en de Smeepoort. Aan de zeekant door de Hoge Bruggepoort en de Lage Bruggepoort, vanaf 1544 Vischpoort genoemd.
De Vischpoort werd in het midden van de veertiende eeuw opgetrokken als een doorgang tussen twee ronde torens, nu nog zichtbaar aan de buitenkant en de doorgang van de poort. Het poortgebouw werd zodanig verbouwd dat er op den duur een rechthoekig bouwwerk ontstond, waarop veel later een kustlicht werd geplaatst. Zowel aan de kant van de stad als van de zee konden deuren worden aangebracht. Aan de buitenkant zijn aan weerszijden sleuven zichtbaar, waardoor kettingen van een valbrug hebben gelopen. Om naar de bovenruimte van de poort te kunnen gaan, maakte men langs de (verhoogde) weergang een gemetselde trap.
Vooral op aandringen van prins Maurits versterkte Harderwijk in de jaren 1585-1590 de verdediging van de stad. Er werden wallen en bolwerken aangelegd. Een bolwerk of bastion is een meestal vijfhoekige uitstulping van een aarden wal. Het bolwerk kwam in de plaats van een ronde toren. Een bolwerk heeft als belangrijk voordeel dat er geen dode hoeken zijn, waardoor de verdedigers altijd de vijand kunnen zien. In Harderwijk kregen de twee bolwerken de krijgshaftige namen Keelaf en Cortendoet (korte dood).
Tussen de voormalige Luttekepoort en Smeepoort staan nu nog stadsmuren met een weergang op bogen en een bouwsel dat ten onrecht een rondeel wordt genoemd. De zogenaamde spaarbogen werden toegepast om minder stenen te hoeven kopen. Een rondeel is een rond bouwwerk, zonder dak, gevuld met aarde, hoger dan de muren. In de stadsmuur langs de tegenwoordige Vitringasingel was oorspronkelijk geen rondeel opgenomen maar een ronde toren. Vandaar dat de huidige naam rondeel niet klopt.
Aan de zeezijde waren de muren oorspronkelijk nogal laag, ongeveer 2 meter 20. Van die kant dreigde echter niet zoveel gevaar. De muren aan de landzijde waren hoger, om veiligheid te bieden. Bij de Smeepoort werd bovendien een voorpoort gebouwd, die bestond uit een rechthoekig poortgebouw, geflankeerd door twee zware ronde torens, die met een muur werden aangesloten op de oude stadsmuur. De in de jaren 1970-1971 gerestaureerde resten van de binnenpoort bevatten een wachtruimte met stookplaats.
Ook op andere plaatsen rond de middeleeuwse stad staan nog gedeelten van de stadsmuur. Zij waren ontsnapt aan de afbraak door de Fransen bij hun aftocht in 1673. Nog in 1911 werd een deel van de stadsmuur langs de Doelenstraat gesloopt in verband met woningbouw.
