De burcht van graaf Dirk III en de grafelijke hof
De oudste versterking is de burcht van graaf Dirk III. Vermoedelijk lag deze op de kerkheuvel die volgens archeologen mogelijk omgracht was. Kroniekschrijver Alpertus van Metz vertelt dat graaf Dirk III kort voor 1018 bij Vlaardingen een vesting laat bouwen. In 1018 vindt in de nabijheid van de burcht de Slag bij Vlaardingen (zie betreffende venster) plaats. Waarschijnlijk gaat het hier om een ringwalburg: een houten vesting met daaromheen een gracht. Er zijn nog geen resten van de burcht gevonden, wel van waterpartijen rond de kerkheuvel die mogelijk deels grachten betreffen van deze burcht.
Wel zijn er overblijfselen gevonden van de grafelijke hof in de buurt van het Liesveldviaduct en het Van Schravendijkplein. Het is een terrein van circa 70 bij 100 meter groot met daaromheen een gracht. Het aardewerk uit de gracht wijst erop dat het terrein gebruikt werd tussen circa 1175 en 1225.
Kasteel Holy en de Joffer Aechtenwoning
De lagere adel bouwt op opgeworpen heuvels kastelen met een stenen toren. De versterkte, stenen huizen dienen in tijden van nood ook als toevluchtsoord. Dat kan zijn bij een vijandelijke aanval, maar ook bij overstromingen. Rond 1240/1250 laten de gebroeders Van Hoylede, twee edelmannen, elk een kasteel bouwen op hun leengoed met ontginningshoeve: kasteel Holy en de Joffer Aechtenwoning. Het zijn zogenaamde mottekastelen, kastelen die op een heuvel of een terp zijn gebouwd.
Kasteel zonder naam
Tijdens archeologisch onderzoek op het voormalige Kolpabadterrein (nu de woonwijk d' Engelsche Boomgaard) treft men in 1998 restanten aan van een kasteel. Een gracht omsluit een terrein van ongeveer 32 bij 26 meter. Het kasteel is in de periode 1275-1300 gebouwd. Waarschijnlijk is het in het midden van de veertiende eeuw tijdens de Hoekse en Kabeljauwse twisten belegerd, waarna het tot de grond toe is afgebroken. In de slotgracht vinden archeologen de resten van een brug, een ketel, een kookpot en zelfs een zwaard. Er is geen historische bron van het kasteel bekend.
Kasteel 'Steenhuizen'
In de veertiende eeuw heeft er een kasteel gestaan op terrein ‘Steenhuizen’, tussen de Burgemeester Heusdenslaan en de A20. Steenhuizen is gebouwd op een opgehoogd platform. Het bestaat uit een stenen toren van 8 x 8 m, mogelijk met een ringmuur. Het is gesloopt in 1351.
