Het dorp Hilvarenbeek is niet ontstaan in de periode van de dorpenvestiging, door de verhuizing van de woonplekken van hoger gelegen akkers naar lager gelegen vochtiger gebieden, zoals wel het geval is bij veel kleine dorpen. Vermoedelijk bestond er al eeuwenlang bebouwing op de Voort en de Westerwijk, waar Hilsondis gravin van Strijen in de tiende eeuw bezittingen had, maar niet in de huidige dorpskern van Hilvarenbeek tussen de twee beken waar de kerk staat. Er zijn geen sporen van bewoning gevonden van vóór de twaalfde eeuw. De meest intensieve bebouwing van de dorpskern stamt van de vijftiende eeuw.
In Beke op een drassig gebied tussen de samenstroming van twee beken (zie: 1155 Eerste vermelding van Hilvarenbeek) werd aan het einde van de tiende eeuw een tufstenen kerk gebouwd. Dat was mogelijk gemaakt door een schenking van gravin Hilsondis rond het jaar 990. (zie Circa 990 Hildewaris in Beke) In het gebied rond de kerk zijn bij kleine opgravingen tufsteenresten gevonden, die waarschijnlijk afkomstig zijn van deze eerste stenen kerk.
Op en rond de Markt zijn nooit grootschalige opgravingen gedaan waaruit de eerste bebouwing zou kunnen blijken. Buiten de markt is aan de westkant gegraven naar de resten van de in 1708 door de Fransen verwoeste Dekanij en het grote huis de IJpelaar. Ook hier zijn nog tufsteenresten gevonden en de oudste bekende bebouwingsporen, een plaggenhut uit de tweede helft van de dertiende eeuw. Vermoedelijk is in die tijd de eerste bebouwing rond de kerk begonnen. Die bebouwing heeft plaatsgevonden op de Varkensmarkt en rond de Oude plaats vóór de kerk, die later Marktplaats of Marktveld genoemd werd. De noordelijke korte rand werd gebouwd buitenlangs het stroompje Noorderbeek; in en langs de Holstraat zien we nog oude perceelsmuren. De zuidelijke korte rand werd gebouwd binnen- langs de Zuiderbeek. Het gesloten karakter van deze oude kern is ontstaan door de aanleg van een verhoogde rand tussen de twee beken tegenover de kerk waarop o.a. het gemeentehuis ligt; deze rand wordt nog altijd de “hoge zij” genoemd.
In de veertiende eeuw krijgt het dorp Hilvarenbeek van de hertog en van Rogier van Leefdael, leenman van de prinsbisschop van Luik, een aantal rechten, waaronder het gemene gebruik van de “woestijne”, de woeste heidegronden, ten westen en noorden van het dorp, en het recht om markt te houden. Rechten zoals het markt- recht en recht mogen spreken in civiele zaken en strafzaken werden “vrijheden” genoemd. Zo ontstond de “Vrijheid van Hilvarenbeek” oftewel de “Vrijthof Hilvarenbeek”.
De marktplaats of kortweg Markt is in 1956 omgedoopt in Vrijthof, omdat dat prestigieuzer klinkt dan Markt. In werkelijkheid was de oude dorpskern Vrijthof groter dan alleen dit plein.
Zie verder bij 1331 De vrijheid Hilvarenbeek.
