Het paar behoort tot de intieme kring rondom keizer Karel V. In Culemborg moet een stadhuis komen dat qua formaat en uitstraling de status van zijn opdrachtgevers waardig is. Antonis en Elisabeth verstrekken de stad een lening als bijdrage in de kosten van het nieuwe gebouw. De ontwerper wordt Rombout II Keldermans, persoonlijk architect van keizer Karel V.
Het nieuwe stadhuis past ook goed bij Culemborg, dat rond 1530 een flinke stad van 3500 inwoners is. En bovendien een belangrijke marktplaats in de regio. Het is de zetel van het stadsbestuur, dat bestaat uit twee 'borgemeesters' en een college van schepenen, die ook recht spreken. In de vleeshal onder het gebouw is eeuwenlang op marktdagen vlees verkocht.
