De eerste zondag na Pasen in het jaar 1471 komt een aantal kasteelheren uit de buurt bijeen in de kerk te Vleuten voor het Onze Lieve Vrouwe-altaar om een broederschap op te richten. De directe aanleiding voor de oprichting van deze broederschap is waarschijnlijk een bedevaart die Frederik Utenham net heeft gemaakt naar ’s-Gravesande. De broederschap komt samen om kerkdiensten bij te wonen en te bidden voor het zielenheil van overleden broeders. Naast religieuze motieven is het verstevigen van de onderlinge vriendschap een belangrijke reden.
Door schenkingen en erflatingen van de lokale heren verwerft de broederschap in de loop van de tijd de nodige bezittingen aan land en gebouwen. Dit kapitaal wendt de broederschap aan ten behoeve van de armen in Vleuten. Vanaf de 16de eeuw bezit de broederschap ook vier armenhuisjes aan de Dorpsstraat in Vleuten, die zij verhuurt aan mindervermogende Vleutenaren. De bevolking noemt deze woningen de Broederschapshuisjes.
Ondanks de opheffing van de rooms-katholieke kerk in 1580 zal de broederschap blijven voortbestaan tot op de dag van vandaag. Tegenwoordig besteedt de broederschap haar inkomsten aan lokale goede doelen. In de Broederschapshuisjes zijn tegenwoordig het museum en kenniscentrum van de historische vereniging gevestigd.
