De vroegste datum aangaande een Hoorns gasthuis is van 1347, toen Graaf Willem V Hoorn toestemming
verleende om een gasthuis op te richten. In 1382 is er sprake van het bestaan van een gasthuis in de
Kerkstraat nabij de Rode Steen. Dan volgt een complexe geschiedenis van aankoop, verbouwing, sloop en
vervanging van panden , wel of niet inmiddels gedeeltelijk als gasthuis in gebruik. Dit leidde uiteindelijk
tot de nieuwbouw van het huidige pand. Al deze activiteiten vonden plaats binnen het gebied Kerkplein,
Lange Kerkstraat (v/h Kerksteeg) en Glop. Iets noordelijker dan het (vermoedelijk) eerste gasthuis van
1382.
Langzamerhand vooral door toename van de bevolking werd de behoefte aan verzorging van zieken en zwakken
groter. Daardoor nam de toename van de bemoeienis van de overheid en particulieren toe, hetgeen er in
1529 toe leidde, dat de oorspronkelijke taak overgenomen werd door een college van z.g. Heilige Geestvoogden.
Deze laatsten vormden tevens het college voor de zorg van wezen. In 1577 werd de naam gewijzigd in
Weesmeesteren.
Hoewel in 1531 volgens besluit van de Vroedschap in de Kerksteeg nog één der woonhuizen
geheel vernieuwd werd tot gasthuis, werd in 1563 aangevangen met de bouw van een geheel nieuw gasthuis.
Dit gebouw is het nog enige bestaande onderdeel van het gehele complex.
Wegens vermindering van geldelijke ondersteuning door de overheid, te hoge inkoopsommen voor proveniers,
voor wie inmiddels ook de mogelijkheid bestond om woonruimte in te kopen of in te huren, geraakte het
complex langzamerhand in een vervallen staat van onderhoud. Uiteindelijk liep dit in 1841 uit op opheffing
van de functionele taak van het complex.
De bewoners werden elders ondergebracht. In 1858 werden de bedsteden en overige inrichting verwijderd.
Van 1861 tot 1922 was het gebouw in gebruik als kledingmagazijn van hetHoorns garnizoen. In 1925 kreeg
het gebouw de functie van opslagplaats voor boter en kaas, waardoor het gebouw tot aan vandaag ook nog
steeds bekend staat als de "Boterhal". In 1954 werd nog enige tijd een houtbewerkingsproductie
uitgeoefend onder toezicht van de Westfrieze Sociale werkplaats. Vervolgens diende het gebouw nog korte
tijd als opslagplaats voor gemeenteartikelen en als bazaar- en tentoonstellingsruimte. Vooral de laaste
leidde ertoe, dat het tot heden nog steeds het vaste verenigings- en tentoonstellingsonderkomen is van
de "Kunstenaarsvereniging Hoorn e.o.".