Holbækbrødrenes logebygning er opført i 1847 som kgl. toldkammer og tjente som sådan indtil 1958, da holbækbrødrene (Hjælpekassen for Frimurerbrødre i Holbæk) købte den stoute bygning på Havnepladsen 2 for at indrette den til logebrug.

Instruktionslogen St. Lucius blev stiftet i 1932, men brødrene i Holbæk har holdt møder siden 1888, dels hos brødre, der havde plads, dels i lejede lokaler på byens hoteller.

Det var, da overlæge, dr.med. Th. Hansen var Ordførende Brøder, at den gule toldbod blev til loge, og samtidig fik St. Lucius som den første instruktionsloge i Danmark tilladelse til at optage fremmede søgende i I grad. Dette gav naturligvis frimureriet ny luft under vingerne.

I 1975 oprettedes Sankt Andreas-instruktionslogen Under Tvejen, som også har til huse i det tidligere toldkammer. Og i 1989 blev St. Lucius til en arbejdende loge, og logens første Ordførende Mester blev overlærer Knud Hansen, der i mange år have været instruktionslogens Ordførende Brøder.

Logebygningens etageareal er 140 m2. Hertil kommer en sidebygning på 80 m2. Logesalen har plads til ca. 60 brødre, spisestue og kaffestue til 50 hver.