Bij onderzoek naar de historie van het gebouw aan het Van Harenspad 50 werd een probleem ontdekt. Het bleek dat de gegevens over de bouw van huizen uit de periode voor en na de invoering van het kadaster in 1832 niet in elkaar overvloeiden. Wel weten we dat de meest bekende eigenaar van de grond en het pand de familie Van Heloma is geweest. Daarom wordt het pand nog steeds het Van Heloma-huis genoemd. Het is niet gek dat de rijke families juist hier aan het water bouwden. Men had een fraai uitzicht op het drukke scheepsvaartverkeer van en naar de veengebieden. Wanneer het pand precies gebouwd is, is onzeker. Wel weten we dat het ergens tussen 1679 en 1721 moet zijn geweest.

In de vroeg twintigste eeuw kwam het pand in handen van Leo Leenes, naar wie Pakes Zolder vernoemd is. In 1975 kocht de gemeente het oude pand met het kleine huisje ernaast voor 300.000 gulden. Daarnaast werd er geld beschikbaar gesteld voor de grondige restauratie van het pand. In 1981 werd hiermee begonnen onder leiding van architectenbureau J.D. van der Molen uit Sneek. In mei 1982 waren de werkzaamheden klaar en kon de Oudheidskamer zich er in vestigen.