Al in de veertiende eeuw wordt het latere huis De Vlotter genoemd in officiële stukken. Gerrit van Hofland droeg zijn huis over aan Wouter van Heemskerk om het daarna van hem in leen terug te krijgen. De personen van leenheer en leenman wisselden daarna regelmatig tot het in de Spaanse tijd in 1572 “door den algemeijnen vijandt afgebrandt en geruïneert” werd.
In de zeventiende eeuw verschijnt er een “riddermatige hofstede” van waaruit de jacht werd beoefend. Volgens een vonnis van de rechtspraak van die tijd hadden de bezitters ter plaatse al vierhonderd jaar (dus teruggaande tot in de dertiende eeuw) “vrij schot, vrije jacht en vrije vlucht”. Uit officiële stukken van 1710 kunnen we opmaken dat een en ander inmiddels was uitgebreid tot een hofstede met stallen, koets- en wagenhuis en een woonhuis. Hier wordt ook de naam “De Vlotter” genoemd. De koper van dat moment veranderde de naam in “Jagerslust” en oefende zijn hobby van daaruit uit. Het huis veranderde nog enkele keren van eigenaar waarbij in 1817 wel de naam “De Vlotter” weer terugkeerde, maar werd uiteindelijk midden 19e eeuw gesloopt. Het vrijgekomen puin werd vooral gebruikt voor wegverharding.
Rond 1854 werd de huidige tuinderswoning op de achtergebleven fundering gebouwd.
Het wachten is op gedegen archeologisch onderzoek dat zou kunnen uitwijzen wanneer de oudste Vlotter werd gebouwd.
Bron: Mr. J.W. Groesbeek, Middeleeuwse kastelen van noord-holland
Voor meer informatie zie ook artikel van M.C. Vet 2012 van AWN-Beverwijk-Heemskerk op de website van AWN Beverwijk-Heemskerk