Hans rigtige navn var Kaare Stoffer. Hans farfar havde været skolelærer på Hasselø. Hans far, Rasmus Kaare, havde i begyndelsen af 1800 tallet under Englandskrigen tjent gode penge ved kaperi (statsautoriseret sørøveri), men havde hurtigt formøblet formuen. Sønnen, som gik under øgenavnet Aale-Stoffer, tjente en smule penge ved at gå med sin kurv fra dør til dør og sælge ål, som han havde købt eller fået foræret af fiskerne. Åle-Stoffer blev for øvrigt født på Hasselø den 25.12.1833 og døde på Fattiggården i Stouby den 7.9.1907.
