余族之先，肇自由余。由余者春秋秦之上卿也。由余卒其子孙遂以余为姓。厥后析居流裔，历秦、汉、隋、唐之间，簪缨不绝，而禄卑不得继于国史。至大唐开元八年，有余钦为大学博士，居歙之休宁。历数世至戭公，因避黄巢之乱，徙居邵武之先泽，至戭之长子曰从，避五季之乱，居韶州曲江，次子曰咸居洪州之汾宁，三子曰衮居杭州之钱塘。

后世曾奉戭公为始祖纪于家谱。天圣二年甲子，从公曾孙（庆公之子）余靖，擢登进士，位居四谏（即余靖、欧阳修、王素和蔡襄），名列八贤。正德庚辰年，靖之十七世孙朝纲登进士第，为正德御史，后调任福建漳州府，故在龙溪（漳州府治，今漳州城区）入籍，安居两代。适闽省局势又有动摇，朝纲之孙（南麓之子）芳选顿兴桑梓之思，嘉靖四十年，于闽南漳浦县五凤里蒹葭村柑板桥携眷与胞兄之子崑安及胞弟芳远复迁回粤定居，子孙繁衍。