祁阳县建县以来，居民在历史 上有两次大迁徙，一是南宋消亡时，元军攻陷祁阳，进行残暴弹压，死的死逃的逃，人口骤减，以后近邻省，县人民相继迁入。一是元末朱元璋与以两湖为根据地的陈友谅争雄，陈失败战死；为了防止两湖农夫起义兵继承反抗，朱元璋除了血腥弹压外，还来了个“扯湖南填川贵，扯江西填湖南。”当时祁阳居民大部分迁走，而由外省居民添补。祁阳现有居民肇端祖都是由外省迁来，重要上由江西迁来。
钟姓始祖钟惟贤，于洪武年间，迁居祁阳之东七里桥生五子；思仁，思义，思礼，思端，思信。 仁，义，端，迁居零陵。思义，后裔分居太白峰，喉水坪，祠堂坪一带。