《潘氏族人网》注明:潘姓三岚为始祖有徙居在城步县之横水,还有徙居在广西融安县长安镇,资源县。应麟公后裔代有能人,在武冈州较有影响的为笫九代潘应斗、潘应星二公。潘应斗为明末重臣,崇祯十六年(公元一六四三年)癸未科进士、官奉政大夫;曾任广东万州知州、云南道监察御史,累官至吏部侍郎加太常寺卿。其弟应星公为贡生、官奉直大夫;崇祯朝官至礼部仪制司和兵部职方司主事、员外郎。二公后因与权相马士英、阮大铖,骄帅刘承允等不合,辞官回乡,耕作自食。
清室定鼎之初,顺治征前明癸未科进士出仕,潘应斗在征召之列,《武冈州志》载:顺治曾三次派员召请,但他坚不出仕,均以明臣不二为辞。高风亮节,为州人称道。
乡居期间,应斗、应星二公曾于康熙二年应武冈知州吴从谦之请,总纂《武冈州志》、并参修《宝庆府志》(版本现均藏北京图书馆)并代州牧作序。
潘应斗、潘应星在《宝庆府志》和《武冈州志》中都有传记。《武冈州志》上说:武冈历代贤达中最有名望者为“前曹后潘”,“前曹”即指明万历二年武冈进士曹一夔,“后潘”即为明末武冈进士潘应斗及其弟潘应星,由此可见,应斗公兄弟在武冈老百姓中的声望是很高的。
康熙初年,因三藩反叛,吴三桂占据湖南,清庭对部分前明遗臣不愿出仕者不放心,意欲有所举措。为防意外,应斗公命其部分儿孙出走,往西去了云贵川。
《武冈人物谱》一书中也记载了潘应斗的身世,潘乃儒林乡人(在宋朝时城步叫武冈,唐朝末期至明朝的弘治城步也叫武冈,武冈当时叫都梁,城步叫城步寨)、(城步温水叫儒林乡是明代皇帝亲封的)见温水罗公墓表,此两铁证足够证实,潘应斗(字章辰,号素斋)是儒林乡(拦牛峒)塘圆(壮团元)村人,而不是武冈民间传言的潘应斗为武冈邓元泰人。
今天的大岔坪、雷岔、太平、大阳、壮团园、卡田、拦牛各地留下他的很多足迹,如点兵界、将军岩、潘家田、潘家湾、潘家桥、潘墓冲等多处,每一处都有他的故事和传说,这些足够证明他乃城步白毛坪人,无可否认。
金紫山不论从哪个角度看,山顶都呈金字塔形,春夏秋冬皆有云雾缭绕,相比其他诸山凭地多了几分灵气,也是两省间龙脉风水发源地。
千百年来,两座石墙大庵的香火未曾断过。农历每个月的初一、十五或七月七、六月六、二月十九、六月十九、九月十九这些特殊的日子,两省的佛教信徒多会来此朝拜,人山人海,热闹非凡。