宋时，刘义隆从江陵赴南京当皇帝，乘船经长江过嘉鱼口（又名港门口）时，突然遭遇大风大浪，眼看杆断船翻之险，江中突然跃出两条黄龙救驾，一左一右把御船送上岸边，留下“黄龙负舟”的典故，后刘义隆在南京当了皇帝，就把年号起为“元嘉”。在回访巡视嘉鱼时，把原港门口改为“驾部口”，地人称“驾御口”；将沙阳洲改名“龙穴洲”；沙阳山命名为“龙潭山”；山下湖（北门湖）改为“龙潭湖”。这样嘉鱼县城的洲、湖、山都是以“龙”来命名的。有龙就有凤，龙凤相配，这样就会使嘉鱼县城更加和谐统一。人间有所说，时任县令有所思；居然有夜做了个美梦，梦里见到观音菩萨点化他说；“凤凰山就在县城以南，而且还有双翅，与龙谭山相对，是处风景圣地。”县令一觉醒来，仔细一想，那不就是灌矶山吗？正与龙潭山相对一条线上，真是龙凤呈祥，和谐瑞意，并将灌矶山命名为“凤凰山”。
凤凰山在嘉鱼县城的南部，古长江口鱼岳山之东南，陆码河的北岸，与鱼岳山隔河斜对，左右有两翅矶头，无论内外水大涨时，都可阻止陆码河的进出速度。特别是长江涨大水时，江水倒灌入内河，其山嘴两翅矶头，又可堵住江水倒灌的流速，人称“灌矶山”。
明初山上原建有五岳观、社稷坛。成化十八年（1482年），辟为演武场，建有阅武亭。游仕任的《凤凰山演武亭》诗曰：“入门江上阵云开，画栋高凌旧日台。赤壁鲸波清缓带，彤弓雕影落间怀。凭栏不治登坛事，投笔应留记室才。最喜楚天刁斗静，采频一曲凤凰来。”
嘉靖年间（1522—1556年），改建为翔凤楼、凤凰古刹。我县兵部尚书方蓬时在《九日凤凰山登高》诗载：“孤峰突兀倚江干，柱杖穿云到石坛。南国千年凤不返，中原万里雁飞难。丹枫叶落沧洲暮，青桂花疏白露寒。登眺不妨归去晚，天涯歧路正漫漫。”诗中道出了作者归乡后，不能再返征途，为国分忧。人老就像丹枫落叶，再飞也难的满怀情豪。清.康熙八年（1669年）改为威风亭，道光年间建有凤凰古刹（庙），周围有古松、古柏。清末社稷坛迁于枣林嘴城隍庙，改为祀祭“土地神”。每年立春，立秋后第五个戊日杀猪斩羊由知县主持祭拜，以示“五谷丰登”。民国二十九年（1940年）被日本侵略军修碉堡拆毀。黄赤馀先生在《凤凰山怀古》中惋惜的写道：“白发野翁老且迂，尝嗟时世古今殊。楚宫何处寻遗址？州国无人识故都。凤去山空长寂寞，鱼游水阔是欢娱。荣华过眼顺臾事，待诏奚疑作钓徒。”
原凤凰山海拔高程43.5米，长240米，宽180米，东西走向，面积约10000平方米。山顶壁有凤凰大道，1979年成为县电力修试厂和商业局宿舍所在地，山主体已建成居民区，全被建筑物覆盖，原凤凰山真貌以一去不复返了。
