在当地的传说中，因为佛头山是一位得道高僧归隐之地，钟灵毓秀，藏风聚宝，因此在很久以前，山下双龙潭中的两条巨龙为争夺此山的控制权，曾打得天昏地暗却不分胜负。

最终，一条龙潜入双龙潭底，化做一潭碧水将佛头山紧紧拥在怀里，而另一个龙，则盘踞在附近山中化做一块石头，日夜守望着佛头山。