相传，秦末大谋士张良因对秦始皇暴政不满，曾在轿顶山半山腰的一山洞内读书、学艺数年，感到轿顶山非常富有帝王之气，常登山吐纳大地精华，修身养性。直到西汉末年，王莽撵刘秀，刘秀在轿顶山之南的刘秀寨上与王莽两军对垒，连战数月不利。

一日，刘秀夜梦张良对他说：“距此不远处，有一山形似轿顶，旁有一华盖石，皆有帝王之气，你可去拜谒，可成就天下！”刘秀突然不见张良，惊呼，梦醒。翌日，刘秀招来军师邓禹和诸将，随同前往拜谒轿顶山，果见此山此石，虔诚跪地叩拜