相传炎帝逢吉日在回龙山祭天而建庙，到东汉时已集佛、道、儒三教于一体。现庙中供奉的主神“南岳大帝”即炎帝的化身。公元751年，无量寿佛也 晨回龙古庙中开始他的成佛之路。盛传古庙中求愿祈福极为灵验。
那么，回龙山为何称古南岳?
有三种说法：第一种说法来自住持口中。称回龙山建寺早于衡山，唐朝初年，由于自然条件恶劣，当时的住持就将三分之二的僧侣、道士分到南岳衡山，另建寺庵。南岳庵刹创建之初的和尚、道士大多来自回龙山，“古南岳”之说由此产生。据说，南岳的各个寺的住持、方丈曾经到过这朝祖。经查证，回龙有庵刹的历史约为1700左右，而南岳则为1600多年。这种说法，时间上是成立的。
第二种说法来自民间传说。资兴县志中称“相传南岳大帝五六月间来此避暑”。而且，衡山之脉气源自回龙山。
第三种说法，是清代乾隆年间贡生李元禄的考证。在县志所载其《游杂山记》一文中提出了自己的观点。他认为，之所以言“古”，“或非唐虞以下之古也”，“乃五帝以上之古”。称上古时神龙氏炎帝尝百草、传农耕，曾居住于回龙山。回龙山上的仙庵就是后人祭奠炎帝，烧香礼拜之地。
这三种说法，因没有明显的物证，已经无从得出其真正来历。但可以明确的是，回龙仙寺的历史的确久远久。
