南海神庙坐北向南，占地3万平方米，是明代建筑风格，恢宏壮观且古朴大方。
庙外有“海不扬波”的石牌坊。庙宇的主体建筑沿着中轴线从南到北依次为头门、仪门、礼亭、大殿、昭灵宫共五进，一进高于一进。其他附属建筑均以五进为中心，左右对称。这是较典型的中国传统庙宇建筑。
南岳传说之祝融的故事
黄帝时候有个火正官，名叫祝融，他小时候的名字叫做黎，是一个氏族首领的儿子，生成一副红脸膛，长得威武魁伟，聪明伶俐，不过生性火爆，遇到不顺心的事就会火冒三丈。那时候隧人发明钻木取火，还不大会保存火和利用火。但黎特别喜欢跟火亲近。所以十几岁就成了管火的能手。火到了他的手里，只要不是长途转递，就能长期保存下来。黎会用火烧菜、煮饭、还会用火取暖、照明、驱逐野兽、赶跑蚊虫。这些本领，在那个时候是了不得的事。所以，大家都很敬重他。有一次，黎的爸爸带着整个氏族长途迁徙，黎看到带着火种走路不方便，就只把钻木取火用的尖石头带在身边。
一次，大家刚定居下来，黎就取出尖石头，找了一筒大木头，坐在一座石山面前“呼哧呼哧”钻起火来。钻呀，钻呀，钻了整整三个时辰，还没有冒烟，黎很生气，他嘴里喘着粗气，很不高兴。但是没有火不行，他只好又钻。钻呀，钻呀，又钻了整整三个时辰，烟倒是出来了，就是不起火。他气得脸子黑红,“呼”地站起来，把尖石头向石头山上狠狠砸去。谁知已经钻得很热的尖石头碰在石山上，“咔喳”一声冒出了几颗耀眼的火星。聪明的黎看了，很快想出了新的取火方法。他采了一些晒干的芦花，用两块尖石头靠着芦花“嘣嘣嘣”敲了几下，火星溅到芦花上面，就“吱吱”冒烟了。再轻轻地吹一吹，火苗就往上窜了。
自从黎发现石头取火的方法，就再也用不着费很大工夫去钻木取火了，也用不着千方百计保存火种了。中原的黄帝知道黎有这么大的功劳，就把他请去，封他当了个专门管火的火正官。黄帝非常器重他，说：“黎呀，我来给你取个大名吧，就叫祝融好了，祝就是永远，融就是光明，愿你永远给人间带来光明。”黎听了非常高兴，连忙磕头致谢。从此，大家就改叫他祝融了。
黄帝在位的时候，南方有个氏族首领名叫蚩尤，经常侵扰中原，弄得中原的人无法生活。黄帝就号令中原的人联合起来，由祝融和其他几个将领带着，去讨伐蚩尤，蚩尤人多势众，尤其是他的九九八十一个兄弟，一个个身披兽皮，头戴牛角，口中能喷射浓雾，好不威风。开始打仗的时候，黄帝的部队一上大雾就迷失方向，部队之间失去联系，互不相顾。蚩尤的部队就趁势猛扑过来，打得黄帝所部大败，一直向北逃到涿鹿才停下来。黄帝被蚩尤围在涿鹿，好久不敢出战。不久，因发明了指南针，就再也不怕浓雾了。后来祝融见蚩尤的部下都披兽皮，又献了一计，教自己的部下每个人打个火把，四处放火，烧得蚩尤的部队焦头烂额，慌慌张张地朝南方逃走。黄帝驾着指南车，带着部队乘胜向南追赶。赶过了黄河，赶过了长江，一直赶到黎山之丘，最后终于把蚩尤杀死了。祝融由于发明了火攻的战法，立了大功，黄帝重重封赏了他，他成了黄帝的重要大臣。
黄帝的部队班回朝时，路过云梦泽南边的一群大山。黄帝把祝融叫到跟前，故意问道：“这叫什么山?”祝融答道：“这叫衡山。”黄帝又问：“这山的来历如何?”祝融又答道：“上古时候，天地一片浑沌，象个鸡蛋。盘古氏开天辟地，才有了生灵。他活了一万八千年，死后躺在中原大地之上，头部朝东，变成泰山;脚趾在西，变成华山;腹部凸起，变成嵩山;右手朝北，变成恒山;左手朝南，就变成了眼前的衡山。”刚刚说完，黄帝紧接着又问：“那么，为什么名叫衡山。”祝融马上答道：“此山横亘云梦与九嶷之间，象一杆秆一样，可以称出天地的轻重，衡量帝王道德的高下，所以名叫衡山。”黄帝见他对答如流，非常高兴，笑呵呵地说：“好哇!你这么熟悉南方事务，我要委你以重任!”但黄帝并不说出是什么重任。
队伍在衡山驻扎下来了。黄帝登上最高峰，接受南方各个部落的朝拜。许多氏族首领会集在一起，大家都很高兴，祝融一时兴起，奏起了黄帝自己编的曲子-咸池之乐，黄帝的妃子嫘祖也踏着拍子，跳起舞来。大家见了，都围着黄帝跳了起来。跳了个痛快以后，黄帝叫大家静下来，说：“我就位以来，平榆罔，杀蚩尤，制订历法，发明文字，创造音律，编定医书，又有嫘祖育蚕治丝，定衣裳之制。现在天下一统，我要奠定五岳：东岳泰山，西岳华山，南岳衡山，北岳恒山，中岳嵩山。从今以后，火正祝融镇守南岳。”大家一听，都大声喊着：“万寿无疆!万寿无疆!”祝融这时才知道，原来黄帝说的委以重任就是这么回事。
黄帝走了以后，祝融被留在衡山，正式管理南方的事务。他住在衡山的最高峰上，经常巡视各处的百姓。他看到这里的百姓经常吃生东西，就告诉他们取火，教他们把东西烧熟再吃。他看到这里的百姓晚上都在黑暗中摸摸去，就告诉他们使用火松明。他看到这里瘴气重、蚊虫多，百姓经常生病，就告诉他们点火熏烟，驱赶蚊虫和瘴气。百姓们都很尊敬他，每年八月秋收以后，就成群结队地来朝拜他。大家说：“祝融啊，我们人丁兴旺了，鸡鸭成群了，五谷丰登了。你给我们带来了这么多的好处，我们感谢你，我们要尊你为帝了。你以火施化，火是赤色我们就叫你赤帝吧!从此，祝融就被大家尊为赤帝了。”
正在大家安居乐业的时候，忽然电闪雷鸣，从中原地带来了震天动地的杀喊声。百姓们吓得不得了，都跑来问祝融是怎么一回事。祝融告诉他们说：“这是共工和颛顼气争帝位，打起来了。”他们打了很久，还是不分胜负，共工气得七窍生烟，纵身一跳，一头朝不周山上撞去。这不周山原来是一座不平凡的山，它撑住了天空，不让天垮下来;它系住了大地，不让大地倾斜。共工一头撞过去，只听得“轰隆隆”一阵巨响，火星飞溅，照亮了半天，撑天的柱子折断了，系住大地的绳索也绷断了。从此，天空向西北倾斜，日月星辰都往西北方向落下去。大地向东南倾斜，江河湖泊的水都往东南方向流过去。本来，南岳衡山这块天眼看也要垮下来了，这块地也一晃一晃的就要翻过去了。老百姓一个个抱着大树，攀着岩石，吓得哭起来了。祝融连忙使出自己的全身本领，象个大柱子一样撑住这个地方的天才没有垮，山才没有塌。唐朝有个诗人，特意写了这件事：“东南地益卑，维岳资柱石。前当祝融居，上拂朱鸟翮。”后来，还有一个诗人也写道：“地涌一峰秀，高撑南楚天。”祝融在南岳山上活到一百多岁才死去。百姓把他埋在南岳山的一个山峰上，并把这个山峰命名赤帝峰。他住过的最高峰，大家就一直叫做祝融峰。在祝融峰顶上，百姓们修建了一座祝融殿，永远纪念着他的功德。
