仁威庙初建时称北帝庙。据说，因真武帝司水，故人们称他为北帝或水神。又因北方真武玄天上帝素有“神威”．所以后来改称仁威庙了。仁威庙的得名还另有一说。泮塘地处岭南水乡，素以种莲藕、菱角、茨菇、马蹄（荸荠）、茭笋等“泮塘五秀”而驰名。泮塘乡民为“感恩邀福于神以不致成灾”，故对供奉的神像“奉祀信诚”。话说泮塘当年有兄弟二人，兄名“仁”，弟名“威”。有一天，兄弟俩去打鱼发现一块怪石，拾回家中立为神像，从此“生活顺景，得心应手”，后传遍乡里，十里之内，参拜者众。到乡里集资修建庙时，乡人便将庙名改为“仁威”了。仁威庙平面略呈梯形，坐北朝南，广三路深五进，另有偏东一列平房。前三进建筑，当中为主体建筑，东、西为配殿，第四进为斋堂，第五进为后楼。沿着南北中轴线，依次为头门、正殿、中殿、后殿和后楼，左右为东、西序。头门面阔11米，深8米。门外两侧各立一花岗岩石柱，柱头雕有石狮子，柱身雕祥云和二龙戏珠，线条流畅，形象十分生动，俗称为“龙柱”。庙中的建筑雕饰，集丹青、木刻、砖雕、灰雕等各种艺术于一体，其雕饰物形象生动，栩栩如生，集中了岭南古建筑艺术的精华，被誉为“桂殿兰宫”。同时，整座庙宇造型各异，有方形、八角形，也有覆盆状的。柱子有石柱、木柱，柱的截面有方形、八角形、圆形，也有转角柱。