这组建筑群始建于宋代,城堡分内、外城。内城建一座三层四合式“完璧楼”,取意“完璧归赵”之意,楼内挂着宋朝18位皇帝的肖像。北门筑有瓮城,瓮城内建武庙和父子大夫坊,是为正门。赵家堡南靠丹灶山,北对朝天马山。
完璧楼为三四合式四方楼,高20米,每层16间。楼外环以石基土堡,三合土堡墙高6米,宽2米多,上有垛口。设东西南北四个城门,东门题刻“东方钜障”,西门题“硕高居胜”,南门题“丹鼎钟祥”,唯北门没有题额。
天井中筑一条地道通东门外。完璧楼及其环卫土堡俗称“内城”。另一部分是赵义建的五座进府第,每座30间,共150间,每座第5进为2层楼,系内眷住。现仍保存完好。
外城围墙是三合土墙,高6米,厚2米,周长1200米。外城主要建筑为五座五进并列的府第。城堡内还有卞派桥、禹碑、宋代书法家米芾的手迹“墨池”石刻以及聚佛宝塔等珍贵文物。
南宋亡时,宋宗室起若和与黄侍臣等广东崖山逃至漳浦,避难隐居。明万历年间,其第十世孙赵范在这里建堡,以后赵范之子赵义又加以扩建。城堡仿北宋京城汴京式样建造。