传说明代某一年，廉州（合浦旧称）来了个“番鬼佬”（当地人对外国传教士的蔑称）。据说这“番鬼佬”目光犀利，能看穿石头。一次，“番鬼佬”来到廉江边，一眼便看出水里有头大犀牛，马上意识到这是个灵物，并预感廉江因此日后必出大人物。
传说明代某一年，廉州（合浦旧称）来了个“番鬼佬”（当地人对外国传教士的蔑称）。据说这“番鬼佬”目光犀利，能看穿石头。一次，“番鬼佬”来到廉江边，一眼便看出水里有头大犀牛，马上意识到这是个灵物，并预感廉江因此日后必出大人物。
为扼制廉州，“番鬼佬”便编造谣言说：“河湾中的犀牛是个妖孽，不除去终有一天会祸害地方。”官府听其怂恿，便在廉江河湾旁山坡上建起一座酷似牛鞭的塔。塔落成后，像鞭子不断抽打犀牛，使之无法安生，只能逃往别处，廉州便少出俊才了。因此，合浦有人又将文昌塔称为“番塔”。
当然，民间传说也并非空穴来风。合浦是一座历史悠久的文明古城，早在秦汉时期便与海外文化有着密切的联系，文昌塔作为一座标志性人文建筑，所流传的故事自然而然也与海外文化联系起来。