遥墙位于黄河东岸、小清河北岸。此地原名叫“高固君”，唐朝时改称“遥墙”。其名称来源有如下一个传说：

黄河两岸好风光

唐朝时，曾有一队官兵到此地侵扰民众。兵士在行车途中，突然狂风大作，飞沙走石，天空阴暗如夜，“高固君”远远地看去，好像凭空树立起了一堵墙，把行军的路线挡住了，兵士们只好惊恐地退回。

小清河曾是济南航运要道

冥冥中似乎是上天保护了这里不被侵袭，后来民众就把“高固君”改名为遥墙。北宋南渡、金兵南侵占据山东期间，遥墙开始建镇并延续至今