私自拆除公路两旁的围墙是不被允许的。这是因为这些围墙通常是出于安全、环保、美观等目的而设立的，私自拆除可能会危害交通安全、影响环境美观，甚至可能违反相关法律法规。如果发现围墙存在安全隐患或者影响生活，应该及时向相关部门反映，由专业人员进行拆除或者维修。因此，我们不能私自拆除公路两旁的围墙，应该尊重公共设施，共同维护公共安全和环境卫生。