我家与邻居家的房子都是在承包的土地上审批盖起来的房子。界限本来是很清楚的。但是后面他家挖过地埂(我家的地比他家的高出50cm)当时我家做了个记号。后来我我家砌围墙的时候,他家来看过了,也承认了记号,我家就把记号挖了,砌墙。墙基础砌好了,记号当然也就不在了,现在他家就说是我家占了他家的地,让我家把墙拆了,退出去。而且还迅速的在原来的位置上,墙基的旁边往我家这边挖,这样好让别人看着真是我家占了他家的位置。现在他家态度很是强硬。我家觉得他家太无理,不愿让步、现在我家该怎么办啊?
未面谈及查看证据材料,律师回答仅供参考。