我家于20年前和村上一家换了一块地,当时是为了二家各自方便建房和耕种,他家想扩建房屋,但他家小孩尚小一直未能实施,我家也有这样的打算。因为当时邻里关系很好,加上年代问题,只有口头协议,并无书面协议。这二十年大家各自使用换地耕种,我家于八年前在换地上建猪舍,这些年一直使用换地养猪或作他途。现他家孩子已经长大,想在换地上建房,但由于请了一风水师,说我家换给他家的地不适宜建房,所以这二年他家有点不想换的意思,我家当然不同意,但他家也没说什么。现在我家打算在这块换地上推掉猪舍并重新建房,由于这些年因为某些原因与这家人关系很差,他不想让我家建房,并反悔称不愿意与我家换这块地。关系已难调和,要是通过法律我是否有胜算?
未面谈及查看证据材料,律师回答仅供参考。