我是一名农民,村里划了一处宅基地给我,该宅基地有一户人家的祖坟,那户全家户口全搬离到城市二十多年了,2003年清明节他们回来上坟得知他家祖坟那片地划给我家,他们主动找我让我到他的房屋居住,不让我在那片地盖房,他家的房子几乎快倒了根本不能住,我没同意,之后他又同意让我拆了他的房子再翻盖新房,由于以前我们两家关系非常好,当时只是口头协议,证人是我兄弟。2006年2月我拆了他家房子翻盖了新房。08年他又反悔了,想让我无条件搬出,我不同意他便将我告上法庭要我把他的房子恢复原状。法院调解不成,终审判决是停止侵权恢复原状。我想知道这样判合理吗?我没法给他恢复原状,法院执行时会不会让我们搬出或者是拆了我建的房子?下一步我该怎么办?谢谢。
未面谈及查看证据材料,律师回答仅供参考。