我2015年年初买的二手毛坯房,我装修的住了快3年了。买房时是和中间人签的卖房协议,不是正规卖房合同。买房时中间人说房主少他钱,房子抵给他的,对我说什么时候过户都可以,当时我对这些也不懂,所以就买了,之后每月还房贷。17年10月中旬我从外地回来,月底中间人打电话给我催我过户,我借够了银行解押钱后他又打电话说户主嫌我交房贷逾期使他的信用度低贷不了款而不给我过户了,除非给户主二十万补偿户主才给我过户,要不就是把当初买房付给他的钱和还房贷钱退给我,一切都清了。情况就是这样,我想知道我应该怎么做呢
未面谈及查看证据材料,律师回答仅供参考。