我买了房子的存款，然后同意在20日办理手续和结算余额，但卖方在20日没有来，中间人告诉我拖延了几天，但我不想买房子。当我通过中间人退还存款时，中间人说，根据合同是我违约，我没有在20日关闭存款。

首先,要签定房屋销售合同。根据《中华人民共和国城市房地产管理法》和建设部《城市房地产转让管理规定》等法律法规规定,凡在城市规划区有土地范围内从事房地产买卖赠与等转让行为,转让当事人必须签定书面转让合同。
其次,应当办理房屋过户手续。办理过户手续的程序如下: 1) 双方当事人在房屋买卖合同签定后30日内,持房地产权属证书、当事人的合法证明、转让合同等有关文件向房地产管理部门提出申请,并申报成交价格; 2) 房地产管理部门对提供的有关文件进行审查,并在15个工作日内做出是否受理申请的书面答复; 3) 房地产管理部门核实申报的成交价格,并根据需要对转让的房屋进行现场勘察评估; 4) 房地产转让当事人按照规定缴纳有关税费; 5) 由房地产管理部门核发过户单。
在办理上述手续后,双方当事人应凭过户手续,并依照《中华人民共和国房地产管理法》的规定领取房地产权属证书。

如果是卖方违约，应按照购房协议上的约定支付买方违约金，没有约定的可以协商，协商未果的，买方可以向人民法院起诉维权。
依据《中华人民共和国合同法》：
1.第一百一十二条：当事人一方不履行合同义务或者履行合同义务不符合约定的，在履行义务或者采取补救措施后，对方还有其他损失的，应当赔偿损失。
2.第一百一十三条：当事人一方不履行合同义务或者履行合同义务不符合约定，给对方造成损失的，损失赔偿额应当相当于因违约所造成的损失，包括合同履行后可以获得的利益，但不得超过违反合同一方订立合同时预见到或者应当预见到的因违反合同可能造成的损失。

买受人一旦与开发商签订了商品房买卖合同，除非具备法定或者合同约定的情形，开发商很难对买受人进行无条件退房。但如果出现以下八种情况，买受人可提出退房。第一，实测面积与合同约定面积误差绝对值超过3%;第二，开发商逾期交房构成根本违约，即逾期交房达到合同约定的退房日期;第三，开发商变更规划、设计影响房屋结构形式、户型、空间尺寸、朝向的;第四，开发商预售未取得商品房预售许可证的房屋(故意隐瞒未取得预售许可证的除外);第五，开发商交付的房屋主体结构质量不合格或房屋质量严重影响房屋正常使用的;第六，不能或不能按期办理产权过户的;第七，购房者贷款申请未批准，合同双方对付款方式不能协商一致的;第八，合同中约定的其他退房条件出现时。
退房流程：1先找开发商协商，协商不成诉讼；有关律师建议业主，如果满足合同约定退房条件，最好还是先与开发商进行协商，这样可以省去诉讼费用。如果开发商提出的补偿条件能使业主满意，业主可根据自身情况收回退房要求，或在开发商协助下办理退房手续。
如协调未果再选择诉讼或仲裁。2索要违约金及相关税费；如果是开发商违约导致退房，双方也在合同里约定了违约金，那么开发商须按约定赔偿。赔偿金除了房屋全价款及相应的利息外，还包括业主前期已支出的一些费用，都算入消费者实际损失范围内，由开发商补偿。
3首付、月供利息都可获赔；在退房款方面，采用一次性付款的购房者可直接要求开发商退还自己所付款项及相应利息。但通过按揭贷款、公积金贷款买房的情况则要相对复杂些。实践中，都是开发商将应退购房款分成两部分，属于买家首付款的部分直接退还给买家，属于买家向银行借款的部分直接交还给银行，并视为买家已向银行提前还款。
若购房者要求退房时，已居住了一段时间，这期间产生的折旧费应由业主补偿。以上就是回买房退违约金怎么退的具体解释，希望对你有帮助！