你好，我当时签署了一份房屋定金，缴纳了1万元的定金，合同里说明了贷款办不下来就退款，双方互不追究责任，当时贷款没下来，我们就让中介告诉房主退款，中介说房主现在没钱，然后我们就给时间了，到最后中介说房主能找人办下来，然后就答应了，到最后退款的日子，知道是用假离婚办的，我们就不同意，现在房主说我们不要房子了，然后不退款，这是谁的责任

未面谈及查看证据材料，律师回答仅供参考。