我有一套二手房委托中介去出售,因经济原因去年我用此套房屋到银行去贷过款.前段时间有位买主,看过房后非常满意,就和我签定的购房合同,缴了中介费和一万元的定金给我.事先我已经和买主说明清楚此房办过贷款,要他支付首付款给我到银行去赎出房产证后再办理过户.买主也同意,中介在场,可以做证.但到了约定交款时间买主突然变挂,说银行办理赎出房产证要一个月后才能拿到房产证,时间太久.存在风险,要我自己赎出房产证后再过户.否则要求我退还定金.我肯定不同意.但买主提醒我说购买合同上并没有注明我的房屋办过贷款,属于欺诈行为,如果打官司我还要赔偿他的损失.我也仔细看了合同,的确上面注明的是:(甲方确认房屋为本人所有,权属出让清楚,无权属争议,亦未设定任何担保,抵御,查封.所提供证件真实合法有效.乙方对该房屋已作充分了解并实地看房,对该房屋现状无异议,愿意购买该房屋),请问律师朋友,遇到这种纠纷我该怎么办?如果不退款,打官司我能赢吗?
未面谈及查看证据材料,律师回答仅供参考。