本人于2009年11月13日在某中介与买方签定了房屋买卖合同,中介主任告之十五个工作日内肯定到帐,于是我们买卖双方就跟着中介去办理了相关手续,等到了房产交易中心时,告之我们款十五个工作日下不了,可能要等到2010年1月份,当时听到这样的话后,我就不愿意过户了,可是买方非常想买我的房子说是要等着结婚,于是在双方协商不定的情况下,买方就说,如果在2010年1月15日之前贷款下不了,就把余款34万现金在15日之前支付给我,否则乙方来承担总房款2.4%的违约金,不过中介要保证在2010年1月30日之前必须下款,否则中介来承担总房款的2.4%,经过这样的商定,我做出了让步,合同上也写得很清楚,可是在15日贷款没批下来,可是买方只支付了20万给我(还欠14万)说是实在没有钱了,想不到办法了,可是直到2月6日所有贷款才批下来,我借来的钱不但月底没还成,还支付了很多利息,于是我从到帐的余款中扣除了2.4%的违约金,请问我这样做合理吗?这个违约金应该是买方付?还是中介付呢?为这个事我很烦,请帮我解答谢谢!
未面谈及查看证据材料,律师回答仅供参考。