对方以分期付款的方式买了我一套房子,叫首付后一个月我给他房子,从2012年的一月开始每月给2万,他首付是1月给我的,现在他不想要房子了,反过来说是我没交付他房子并且起诉我,说我没给房子,让我付违约金。我该给吗?按照合同他是一月份就该给我钱,但是一月29才把首付给我,到2月11才给我一月份的钱,合同写的就是首付完一个月我给他房子,我向他要2月的钱并且交付房子给他,可是他不要房子了让我退钱给他,我不同意他现在起诉我说我没按时交房让我退房款并且给违约金,我算违约吗?
未面谈及查看证据材料,律师回答仅供参考。