我卖了房子，买方却是中间人。 起初我不知道，中介给买方打了电话。 钱不够，买不起。 我没有还贷款。 现在这个买家告诉我违约了。

签了房屋买卖合同后，买方想违约，就必须承担相应的违约责任。
违约责任以可参阅《合同法》的如下规定处理：
第一百一十五条　当事人可以依照《中华人民共和国合同法》约定一方向对方给付定金作为债权的担保。
债务人履行债务后，定金应当抵作价款或者收回。给付定金的一方不履行约定的债务的，无权要求返还定金；收受定金的一方不履行约定的债务的，应当双倍返还定金。
第一百一十六条　当事人既约定违约金，又约定定金的，一方违约时，对方可以选择适用违约金或者定金条款。

借款合同中，借款人的违约情况是引起纠纷的主要原因，实践中常遇到的借款人违反义务的情况有如下几种：
(一)不按约定接受借款占多数
借款人没有按约定接受借款，应赔偿贷款人因此而造成的损失。由于贷款人的损失实际上是利息损失，所以《合同法》第二百零一条第二款规定，借款人未按约定的日期、数额收取借款的，应按约定的日期、数额支付利息。
(二)不按约定用途使用借款
借款人不按约定用途使用借款是一种违约行为，会损害贷款人的利益。如金融贷款合同中，某些贷款是根据国家宏观调控政策、国家的信贷政策、国家的产业政策发放的，如果借款人不按借款约定用途使用借款，将使国家对经济的宏观调控流于形式，最终影响经济安全和国家经济政策的贯彻落实，同时也可能造成部分产业投资过热，影响金融运作。
因此，法律明确规定，借款人不按约定使用借款，给贷款人造成损失的应予以赔偿。同时，贷款人还可以停止发放贷款、提前收回贷款或解除合同，体现了不同于自然人借款合同的强制性。
(三)没有按约定支付利息
借款合同多为有偿合同，借款人有支付利息的义务，如果借款人未按约定支付利息，则构成违约，借款人应承担违约责任。