我签了一份借款合同，叫我缴纳保证金我没有交，他说我这样是要赔偿违约金，他没有给我下款

最高人民法院关于审理城镇房屋租赁合同纠纷案件具体应用法律若干问题的解释 第十一条　承租人经出租人同意装饰装修，合同解除时，双方对已形成附合的装饰装修物的处理没有约定的，人民法院按照下列情形分别处理：
（四）因不可归责于双方的事由导致合同解除的，剩余租赁期内的装饰装修残值损失，由双方按照公平原则分担。法律另有规定的，适用其规定。 国有土地上房屋征收与补偿条例 第二十三条　对因征收房屋造成停产停业损失的补偿，根据房屋被征收前的效益、停产停业期限等因素确定。具体办法由省、自治区、直辖市制定。 第二十五条　房屋征收部门与被征收人依照本条例的规定，就补偿方式、补偿金额和支付期限、用于产权调换房屋的地点和面积、搬迁费、临时安置费或者周转用房、停产停业损失、搬迁期限、过渡方式和过渡期限等事项，订立补偿协议。 　　补偿协议订立后，一方当事人不履行补偿协议约定的义务的，另一方当事人可以依法提起诉讼。

借款合同违约责任的形式：　　
1.支付违约金或者支付罚息　　支付违约金，是当事人依照法律法规规定或者借款合同约定，当事人一方不履行或不完全履行借款合同规定的义务时，向对方支付一定数量的货币。这是对违约人的违约行为的经济制裁，带有惩罚性。　　违约金分为法定违约金和约定违约金两种形式。　　所谓法定违约金，是指违约金的数额、幅度、范围和支付方式等由法律法规加以规定。如《合同法》规定，当事人一方违反合同时，应向对方支付违约金，如果由于违约已给对方造成的损失超过违约金的，还应当进行赔偿，补偿违约金不足的部分。《借款合同条例》规定，借款人不按合同规定的用途使用借款的，借款人有权收回部分或者全部贷款，对违约使用部分，按银行规定的利率加收罚息。借款人不按期偿还借款，贷款人有权限期追回贷款，并按银行规定加收罚息。因贷款人的责任未按期提供贷款的，应按违约数额和违约天数，付给借款人违约金。违约金数额的计算与《借款合同条例》所规定的罚息的计算相同。这里的“罚息”就属于法定违约金。　　约定违约金，是指法律法规未作规定，而是由当事人在合同中加以约定的违约金。无论是法定违约金还是约定违约金，只要当事人一方在客观上有不履行或不完全履行借款合同的违约事实，就应当向对方支付违约金。　　
2.贷款人限期收回贷款，并在一定时期内停止发放新贷款　　贷款人为了执行国家赋予的信贷监督职能，对借款人违约必须采取信贷制裁措施，贷款人有权限期收回贷款，并在一定时期内停止发放新贷款。这也是违约人承担违约责任的一种形式。　　具体地说，在下列情况下，贷款人对违约人可以采取这种措施：
(1)借款人由于继续收购销售小、储存大和边处理、边积压商品而导致贷款本息不能及时偿还的;
(2)借款人对质次价高、残损变质商品不积极处理，从而导致贷款本息不能及时偿还的;
(3)借款人擅自动用自有资金向外单位投资的;
(4)借款人挪用流动资金搞基本建设或用于财政性开支或者用于弥补企业亏损，或者用于职工福利的;
(5)借款人使用贷款进行非法活动的。

借款合同违约责任，是指当事人不履行合同义务时所应承担的法律责任。
1、贷款方的责任：贷款方不按合同规定及时贷款，应偿付违约金。
2、借款方的责任：借款方不按合同规定归还贷款的，应当承担违约责任，并加付利息。借款方不按合同规定使用政策性贷款的，应当加付利息;贷款方有权提前收回一部分或全部贷款。