我是房东,中介代替租客给我们定金,约定不租的话是定金不退,这部分定金我们收一半,中介押一半,但是中介没有给我们合同,我们给中介打了手条。后来租客不租了,理应是定金不退,但是中介押着我们的钥匙和卡,并且租客期间打电话威胁我们,我们迫不得已给中介退了一部分,然后拿到收条和钥匙等,其他钱中介说她给补齐,并且说已经给租客了。但是现在中介和租客说我们欠他们钱。中介租客意思还要威胁我们,我们应该怎么捍卫我们权利?我们现在可以要求中介和租客给我们赔偿违约金和其他损失么?
未面谈及查看证据材料,律师回答仅供参考。