我承包烟台开发区医院的砌体工程.但是工地不提供住宿.我在2009年6月14下午到医院工地对面一个废旧的别墅小区租房子.和一负责看管房屋的人签定了一份合同.租住他两间房屋.大间的260元/月.小间的200元/月.押金是每间房屋200元.结果第二天上午10点我拉东西去的时候,里面又来了另外一些租房子的在里面.而且还把行李都放在屋子里.说是他们刚刚阻下来的.那时候我的工人已经搬着行李都到了楼下.我打电话问房东是怎么回事.他说认错了人.把我和刚刚租他房子的人弄错了.说让刚租房子的人把屋子给我倒出来.直到下午4点多我的工人才住进去.弄得我那些人都很不愿意.6月16日我把工人和他们的行李都搬到了另外一个地方.6月17日他没经过我同意又让另外的一帮人住进我租的房子里.我现在不想再租他的房子.请问律师我能把剩余的房租要回来么?需要通过什么部门才能解决我的难处?
未面谈及查看证据材料,律师回答仅供参考。