紫腾律师您好，我想咨询一下，我们于2017年购买了单位的集资房，当时购买时由于没有我们需要的户型，我们没买，没几天单位电话说有一户想退房刚好是我们想要的户型可以给我们，于是我们去单位买了那个人不要的房子，单位每次让我们去缴款的时间和节点，金额，我们都是按照要求去银行汇的款，前年年初的时候单位通知拿钥匙交剩下的尾款时告诉我们要交滞纳金，理由是之前那一户人家一期款没有交齐差3万元，当时我们购买这套房子的时候并没有告知我们之前那户人家没有交齐他应该交的费用，现在要求我们去交4万元滞纳金，一直到现在我们都没有拿到钥匙，请问这个事情我们该怎么去处理，谢谢