我租对方的厂房做生意。和对方有业务,我替他加工产品,每一笔都由我在收据上写明加工的什么产品,单价总价都写得很清楚,然后由他本人或他的员工签字。收据我有存根。现在四年了,我退房不做了,算账时,抵去房租他还欠我一万多元,可是他却说我曾经有批产品不合格,一分都不愿给我了。他曾经是跟我说过有两三件产品不合格,我说干坏了我赔偿。现在已经一两年过去了,他又说干坏了10件,别人让他赔,我这一万多赔完也不够,他还得贴,我这个钱就一分都不会给我了。可是我也没见任何手续和罚款单。就这样全凭他说。我给他加工了上万件产品,一件20元,就是赔也不能这么贵,可是他算的可多了,运费,服务费等等全让我承担。请问我该怎么办?起诉可以么?
未面谈及查看证据材料,律师回答仅供参考。