之前与人合伙干驾校 对方不懂 我干时间长比较专业 因为当初关系好 经商议对方前期投资买车 我因有人脉资源作为合伙条件 并口头约定本钱赚回来后 生意各一半五五分成 大概四年左右本钱赚回来了 这期间因我急用钱 向对方借了二十万 因关系好没有打借条 而且对方也说不要利息 这二十万在做生意期间我用分红钱逐步还清 之后因为一些原因关系闹僵 分手时因为生意各一半 他不给我那部分 因为当初关系好所有人写他的名字 后来我不想跟他计较 就没在坚持要 过段时间 对方向我要那二十万借款的利息 我不同意 他就威胁我 请问该怎么处理