离婚的时候男方拒付抚养费，到现在四年了，一分钱不给怎么办？

规定是夫妻离婚之后，不直接抚养子女一方需要支付孩子抚养费。　　如果男方不履行离婚协议的约定按时按数额支付孩子抚养费，女方可以到法院起诉男方，申请强制执行，不需要等到庭审结束。　　《婚姻法》规定：　　第三十七条　离婚后，一方抚养的子女，另一方应负担必要的生活费和教育费的一部或全部，负担费用的多少和期限的长短，由双方协议；协议不成时，由人民法院判决。　　关于子女生活费和教育费的协议或判决，不妨碍子女在必要时向父母任何一方提出超过协议或判决原定数额的合理要求。　　第四十八条　对拒不执行有关扶养费、抚养费、赡养费、财产分割、遗产继承、探望子女等判决或裁定的，由人民法院依法强制执行。有关个人和单位应负协助执行的责任。　　《民事诉讼法》规定：　　第一百零六条人民法院对下列案件，根据当事人的申请，可以裁定先予执行：　　
（一）追索赡养费、扶养费、抚育费、抚恤金、医疗费用的；

婚外情私生子即法律所称的非婚生子,不直接抚养孩子的生父或生母,需要负担非婚生子的抚养费,至其能独立生活为止。子女抚养费的给付期限，一般至子女18周岁为止。16周岁以上不满18周岁的子女，以其劳动收入为主要生活来源，并能维持当地一般生活水平的，父母可停止给付抚养费。
子女虽满18周岁但尚未独立生活的，如父母有给付能力，仍应负担必要的抚养费。

一般情况下，父母抚养子女的义务截止到子女十八周岁。超出十八周岁，父母没有法定抚养义务，包括子女上大学期间的抚养费。
同时《婚姻法》第21规定：父母不履行抚养义务时，未成年的或不能独立生活的子女，有要求父母付给抚养费的权利。《婚姻法》解释
(一)第20条规定 “不能独立生活的子女”，是指尚在校接受高中及其以下学历教育，或者丧失或未完全丧失劳动能力等非因主观原因而无法维持正常生活的成年子女。
根据以上规定，子女超过十八岁，尚须父母履行抚养义务的情形
(1)子女尚在校接受高中及其以下学历教育
(2)子女非因主观原因(丧失或未完全丧失劳动能力等)无法维持正常生活。
抚养费的变更
《最高人民法院关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》第18条规定：子女要求增加抚育费有下列情形之一，父或母有给付能力的，应予支持。
(1)原定抚育费数额不足以维持当地实际生活水平的;
(2)因子女患病、上学，实际需要已超过原定数额的;
(3)有其他正当理由应当增加的。如，原来的抚养费标准过低等。
3、离婚后，直接抚养子女的一方能单独改变孩子的姓氏吗?
《最高人民法院关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》第19条规定：父母不得因子女变更姓氏而拒付子女抚育费。父或母一方擅自将子女姓氏改为继母或继父姓氏而引起纠纷的，应责令恢复原姓氏。
根据以上规定，父母不得因子女变更姓氏而拒付子女抚育费。同时父或母一方擅自将子女姓氏改为继母或继父姓氏而引起纠纷的，应责令恢复原姓氏。