你好，我和丈夫是异地结婚的！我在孩子没到两周岁时抱孩子回娘家。孩子现在三周岁半了。他没有给孩子扶养费！我想和他离婚，我们之间就差孩子的扶养权问题！因为他没有扶养孩子的精力和能力，可是他又非要孩子的扶养权！我该怎么办！

婚外情想离婚，若有证据证明配偶构成重婚罪或与他人他同居的，法院应当予以判离。
《婚姻法》第三十二条　男女一方要求离婚的，可由有关部门进行调解或直接向人民法院提出离婚诉讼。
人民法院审理离婚案件，应当进行调解；如感情确已破裂，调解无效，应准予离婚。
有下列情形之一，调解无效的，应准予离婚：
(一)重婚或有配偶者与他人同居的；
(二)实施家庭暴力或虐待、遗弃家庭成员的；
(三)有赌博、吸毒等恶习屡教不改的；
(四)因感情不和分居满二年的；
(五)其他导致夫妻感情破裂的情形。

可向法院提起诉讼，要求改造抚养子女的权利，父亲死亡的，母亲的监护权任何人不得干涉。根据《中华人民共和国妇女权益保障法》：第四十九条父母双方对未成年子女享有平等的监护权。父亲死亡、丧失行为能力或者有其他情形不能担任未成年子女的监护人的，母亲的监护权任何人不得干涉。根据最高人民法院《关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》有关规定：人民法院审理离婚案件，对子女抚养问题，应当依照《中华人民共和国婚姻法》第二十九条、第三十条及有关法律规定，从有利于子女身心健康，保障子女的合法权益出发，结合父母双方的抚养能力和抚养条件等具体情况妥善解决。根据上述原则，结合审判实践，提出如下具体意见：
15、离婚后，一方要求变更子女抚养关系的，或者子女要求增加抚育费的，应另行起诉。
16、一方要求变更子女抚养关系有下列情形之一的，应予支持。
（1）与子女共同生活的，一方因患严重疾病或因伤残无力继续抚养子女的；
（2）与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；
（3）十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；
（4）有其他正当理由需要变更的。