我和他协议离婚的，有个四岁男孩，因为孩子小，我要了抚养权，他没给我房子，也没存款，只给抚养费，我现在没工作，没地方住，没能力抚养孩子，想变更抚养权，可以吗？

两周岁以下子女的抚养权归属
首先，离婚后，哺乳期内的子女，以随哺乳的母亲抚养为原则。
(二)两周岁以上子女的抚养权归属
首先，在有利于子女利益的前提下，父母双方可协议轮流抚养子女。十周岁以上的未成年人是限制民事行为能力人，可以进行与他的年龄、智力相适应的民事活动。子女一旦年满十周岁，就意味着其作为一个限制民事行为能力人的心智成熟度及对外界的理解能力达到了一定的程度，可以对于今后自己随父或随母哪一方共同生活做出判断和选择。
因此，父母双方对十周岁以上的未成年子女随父或随母生活发生争执的，应考虑该子女的意见。

如果一方有婚外情孩子抚养权

这跟谁外遇没有直接的关系 法院判决小孩抚养权归谁一般从有利于子女身心健康，保障子女的合法权益出发，结合父母双方的抚养能力和抚养条件等具体情况妥善解决。
1. 有利于孩子身心健康 这个是基本原则，但是很抽象，无法让当事人判断，从不同的角度不同的人有不同的理解。总的来说就是哪一方带小孩更有利就判决给谁，比如：尽量维持现状，如果小孩出生后一直生活在上海，法院不会说判决给在甘肃的，即使母亲是甘肃的。二是谁的收入高、财力多，小孩从小由谁抚养等等。
2. 哺乳期2岁以内的子女一般归女方抚养在哺乳期内，2周岁以下的子女，一般归女方抚养。离婚后，哺乳期间内的子女，以随哺乳的母亲抚养为原则。

怎样起诉可以要回孩子的抚养权？夫妻离婚后的任何时间内，一方或双方的情况或抚养能力发生较大变化，均可提出变更子女抚养权的要求。下面就由法律快车的编辑为您介绍。 　　
1、怎样起诉要回孩子的抚养权? 　　夫妻离婚后的任何时间内，一方或双方的情况或抚养能力发生较大变化，均可提出变更子女抚养权的要求。变更子女抚养权一般先由双方协商确定，如协议不成，可通过诉讼请求人民法院判决变更。有下列情形之一的，人民法院应予支持： 　　
(1)与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的； 　　
(2)与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的； 　　
(3)十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的； 　　
(4)有其他正当理由需要变更的。 　　
2、变更子女抚养权手续： 　　
(1)变更子女抚养关系的，应另行起诉。 　　离婚后，一方要求变更子女抚养关系的，或者子女长到有识别能力时，主动提出与另一方一起生活时，应另行起诉。离婚后，变更子女抚养关系的请求，不涉及原离婚案件，不是对原离婚案件子女抚养问题的判决、调解协议的纠正，而是出现了处理原离婚案件当时不存在的子女抚养方面的新情况，所以，应当作新的案件另行起诉。 　　
(2)具有法定事由，应予支持变更抚养关系。 　　具体的法定事由； 　　①与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的； 　　②与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的； 　　③10周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的； 　　④有其他正当理由需要变更的。一方要求变更子女抚养关系有上述情形之一的，人民法院应予支持。 　　
3、准许协议变更抚养关系。 　　父母双方协议变更子女抚养关系的，应予准许。无论是协议离婚还是判决离婚后，要求变更子女抚养关系的，并非一定要向法院起诉，双方当事人达成了变更子女抚养关系的协议，只要没有违法事项和对子女成长不利的问题，应予准许。 　　
4、不允许擅自变更抚养关系。 　　司法实践中，常常会出现没有与子女一起生活的一方擅自变更子女抚养关系的情况，但引起的原因是不同的，对此，应根据实际情况分别处理： 　　
(1)有正当理由的，可告知依法起诉。离婚后，抚养子女的一方确实没有尽到抚养责任，或者有虐待、遗弃子女等行为的，另一方为了保护子女的身心健康而擅自将子女骗走或抢走的，这种行为是法律所不允许的。应告知其依法起诉，由人民法院确定是否变更子女抚养关系。 　　
(2)子女擅自变更的，可告知由其法定代理人依法起诉。受一方抚养的子女因种种原因，如因受歧视、虐待等，而自行躲避到另一方的家中，并且明确表示再也不愿与抚养方一起生活的，其法定代理人应代理其子女起诉，要求人民法院变更子女抚养关系。 　　
(3)没有正当理由的，应说服教育送回孩子。没有正当理由抢走或骗走孩子，应说服教育其送回孩子，经说服教育仍不送回孩子的，人民法院可依法采取强制措施。强制措施执行的对象并不是该子女，而是抢走或骗走该子女的当事人。