当初是协议离婚的孩子抚养权归男方，但是孩子一直跟着我，请问我能要回孩子的抚养权吗？

可以协议变更抚养权 协商不成可以起诉变更

　　夫妻俩离婚时既然有协议住房归子女所有，就可以有离婚的双方一起持有身份证，户口本，离婚证，离婚协议，孩子出生医学证明，住房的房产证，契税证明，土地证，到住房所属房管部门申请办理住房过户手续，重新办理只有子女一方名字房产证。　　《房屋登记办法》规定：　　第十三条　　共有房屋，应当由共有人共同申请登记。　　共有房屋所有权变更登记，可以由相关的共有人申请，但因共有性质或者共有人份额变更申请房屋登记的，应当由共有人共同申请。　　第十四条　　未成年人的房屋，应当由其监护人代为申请登记。监护人代为申请未成年人房屋登记的，应当提交证明监护人身份的材料；因处分未成年人房屋申请登记的，还应当提供为未成年人利益的书面保证。　　第三十二条　　发生下列情形之一的，当事人应当在有关法律文件生效或者事实发生后申请房屋所有权转移登记：　　（一）买卖；　　（二）互换；　　（三）赠与；　　（四）继承、受遗赠；　　（五）房屋分割、合并，导致所有权发生转移的；　　（六）以房屋出资入股；　　（七）法人或者其他组织分立、合并，导致房屋所有权发生转移的；　　（八）法律、法规规定的其他情形。　　第三十三条　　申请房屋所有权转移登记，应当提交下列材料：　　（一）登记申请书；　　（二）申请人身份证明；　　（三）房屋所有权证书或者房地产权证书；　　（四）证明房屋所有权发生转移的材料；　　（五）其他必要材料。　　前款第（四）项材料，可以是买卖合同、互换合同、赠与合同、受遗赠证明、继承证明、分割协议、合并协议、人民法院或者仲裁委员会生效的法律文书，或者其他证明房屋所有权发生转移的材料。

离婚后，一方要求变更子女抚养关系的，或者子女要求增加抚育费的，应另行起诉。
根据最高人民法院《关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》有关规定：
人民法院审理离婚案件，对子女抚养问题，应当依照《中华人民共和国婚姻法》第二十九条、第三十条及有关法律规定，从有利于子女身心健康，保障子女的合法权益出发，结合父母双方的抚养能力和抚养条件等具体情况妥善解决。根据上述原则，结合审判实践，提出如下具体意见：
15、离婚后，一方要求变更子女抚养关系的，或者子女要求增加抚育费的，应另行起诉。
16、一方要求变更子女抚养关系有下列情形之一的，应予支持。
（1）与子女共同生活的，一方因患严重疾病或因伤残无力继续抚养子女的；
（2）与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；
（3）十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；
（4）有其他正当理由需要变更的。