我们离婚时协议孩子一人一个现在我想和对方协议要回孩子抚养权该怎么办理？

只要双方通过协商，合理分配抚养义务，保障未成年子女的受抚养权，私下签订的抚养协议也是有效的。
抚养协议不仅是对签订协议双方权利义务的约定，同时也直接影响到未成年子女享受父母抚养的权利。
因此，抚养协议如果侵犯了未成年子女受抚养权，父母希望借此协议来逃避抚养未成年子女的义务，则该抚养协议无效。

《关于审理离婚案件处理子女抚养问题的若干意见》第16条规定，一方要求变更子女抚养权，有下列条件之一的，人民法院应予支持：　　
1.与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的。一方患病或者伤残，必然影响到对孩子的教育和照料，从孩子成长的角度出发，不是“如何变更抚养权?”的问题，而是必须要变更孩子抚养权问题。　　
2.与子女一同生活的一方不尽抚养义务或有虐待行为的或其与子女共同生活对子女身心健康有不利影响的。有的父母离婚时争夺抚养权不是为了给孩子创造更好的生活条件，只是为了在财产分割或是为了达到报复的目的。目的一旦达到，就对孩子不管不问，不履行自己的抚养义务，有的还甚至对孩子打骂虐待。在这种情况下，如何变更抚养权?关心孩子成长的另一方可以要求变更离婚孩子抚养权。但是，变更抚养权不能要求重新分割原有的共同财产。　　
3.十周岁以上未成年子女，愿随另一方生活的。十周岁以上的未成年人属于限制行为能力人，可以从事与其年龄相关的民事活动。父母离婚时，对于十周岁以上的子女的抚养权归属，应当听取孩子的意见。而在离婚时不满十周岁，过了几年，超过十周岁后，如果孩子明确表示愿意跟随另一方生活，就可以申请变更离婚孩子抚养权。
4.有其它正当理由需要变更的。

根据《婚姻法》规定，夫妻离婚后的任何时间内，一方或双方的情况或抚养能力发生较大变化，均可提出变更子女抚养权的要求。变更子女抚养权一般先由双方协商确定，如协议不成，可通过诉讼请求人民法院判决变更。有下列情形之一的，人民法院应予支持：

1.与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的；
　　
2.与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；
　　
3.十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；
　　
4.有其他正当理由需要变更的。
　　
5.根据以上规定，只要具有上述任意一个条件，即可向人民法院申请变更抚养权。
离婚后，孩子由谁抚育，应从有利于孩子健康成长的角度考虑，在这个前提下，夫妻离婚时可以协商确定，协商不成，可由人民法院判决。
2，你要提供男方没有抚养能力的证明，且提供你能给与孩子更好的生活教育成长的能力（如收入证明、住房证明等）。