我和前夫离婚的时候协议小孩归男方，现在我想要回小孩的扶养权，我该怎么做才能有要回小孩的抚养权

如果住房是两位共有财产，离婚时没有分割分配，当事人可以在离婚后任何时间再次协议分割，达不成协议可以提出诉讼。
如果该住房已经在离婚时协议分割完毕，当事人反悔，可以在离婚后一年以内提出诉讼。
《婚姻法》司法解释二：
第九条　男女双方协议离婚后一年内就财产分割问题反悔，请求变更或者撤销财产分割协议的，人民法院应当受理。
人民法院审理后，未发现订立财产分割协议时存在欺诈、胁迫等情形的，应当依法驳回当事人的诉讼请求。
《婚姻法》司法解释三：
第十八条离婚后，一方以尚有夫妻共同财产未处理为由向人民法院起诉请求分割的，经审查该财产确属离婚时未涉及的夫妻共同财产，人民法院应当依法予以分割。

对两周岁以上未成年的子女，父方和母方均要求随其生活，一方有下列情形之一的，可予优先考虑：
（1）已做绝育手术或因其他原因丧失生育能力的；
（2）子女随其生活时间较长，改变生活环境对子女健康成长明显不利的；
（3）无其他子女，而另一方有其他子女的；
（4）子女随其生活，对子女成长有利，而另一方患有久治不愈的传染性疾病或其他严重疾病，或者有其他不利于子女身心健康的情形，不宜与子女共同生活的。
2、父方与母方抚养子女的条件基本相同，双方均要求子女与其共同生活，但子女单独随祖父母或外祖父母共同生活多年，且祖父母或外祖父母要求并且有能力帮助子女照顾孙子女或外孙子女的，可作为子女随父或母生活的优先条件予以考虑。
3、在有利于保护子女利益的前提下，父母双方协议轮流抚养子女的，可予准许。
4、一方要求变更子女抚养关系有下列情形之一的，应予支持。
（1）与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的；
（2）与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；
（3）十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；
（4）有其他正当理由需要变更的。

一方要求变更子女抚养关系有下列情形之一的，应予支持。　　
（1）与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的；　　
（2）与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；　　
（3）十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；　　
（4）有其他正当理由需要变更的。