起诉要回抚养权麻烦吗

不一定，要有新的理由证明小孩他家带不好才行。就看证据喽

孩子抚养权的确定原则： 1、两周岁以下的子女，一般随母方生活。母方有下列情形之一的，可随父方生活： (1)患有久治不愈的传染性疾病或其他严重疾病，子女不宜与其共同生活的; (2)有抚养条件不尽抚养义务，而父方要求子女随其生活的; (3)因其他原因，子女确无法随母方生活的。 2、父母双方协议两周岁以下子女随父方生活，并对子女健康成长无不利影响的，可予准许。 3、对两周岁以上未成年的子女，父方和母方均要求随其生活，一方有下列情形之一的，可予优先考虑： (1)已做绝育手术或因其他原因丧失生育能力的; (2)无其他子女，而另一方有其他子女的; 4、父方与母方抚养子女的条件基本相同，双方均要求子女与其共同生活，但子女单独随祖父母或外祖父母共同生活多年，且祖父母或外祖父母要求并且有能力帮助子女照顾孙子女或外孙子女的，可作为子女随父或母生活的优先条件予以考虑。 5、父母双方对十周岁以上的未成年子女随父或随母生活发生争执的，应考虑该子女的意见。 6、在有利于保护子女利益的前提下，父母双方协议轮流抚养子女的，可予准许。 7、一方要求变更子女抚养关系有下列情形之一的，应予支持。 8、父母双方协议变更子女抚养关系的，应予准许。

男方长期实际抚养孩子，应当保持孩子成长环境稳定，可以向法院起诉变更抚养权。