没有登记非法在一起了有一个女儿还有一个儿子但是现在想离婚孩子怎么办？

根据《婚姻法》、司法解释的规定：

两周岁以下的子女，一般随母亲生活。但母亲有下列情形之一的，也可随父亲生活：一是母亲患有久治不愈的传染性疾病或其他严重疾病，子女不宜与其共同生活的；二是母亲有抚养条件不尽抚养义务，而父亲要求子女随其生活的，并对子女健康成长没有不利影响的；三是因其他原因，子女确无法随母方生活的，如母亲的经济能力及生活环境对抚养子女明显不利的，或母亲的品行不端不利于子女成长的，或因违法犯罪被判服刑不可能抚养子女的等等。

哺乳期后的子女，如双方因抚养问题发生争执不能达成协议时，由人民法院根据子女的权益和双方的具体情况判决。夫妻离婚后，对两周岁以上的未成年子女，随父或随母生活，首先应由父母双方协议决定。
因此，当父母双方对抚养未成年子女发生争议时，法院应当进行调解，尽可能争取当事人以协议方式解决。在当事人双方自愿、合法的前提下，协商决定：未成年子女由父方抚养，或随母方生活，或者在有利于保护子女利益的前提下，由父母双方轮流抚养，对上述几种抚养方式的解决，法院都是可以准许的。

父母双方对十周岁以上的未成年子女随父或随母生活发生争执的，应考虑该子女的意见。