我不知道我能不能停止照顾我的孩子。

离婚时，哺乳期内孩子的抚养权归谁? 哺乳期内的子女，以母亲直接抚养为原则，但父母双方协商由父亲直接抚养的除外。 哺乳期内的子女，以母亲直接抚养为原则，但父母双方协商由父亲直接抚养的除外。父方主张直接抚养的，应当举证证明具有下列情形： 　　
(一)母亲患有久治不愈的疾病或其他严重疾病，子女不宜与其共同生活的； 　　
(二)母亲有抚养条件不尽抚养义务的； 　　
(三)因其他原因，子女确实无法随母亲共同生活的。 从有利于婴儿健康成长出发，哺乳期内的子女以母亲直接抚养为宜。根据最高法院《关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》(以下简称“子女抚养意见”)的规定，以2周岁为哺乳期界限。2周岁以下的子女，以母亲直接抚养为原则，但父母双方协议子女随父亲生活，并对子女健康成长无不利影响的，可予准许。 　　若父方举证证明或法院查明有下列情形，应由父亲直接抚养，体现以子女方的利益为重的立法思想： 　　
(1)母亲患有久治不愈的传染性疾病或其他严重疾病。如母亲仅患有一般性疾病，经治疗可以痊愈，则不在此限。如父母双方均患有久治不愈的传染性疾病或其他严重疾病的，则应选择相对较轻、更有利于子女健康成长的一方直接抚养。 　　
(2)母亲有抚养条件不尽抚养义务，虽属于违法行为，但如强迫其直接抚养，将对子女不利。如果父亲要求子女随其生活，可以允许。 　　
(3)在现实生活中，母亲可能因工作、学习等原因，或者染有吸毒、赌博、卖淫等恶习，或者离家出走下落不明等原因，而无法或者难以妥善照顾小孩，致使子女无法随其共同生活，从维护子女利益出发，应当由父亲直接抚养。

子女有权向其父母领取合理必要的生活资助，直至其达到法定年龄或结婚、服兵役、或生活可以自立。

离婚时双方都不想养孩子，则交由法院判决：
我国婚姻法规定“父母对子女有抚养教育的义务”，因此，离婚时即使双方都不想要孩子也不能不负抚养义务，不直接抚养孩子的一方也要支付孩子的抚养费。
根据法律规定，2周岁以下孩子一般由女方抚养为原则;如双方均不要，由法院根据有利于孩子成长的原则，综合考虑双方的抚养能力来确定。
因此，如果双方都不想要孩子由法院判决吧。