我丈夫背叛了我。我只想和我的孩子离婚，让他们的父母照顾他们。我希望双方都能负担得起这些孩子。

孩子的抚养权根据有利于孩子成长的原则判决，财产协商不成，参考如下法条分割，一方可以主张无过错损害赔偿。
《中华人民共和国婚姻法》
　第三十六条
父母与子女间的关系，不因父母离婚而消除。
离婚后，子女无论由父或母直接抚养，仍是父母双方的子女。
　　离婚后，父母对于子女仍有抚养和教育的权利和义务。
　　离婚后，哺乳期内的子女，以随哺乳的母亲抚养为原则。
哺乳期后的子女，如双方因抚养问题发生争执不能达成协议时，由人民法院根据子女的权益和双方的具体情况判决。 第四十一条
离婚时，原为夫妻共同生活所负的债务，应当共同偿还。
共同财产不足清偿的，或财产归各自所有的，由双方协议清偿；协议不成时，由人民法院判决。
　　第四十二条
离婚时，如一方生活困难，另一方应从其住房等个人财产中给予适当帮助。
具体办法由双方协议；协议不成时，由人民法院判决。

《婚姻法》中规定导致离婚的，无过错方有权请求损害赔偿的情形：
（一）重婚的；
（二）有配偶者与他人同居的；你所说的出轨行为并非是法律规定的过错情形。婚外情的证据即使收集到，在帮助当事人实现诉讼目的方面虽有一定作用，但也不大，因为即使这些证据能证明对方有外遇，但也只能证明过错只发生过一次。此外，有外遇并不代表夫妻感情就一定破裂，所以法院不会因此就判离婚，更无法获得赔偿

如果双方都不想要孩子，只能是由法院判决：
1、两周岁以下的子女，一般随母方生活，母方有下列情形之一的，可随父方生活
（1）患有久治不愈的传染性疾病或其他严重疾病，子女不宜与其共同生活的；
（2）有抚养条件不尽抚养义务，而父方要求子女随其生活的；
（3）因其他原因，子女确无法随母方生活的。
2、父母双方协议两周岁以下子女随父方生活，并对子女健康成长无不利影响的，可予准许。
3、对两周岁以上未成年的子女，父方和母方均要求随其生活，一方有下列情形之一的，可予优先考虑：
（1）已做绝育手术或因其他原因丧失生育能力的；
（2）子女随其生活时间较长，改变生活环境对子女健康成长明显不利的；
（3）无其他子女，而另一方有其他子女的；
（4）子女随其生活，对子女成长有利，而另一方患有久治不愈的传染性疾病或其他严重疾病，或者有其他不利于子女身心健康的情形，不宜与子女共同生活的。
4、父方与母方抚养子女的条件基本相同，双方均要求子女与其共同生活，但子女单独随祖父母或外祖父母共同生活多年，且祖父母或外祖父母要求并且有能力帮助子女照顾孙子女或外孙子女的，可作为子女随父或母生活的优先条件予以考虑。
5、父母双方对十周岁以上的未成年子女随父或随母生活发生争执的，应考虑该子女的意见。
6，在有利于保护子女利益的前提下，父母双方协议轮流抚养子女的，可行准许。
如果双方都不想要可能会构成遗弃罪的。