我的第一个儿子是我的丈夫，双胞胎的女儿不是我的丈夫，我想离婚，女儿四岁了，离婚的男人要我赔偿，我要赔偿吗？

参照《子女抚养意见》中的规定，判由男方抚养子女的有利条件有：

（1）子女虽然在两周岁以下，但母亲患有久治不愈的传染性疾病或其他严重疾病，子女不宜与其共同生活的；

（2）子女虽然在两周岁以下，但母亲有抚养条件不尽抚养义务的；

（3）子女虽然在两周岁以下，因其他原因，子女确实无法随母亲生活的；

（4）已作绝育手术或因其他原因丧失生育能力的；

（5）子女随其生活时间较长，改变生活环境对子女健康成长明显不利的；

（6）无其他子女，而另一方有其他子女的；

（7）双方抚养子女的条件基本相同，但子女单独随祖父母生活多年，且祖父母要求并且有能力帮助子女照顾孙子女的；

（8）十周岁以上的子女主动要求与父亲生活的。

关于离婚赔偿问题，例如：根据民事法律的性质和规定，男方向法院提出返还彩礼的请求后，法院才会支持。如果男方不提出，可以不返还。 在亳州法院审理这类案件的实务中，在领取结婚证以后一年以内离婚的，一般返还40%左右；一年至两年间离婚的，返还20%；造成给付方生活困难的，最多可以再增加10%，但是需要男方提出证据证明造成其经济生活困难。
根据你介绍的情况，对方没有尽到照顾和支持家庭生活的义务，可以要求离婚。

所谓离婚损害赔偿，是指因夫妻一方的重大过错致使婚姻关系破裂，并对无过错方的财产或精神造成损失，导致婚姻关系破裂离婚时，过错配偶对无过错配偶所受的物质和精神损害承担民事赔偿责任的法律制度。具体说来，离婚赔偿条件如下：
(一)一方重婚或者与他人同居、实施家庭暴力的、具有虐待、遗弃行为的。
(二)因为上述行为而导致法院判决离婚。也就是说，离婚赔偿应该以离婚为原因，如果没有达到离婚程度，而是在婚内损害，则不应该单独提起夫妻之间的损害赔偿。
(三)受害方受到了损害。
这种损害包括财产损害和精神损害两种。
(四)请求人无过错。
无过错方作为原告提起离婚诉讼，如果提出请求离婚赔偿，必须与离婚诉讼同时进行。如果原告不提出，视为其对这一权利的放弃，以后也丧失了请求赔偿的权利。
如果有过错的一方是原告，到法院提起离婚诉讼，无过错的一方为被告，被告不同意离婚，也没有提起离婚赔偿请求，可以在离婚后一年内，单独提出离婚损害赔偿。在一审时如果没提出，在二审时才提出来，人民法院应当进行调解。
对于调解不成的，应当告知当事人在离婚后1年内，可以另行提起离婚赔偿偿诉讼。