我结婚3个月，从一开始老公就不怎么跟我说话，我一说他什么做得不好，他就能整天不理人，婚前大家都说婚后就好了，可是他的不好的习惯一直没改，现在也不怎么跟我说话，大家都说是我太凶了，他怯着我，他越是这样我就越烦他。现在是提到他都觉得烦，想离婚。家人都说他对我们家对我那么好，是我不知足。可是我就是半点都跟他合不来，他呼吸的空气我都想远离。家人说我害了人家，也耽误了他，媒人是我们两家的亲戚，她说我想离就要赔人家的损失，比如彩礼钱，衣服首饰还有名誉和精神损失费，怎么办？