对方总是发信骚扰和诽谤我，说我和某人关系不正当（没有证据），请问对方处理什么法律责任

造人诽谤调查取证应该搜集的证据为：
(一)须有捏造某种事实的行为，即诽谤他人的内容完全是虚构的。如果散布的不是凭空捏造的，而是客观存在的事实，即使有损于他人的人格、名誉，也不构成本罪。
(二)须有散布捏造事实的行为。所谓散布，就是在社会公开的扩散。散布的方式基本上有两种：一种是言语散布;另一种是文字，即用大字报、小字报、图画、报刊、图书、书信等方法散布。所谓“足以贬损”，是指捏造并散布的虚假事实，完全可能贬损他人的人格、名誉，或者事实上已经给被害人的人格、名誉造成了实际损害。如果散布虚假的事实，但并不可能损害他人的人格、名誉，或无损于他人的人格、名誉，则不构成诽谤罪。
(三)诽谤行为必须是针对特定的人进行的，但不一定要指名道姓，只要从诽谤的内容上知道被害人是谁，就可以构成诽谤罪。如果行为人散布的事实没有特定的对象，不可能贬损某人的人格、名誉，就不能以诽谤罪论处。
(四)捏造事实诽谤他人的行为必须属于情节严重的才能构成本罪。虽有捏造事实诽谤他人的行为，但没有达到情节严重的程度，则不能以本罪论处。所谓情节严重，主要是指多次捏造事实诽谤他人的;捏造事实造成他人人格、名誉严重损害的;捏造事实诽谤他人造成恶劣影响的;诽谤他人致其精神失常或导致被害人自杀的等等情况。

您好，诽谤他人，一般会被追究行政责任或是治安责任，情节严重的，可能要承担刑事责任。

诽谤他人，如果情节严重的涉嫌诽谤罪，依法追究刑事责任；不构成犯罪的予以治安处罚 。