被人多次打电话骚扰，还污蔑诽谤，但不知道对方是谁，该怎么办

　　频繁的发短信和打电话不会构成骚扰罪，但是严重者会被处罚。
　　法律依据：
　　根据《中华人民共和国治安管理处罚法》第四十二条第五款规定：多次发送淫秽、侮辱、恐吓或者其他信息，干扰他人正常生活的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。

《宪法》第43条规定,中华人民共和国劳动者有休息的权利。家庭安宁的休息权也是公民的一项最基本的生存权和人身权,该项权利受到侵害,公民享有排除该项妨碍以保全自己的休息权的权利。
打电话骚扰他人的正常生活即是对公民休息权的侵害,对于此种行为公民一方面可以自己采取一定的方式排除,另一方面也可以借助法律来保全自己的休息权。 公民自力救助的方式可以是劝诫、告诚,也可以是对其骚扰采取置之不理的方式,让骚扰人感到无趣而自动终止该行为。
如果其骚扰是有针对性的、反复地、不间断的,并伴有侮辱、诽谤等内容,可以请求县、市公安局、公安分局对骚扰人进行治安处罚;如果骚扰人明确,也可以向法院请求精神赔偿,依此赔偿须骚扰行为构成对公民名誉、荣誉权的损害;如果骚扰人盗用他人名义对公民进行欺骗和愚弄,并使公民的合法财产、名誉受到损害的,骚扰人应当承担民事责任。
如果骚扰人的行为是通过盗用长途电话账号、码号偷打电话或偷接他人电话线路并机使用,盗用移动电话码号所为,其行为除按〈关于盗用电话码号赔偿损失计算标准的暂行规定〉承担赔偿损失的民事责任外,构成犯罪的并应处以刑罚。

诽谤罪，是指故意捏造并散布虚构的事实，足以贬损他人人格，破坏他人名誉，情节严重的行为。
1、客体要件,本罪侵犯的客体，是他人的人格尊严、名誉权。犯罪侵犯的对象是自然人。 本罪在犯罪客观方面表现为行为人实施捏造并散布某种虚构的事实，足以贬损他人人格、名誉，情节严重的行为。
（1）须有捏造某种事实的行为，即诽谤他人的内容完全是虚构的。如果散布的不是凭空捏造的，而是客观存在的事实，即使有损于他人的人格、名誉，也不构成本罪.
（2）须有散布捏造事实的行为。所谓散布，就是在社会公开的扩散。散布的方式基本上有两种：一种是言语散布；另一种是文字，即用大字报、小字报、图画、报刊、图书、书信等方法散布。所谓“足以贬损”，是指捏造并散布的虚假事实，完全可能贬损他人的人格、名誉，或者事实上已经给被害人的人格、名誉造成了实际损害。如果散布虚假的事实，但并不可能损害他人的人格、名誉，或无损于他人的人格、名誉，则不构成诽谤罪。
（3）诽谤行为必须是针对特定的人进行的，但不一定要指名道姓，只要从诽谤的内容上知道被害人是谁，就可以构成诽谤罪。如果行为人散布的事实没有特定的对象，不可能贬损某人的人格、名誉，就不能以诽谤罪论处。
（4）捏造事实诽谤他人的行为必须属于情节严重的才能构成本罪。虽有捏造事实诽谤他人的行为，但没有达到情节严重的程度，则不能以本罪论处。所谓情节严重，主要是指多次捏造事实诽谤他人的；捏造事实造成他人人格、名誉严重损害的；捏造事实诽谤他人造成恶劣影响的；诽谤他人致其精神失常或导致被害人自杀的等等情况。
2、主观要件 ,本罪主体是一般主体，凡达到刑事责任年龄、具有刑事责任能力的自然人均能构成本罪。 本罪主观上必须是故意，行为人明知自己散布的是足以损害他人名誉的虚假事实，明知自己的行为会发生损害他人名誉的危害结果，并且希望这种结果的发生。行为人的目的在于败坏他人名誉。如果行为人将虚假事实误认为是真实事实加以扩散，或者把某种虚假事实进行扩散但无损害他人名誉的目的，则不构成诽谤罪。