我应该如何处理我的电话、威胁、诽谤和侮辱？我已经记录了证据。

诽谤罪散布的必须是捏造的虚假的事实。如果散布的是客观存在的事实，虽然有损于他人人格、名誉，但不构成诽谤罪，属于名誉侵权违法行为。　　法律规定：　　《刑法》第二百四十六条　【侮辱罪、诽谤罪】以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。　　前款罪，告诉的才处理，但是严重危害社会秩序和国家利益的除外。　　通过信息网络实施第一款规定的行为，被害人向人民法院告诉，但提供证据确有困难的，人民法院可以要求公安机关提供协助。　　《侵权责任法》第十五条承担侵权责任的方式主要有：　　
（一）停止侵害　　
（二）排除妨碍　　
（三）消除危险　　
（四）返还财产　　
（五）恢复原状　　
（六）赔偿损失　　
（七）赔礼道歉　　
（八）消除影响、恢复名誉。　　以上承担侵权责任的方式，可以单独适用，也可以合并适用。

被人造谣诽谤，需要依法维权，首选是提起侵权诉讼，如果造成的严重影响而伤害了当事人，可以向公安机关或检察院提起控告，请求追究侵害人的刑事责任。 《中华人民共和国侵权责任法》 第二条　侵害民事权益，应当依照本法承担侵权责任。
本法所称民事权益，包括生命权、健康权、姓名权、名誉权、荣誉权、肖像权、隐私权、婚姻自主权、监护权、所有权、用益物权、担保物权、著作权、专利权、商标专用权、发现权、股权、继承权等人身、财产权益。
第三条　被侵权人有权请求侵权人承担侵权责任。

造人诽谤调查取证应该搜集的证据为：
(一)须有捏造某种事实的行为，即诽谤他人的内容完全是虚构的。如果散布的不是凭空捏造的，而是客观存在的事实，即使有损于他人的人格、名誉，也不构成本罪。
(二)须有散布捏造事实的行为。所谓散布，就是在社会公开的扩散。散布的方式基本上有两种：一种是言语散布;另一种是文字，即用大字报、小字报、图画、报刊、图书、书信等方法散布。所谓“足以贬损”，是指捏造并散布的虚假事实，完全可能贬损他人的人格、名誉，或者事实上已经给被害人的人格、名誉造成了实际损害。如果散布虚假的事实，但并不可能损害他人的人格、名誉，或无损于他人的人格、名誉，则不构成诽谤罪。
(三)诽谤行为必须是针对特定的人进行的，但不一定要指名道姓，只要从诽谤的内容上知道被害人是谁，就可以构成诽谤罪。如果行为人散布的事实没有特定的对象，不可能贬损某人的人格、名誉，就不能以诽谤罪论处。
(四)捏造事实诽谤他人的行为必须属于情节严重的才能构成本罪。虽有捏造事实诽谤他人的行为，但没有达到情节严重的程度，则不能以本罪论处。所谓情节严重，主要是指多次捏造事实诽谤他人的;捏造事实造成他人人格、名誉严重损害的;捏造事实诽谤他人造成恶劣影响的;诽谤他人致其精神失常或导致被害人自杀的等等情况。