如果律师是真的不负责任的话，就可以要求退钱，但是不是说没打赢官司就是不负责任。还是要看具体情形和案件的，律师没有做事并不代表其就是不负责任的，因为律师是按程序办事，不然会让事情更糟糕。但是如果确实是有事但是没尽力或者不按程序办好，那才是不负责任。如果确实存在不负责任的情形，这个时候就可以向律协投诉，或者是向司法局举报，当然也可以通过诉讼解决。
其实律师解决案件主要是在其拥有的法律法规知识和法律推理能力基础上，然后还能够根据具体案件进行自己的判断，然后对有利于自身委托人的论点和证据材料加以组织并以逻辑严密完整的样式来展开辩论，而且这样的辩论在不一定与律师个人所持有的信条或好恶有直接联系。
《中华人民共和国律师法》第四条
司法行政部门依照本法对律师、律师事务所和律师协会进行监督、指导。
