和对方私下约定买天门财管所的一套旧单元房，房子只有房产证没有土地证，我当时付了一万元定金，卖方写了一张收条。收条上余款七万一千元交清的同一天，卖方交房，没有写明最后的付款日期，最后一条是买卖双方哪一方违约就要赔偿对方一万元。后来才知道没有土地证就不能办理过户，就算钱付清了，房子也不是我的，就不想买了，要求对方退还一万元定金，对方说不买就算违约，不肯退钱。我没有签正式的房屋合同，只有一张收条。没有土地证的房屋买卖协议是无效的吗？我可以要求对方退还一万元定金吗？