有1个餐馆，基本上每天都会打电话叫去打麻将，没钱他就给我拿，我也没有主动向他借，打麻将一场下来有1W左右输赢，这样算不算聚众赌博？打麻将欠了几万元用不用还，如果不还的话会怎么样，会不会违法？现在那个餐馆老板经常给我打电话让我还钱，我该怎么办？他每天都是叫人去打牌，每天少的时候有2桌左右，多的时候有20多人，他是收费的。一桌每天最少可以收500牌费。他这样违法了吗？如果他违法了会给以什么处罚呢？

未面谈及查看证据材料，律师回答仅供参考。