面试遇到一个问题:
现在有百万的数据,要对用户答题做一个排行榜,展示前20的排名信息,用户可以重复进行答题,更新分数排名。

一. 导数据入缓存

要实时展示一个用户排行榜,如果每次都重数据库查询数据,效率肯定不行。这是考虑到使用Redis缓存。
Redis的缓存类型主要有String,Hash,List,Set,ZSet这5种。对于要有序不重复的排行场景,采用ZSet,其中以分数作为score。
从数据库导入缓存这里有个点要考虑: 数据量很大无法一次性完成操作?
可以根据用户id分区间,每次取一批次的数据导入缓存中。
大体伪代码如下:

// 用户区间步长
int step=10000;
// 起始用户id
int startUserId=1;
whille(true){
	// 查询用户分数数据
	List dataList=selectUserScore(startUserId);
	if(dataList.size==0){
		break;
	}
	// 插入缓存中
	redis.add(dataList);
	// 更新起始用户id
	startUserId+=step;
}
二. 查询排名前20的数据

查询前多少的排名,redisTemplate有现成的方法:range。默认情况下是排序是从小到大的,要输出分数最高的可用倒叙输出。
这里要注意一点: ZSet的排名默认是0开始的,故而返回的排名要+1

  	public Set<Object> listRank() {
        BoundZSetOperations zSetOps = redisTemplate.boundZSetOps(RANK_KEY);
        return zSetOps.reverseRange(0, 19);
    }
三. 更新用户分数

更新用户分数主要考虑两点:

  • 同用户的分数如何实时更新
  • 不同用户分数一致的情况下,如何定义排名
1. 同用户的分数如何实时更新?
  • 首先将新的用户分数数据入数据库
  • 获取缓存当前用户的排行信息
  • 如果缓存中不存在或者分数低于最新的分数则,更新缓存
2. 不同用户分数一致的情况下,如何定义排名?

不同用户分数相同的情况,应以先达到该分数的用户排名靠前。考虑到Zset中score是double类型的,可以在小数上做文章。
用户分数数据入数据库之后能获取到对应的id,先插入的id较小,可以Integer.MAX_VALUE-id的方式设置小数。最终存入redis中的score格式: 用户分数.(Integer.MAX_VALUE-该数据id)

public void updateScore(String userCode,int score) {
       // 模拟存入数据库
       Random random = new Random();
       int i = random.nextInt(1000);
       BoundZSetOperations zSetOps = redisTemplate.boundZSetOps(RANK_KEY);
       // 当前分数, 分数.Integer.MAX_VALUE-数据库id 用于相同分数下排名;分数相同的用户,先获取到该分数的用户排名更高
       BigDecimal currentScore = new BigDecimal(score+"."+(Integer.MAX_VALUE-i));
       // 获取历史的分数
       Double scoreHistory = zSetOps.score(userCode);
       // 不存在该用户记录或者 历史分数比当前分数小,则更新缓存数据
       if (scoreHistory == null || BigDecimal.valueOf(scoreHistory).compareTo(currentScore) <=0) {
           zSetOps.add(userCode, currentScore.doubleValue());
       }
   }
四. 优化点

如果只需要的前20排名,不需要后面的的排名数据,在redis中存储全部的排行还是有所浪费内存的。
在更新时,获取分数排行20的数据分数,如果当前数据小于该数不更新缓存,否则更新缓存。
之后在判断缓存中总数是否达到50条,如果达到则删除小于排行20分数的数据。
为啥取存50条数据?
50只是一个估计值,也可以40,100等,主要要大于20个数。如果只存20条数据,必然要加全局锁,来保证数据的准确。这里让数据冗余了一部分,既可以避免频繁的移除数据,也可以避免加锁的问题。

最后奉上 项目demo地址

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐