Springboot Redis使用pipeline进行批量插入数据优化
一、前言之前做一个业务,需要把缓存数据存到redis中,一开始使用了for循环,检测后发现数据量一大,就会很慢,1w条数据就需要快2分钟。原始的代码如下:LOG.info("开始写入新增数据缓存");for (int i = 0; i < addCompList.size(); i++) {AddDataCacheVo addDataCacheVo = new AddDataCacheVo(
·
一、前言
之前做一个业务,需要把缓存数据存到redis中,一开始使用了for循环,检测后发现数据量一大,就会很慢,1w条数据就需要快2分钟。
原始的代码如下:
LOG.info("开始写入新增数据缓存");
for (int i = 0; i < addCompList.size(); i++) {
AddDataCacheVo addDataCacheVo = new AddDataCacheVo();
CompanyImportVo companyImportVo = addCompList.get(i);
BeanUtils.copyProperties(companyImportVo, addDataCacheVo);
addDataCacheVo.setKey(userNo + "-add-importData");
addDataCacheVo.setScore((i + 1) + "");
redisUtil.zSet(userNo + "-add-importData", JSON.toJSONString(addDataCacheVo), i + 1);
}
LOG.info("完成写入新增数据缓存");
这里使用的是zSet,score按照顺序排序,为后面的分页做准备的。
二、代码优化
问题出现在批量操作redis里面,了解到Redis提供了pipeline管道机制,尝试使用这个来进行优化。
先将需要存储的数据放入map,因为我这里存的是score,和Java对象的json字符串,Map的key是score,value是json字符串。
public void executePipelined(String key, Map<Integer, String> map) {
redisTemplate.executePipelined(new RedisCallback<String>() {
@Override
public String doInRedis(RedisConnection connection){
map.forEach((score, value) -> {
connection.zSetCommands().zAdd(key.getBytes(), score, value.getBytes());
});
return null;
}
}
);
}
现在,先将原来的Java对象和score加入map中,再调用上面这个方法:
Map addCompCacheMap = new HashMap<Integer, String>();
for (int i = 0; i < addCompList.size(); i++) {
AddDataCacheVo addDataCacheVo = new AddDataCacheVo();
CompanyImportVo companyImportVo = addCompList.get(i);
BeanUtils.copyProperties(companyImportVo, addDataCacheVo);
addDataCacheVo.setKey(userNo + "-add-importData");
addDataCacheVo.setScore((i + 1) + "");
addCompCacheMap.put(i + 1, JSON.toJSONString(addDataCacheVo));
}
LOG.info("开始写入新增数据缓存");
if (addCompCacheMap.size() > 0) {
redisUtil.executePipelined(userNo + "-add-importData", addCompCacheMap);
}
LOG.info("完成写入新增数据缓存");
经测试,存储10w条数据,时间大概在4秒左右,先暂时这样了,后续再继续优化。持续学习中…有错误的地方请指教,万分感谢!
更多推荐
已为社区贡献3条内容
所有评论(0)