RedisTemplate使用PipeLine实现批量操作
一、为什么要使用Pipeline?Redis是采用基于C/S模式的请求/响应协议的TCP服务器。性能问题一:redis客户端发送多条请求,后面的请求需要等待前面的请求处理完后,才能进行处理,而且每个请求都存在往返时间RRT(Round Trip Time),即使redis性能极高,当数据量足够大,也会极大影响性能,还可能会引起其他意外情况。性能问题二:性能问题一,我们可以通过scan命令来解决,如
·
一、为什么要使用Pipeline?
Redis是采用基于C/S模式的请求/响应协议的TCP服务器。
性能问题一:redis客户端发送多条请求,后面的请求需要等待前面的请求处理完后,才能进行处理,而且每个请求都存在往返时间RRT(Round Trip Time),即使redis性能极高,当数据量足够大,也会极大影响性能,还可能会引起其他意外情况。
性能问题二:性能问题一,我们可以通过scan命令来解决,如何来设置count又是一个问题,设置不好,同样会有大量请求存在,即使设置到1w(推荐最大值),如果扫描的数据量太大,这个问题同样不能避免。每个请求都会经历三次握手、四次挥手,在处理大量连接时,处理完后,挥手会产生大量time-wait,如果该服务器提供其他服务,可能对其他服务造成影响。
二、使用PipeLine
1、方式一:使用SessionCallback,注意返回必须为null才可以,多次提交,一次性操作operations,避免多次连接redis造成性能问题
stringRedisTemplate.executePipelined(new SessionCallback<Object>() {
@Override
public Object execute(RedisOperations operations) throws DataAccessException {
int currentOffset = startOffsets;//注意引用外部变量方法
for (String data : unStoredataList) {
WxMsUserCompanyRedisOffset wxRedisOffset = new WxMsUserCompanyRedisOffset();
wxRedisOffset.setOffsetId(idGenerator.getLong());
operations.opsForHash().put(dataRedisOffsetMapKey+":"+hashKey(data),data.hashCode()+"",wxRedisOffset.getRedisOffset() + "");
currentOffset++;
}
return null;
}
});
2、方式二:使用RedisCallback,注意返回必须是null才有效的
List<Long> List = redisTemplate.executePipelined(new RedisCallback<Long>() {
@Nullable
@Override
public Long doInRedis(RedisConnection connection) throws DataAccessException {
connection.openPipeline();
for (int i = 0; i < 1000000; i++) {
String key = "123" + i;
connection.zCount(key.getBytes(), 0,Integer.MAX_VALUE);
}
return null;
}
});
更多推荐
已为社区贡献1条内容
所有评论(0)