一、为什么要使用Pipeline?

Redis是采用基于C/S模式的请求/响应协议的TCP服务器。
性能问题一:redis客户端发送多条请求,后面的请求需要等待前面的请求处理完后,才能进行处理,而且每个请求都存在往返时间RRT(Round Trip Time),即使redis性能极高,当数据量足够大,也会极大影响性能,还可能会引起其他意外情况。
性能问题二:性能问题一,我们可以通过scan命令来解决,如何来设置count又是一个问题,设置不好,同样会有大量请求存在,即使设置到1w(推荐最大值),如果扫描的数据量太大,这个问题同样不能避免。每个请求都会经历三次握手、四次挥手,在处理大量连接时,处理完后,挥手会产生大量time-wait,如果该服务器提供其他服务,可能对其他服务造成影响。

二、使用PipeLine

1、方式一:使用SessionCallback,注意返回必须为null才可以,多次提交,一次性操作operations,避免多次连接redis造成性能问题

 stringRedisTemplate.executePipelined(new SessionCallback<Object>() {
               @Override
               public Object execute(RedisOperations operations) throws DataAccessException {
                    int currentOffset = startOffsets;//注意引用外部变量方法
                    for (String data : unStoredataList) {
                                WxMsUserCompanyRedisOffset wxRedisOffset = new WxMsUserCompanyRedisOffset();
                                wxRedisOffset.setOffsetId(idGenerator.getLong());                           
                                operations.opsForHash().put(dataRedisOffsetMapKey+":"+hashKey(data),data.hashCode()+"",wxRedisOffset.getRedisOffset() + "");
                                currentOffset++;
                            }
                            return null;
                        }
                    });

2、方式二:使用RedisCallback,注意返回必须是null才有效的

 List<Long> List = redisTemplate.executePipelined(new RedisCallback<Long>() {
            @Nullable
            @Override
            public Long doInRedis(RedisConnection connection) throws DataAccessException {
                connection.openPipeline();
               for (int i = 0; i < 1000000; i++) {
                    String key = "123" + i;
                    connection.zCount(key.getBytes(), 0,Integer.MAX_VALUE);
                }
                return null;
            }
        });
Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐