一般情况下,Redis Client端发出一个请求后,通常会阻塞并等待Redis服务端处理,Redis服务端处理完后请求命令后会将结果通过响应报文返回给Client。
这有点类似于HBase的Scan,通常是Client端获取每一条记录都是一次RPC调用服务端。
在Redis中,有没有类似HBase Scanner Caching的东西呢,一次请求,返回多条记录呢?
有,这就是Pipline。官方介绍 http://redis.io/topics/pipelining

通过pipeline方式当有大批量的操作时候,我们可以节省很多原来浪费在网络延迟的时间,需要注意到是用pipeline方式打包命令发送,redis必须在处理完所有命令前先缓存起所有命令的处理结果。打包的命令越多,缓存消耗内存也越多。所以并不是打包的命令越多越好。

使用Pipeline在对Redis批量读写的时候,性能上有非常大的提升。

使用Java测试了一下:

  1. package com.lxw1234.redis;
  2.  
  3. import java.util.HashMap;
  4. import java.util.Map;
  5. import java.util.Set;
  6.  
  7. import redis.clients.jedis.Jedis;
  8. import redis.clients.jedis.Pipeline;
  9. import redis.clients.jedis.Response;
  10.  
  11.  
  12. publicclassTest{
  13. publicstaticvoid main(String[] args)throwsException{
  14. Jedis redis =newJedis("127.0.0.1",6379,400000);
  15. Map<String,String> data =newHashMap<String,String>();
  16. redis.select(8);
  17. redis.flushDB();
  18. //hmset
  19. long start =System.currentTimeMillis();
  20. //直接hmset
  21. for(int i=0;i<10000;i++){
  22. data.clear();
  23. data.put("k_"+ i,"v_"+ i);
  24. redis.hmset("key_"+ i, data);
  25. }
  26. longend=System.currentTimeMillis();
  27. System.out.println("dbsize:["+ redis.dbSize()+"] .. ");
  28. System.out.println("hmset without pipeline used ["+(end- start)/1000+"] seconds ..");
  29. redis.select(8);
  30. redis.flushDB();
  31. //使用pipeline hmset
  32. Pipeline p = redis.pipelined();
  33. start =System.currentTimeMillis();
  34. for(int i=0;i<10000;i++){
  35. data.clear();
  36. data.put("k_"+ i,"v_"+ i);
  37. p.hmset("key_"+ i, data);
  38. }
  39. p.sync();
  40. end=System.currentTimeMillis();
  41. System.out.println("dbsize:["+ redis.dbSize()+"] .. ");
  42. System.out.println("hmset with pipeline used ["+(end- start)/1000+"] seconds ..");
  43. //hmget
  44. Set keys = redis.keys("*");
  45. //直接使用Jedis hgetall
  46. start =System.currentTimeMillis();
  47. Map<String,Map<String,String>> result =newHashMap<String,Map<String,String>>();
  48. for(String key : keys){
  49. result.put(key, redis.hgetAll(key));
  50. }
  51. end=System.currentTimeMillis();
  52. System.out.println("result size:["+ result.size()+"] ..");
  53. System.out.println("hgetAll without pipeline used ["+(end- start)/1000+"] seconds ..");
  54. //使用pipeline hgetall
  55. Map<String,Response<Map<String,String>>> responses =newHashMap<String,Response<Map<String,String>>>(keys.size());
  56. result.clear();
  57. start =System.currentTimeMillis();
  58. for(String key : keys){
  59. responses.put(key, p.hgetAll(key));
  60. }
  61. p.sync();
  62. for(String k : responses.keySet()){
  63. result.put(k, responses.get(k).get());
  64. }
  65. end=System.currentTimeMillis();
  66. System.out.println("result size:["+ result.size()+"] ..");
  67. System.out.println("hgetAll with pipeline used ["+(end- start)/1000+"] seconds ..");
  68. redis.disconnect();
  69. }
  70. }
  71.  

测试结果如下:

  1. dbsize:[10000]..
  2. hmset without pipeline used [243] seconds ..
  3. dbsize:[10000]..
  4. hmset with pipeline used [0] seconds ..
  5. result size:[10000]..
  6. hgetAll without pipeline used [243] seconds ..
  7. result size:[10000]..
  8. hgetAll with pipeline used [0] seconds ..

使用pipeline来批量读写10000条记录,就是小菜一碟,秒完。

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐