python redis 获取所有key
数据量达到几百万,keys这个指令就会导致 Redis 服务卡顿,因为 Redis 是单线程程序,顺序执行所有指令,其它指令必须等到当前的 keys 指令执行完了才可以继续。线上的登录用户有几百万,数据量比较多;keys算法是遍历算法,复杂度是O(n),也就是数据越多,时间越高。正式环境不能使用getKeys,使用scan代替。
·
使用scan代替getKeys
线上的登录用户有几百万,数据量比较多;keys算法是遍历算法,复杂度是O(n),也就是数据越多,时间越高。
数据量达到几百万,keys这个指令就会导致 Redis 服务卡顿,因为 Redis 是单线程程序,顺序执行所有指令,其它指令必须等到当前的 keys 指令执行完了才可以继续。
正式环境不能使用getKeys,使用scan代替
import time
from random import sample
import redis
r = redis.StrictRedis("127.0.0.1", "6379", 1, decode_responses=True, password="123456")
print(len(r.scan(cursor=0,match="ONLINE_USER*",count=1000000)[1]))
参考1. 正确访问Redis中的海量数据
参考2. Redis中有几百万数据量,如何进行高效访问
参考2.https://redis.io/commands/keys/
更多推荐
已为社区贡献11条内容
所有评论(0)