在对于百万级的key 插入时, 考虑使用pipeline 批量插入的方式,话不多说,上代码:

pipeline_redis = init_redis_pool(12).client().pipeline()
len_ = len(list_)
count = 0
for key in list_:
    

    id_dict[key] = n
    n += 1
    name = "{}:{}".format("id", n)

    count += 1

    pipeline_redis.set(name, str(len_dict))

    if count % 10000 == 0:

        pipeline_redis.execute()
        print("总数{}, 已处理 {}".format(len_, n))
        count = 0

pipeline_redis.execute()

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐