Redis的集合类型的特点是一个键对应一系列值,非常适合用来存取统计的数据,比如:
每天的新增用户数和第二天的留存用户数;
统计评论列表的最新评论;
一个月内连续打卡的用户数;
UV量;
先了解一下常用的集合统计模式:
聚合统计,排序统计,二值状态统计,基数统计
聚合统计
聚合统计是指统计多个集合元素的聚合结果。包括:交集统计,差集统计,并集统计。
Set类型非常适合用来做聚合统计。

SINTER key [key ...] #返回指定所有的集合的成员的交集.时间复杂度O(N*M)
SUNION key [key ...] #返回给定的多个集合的并集中的所有成员.时间复杂度:O(N
SDIFF key [key ...] #返回一个集合与给定集合的差集的元素.O(N)

比如统计每天的新增用户数和第二天的留存用户数。
假设在2022年10月1号上线,10月1号前是没有数据的,累计用户set是空的。10月1号登陆的用户记录在key为user🆔20221001的集合set中,计算累计用户set和user🆔20221001的并集结果,存在user:id的集合中(user:id集合是累计用户集合),到了10月2号,登录的用户记录在user🆔20221002的集合中,执行SDIFFSTORE计算user:id与user🆔20221002的差集,存在user:new中,user:new就是10月2号的新增用户。对user🆔20221001和user🆔20221002进行交集计算就是留存用户数。
由于计算复杂度较高,需要选择一个从库,或者放在客户端去进行聚合统计,防止主库阻塞。
排序统计
需要对集合类型进行排序。
LIST和SOERTED SET是有序集合。
LIST是按照原始进入LIST的顺序进行排序
SORTED是按照元素的权重进行排序,我们可以自己来决定每个元素的权重值。
比如最新评论列表的场景。
当使用LIST存储时,每当有一个新评论,可以使用LPUSH插入到LIST的对头。

LPUSH  product "A"```
LPUSH  product "B"```
LPUSH  product "C"```
LPUSH  product "D"```
LPUSH  product "E"```
LPUSH  product "F"```
LPUSH  product "G"```
	时间复杂度是o(1),取数据的时候使用LRANGE
	

```powershell
//第一页
LRANGE product 0 2
1) "G"
2) "F"
3) "E"
//第二页
LRANGE product 3 5
1) "D"
2) "C"
3) "B"

但是分页的需求的时候,假设一页有三条,在展示第二页的时候,插入了一条G,最后的结果就会变成
127.0.0.1:6379> LPUSH product H
(integer) 8
127.0.0.1:6379> LRANGE product 3 5
1) "E"
2) "D"
3) "C"

可以看到在第一页的E会在第二页展示。
我们可以使用SORTED SET按照时间给每个评论设置一个权重值,就算集合中的元素被频繁更新,也能使用ZRANGEBYSCORE命令准确获取到按序排列的数据。
在面对数据更新频繁或者需要分页显示,优先考虑Sorted set

二值状态统计
集合元素的状态只有0和1两种。
比如签到,只需要记录签到1和未签到0.
可以使用REDIS提供的BITMAP。BITMAP的底层数据结构是是string,把字节数组的每个big位利用起来,表示一个元素的二值状态。
BITMAP提供

SETBIT key offset value #设置或者清空key的value(字符串)在offset处的bit值。时间复杂度:O(1)
GETBIT key offset #返回key对应的string在offset处的bit值 当offset超出了字符串长度的时候,这个字符串就被假定为由0比特填充的连续空间。当key不存在的时候,它就认为是一个空字符串,所以offset总是超出范围,然后value也被认为是由0比特填充的连续空间。到内存分配。时间复杂度:O(1)
BITCOUNT key [start end] #统计字符串被设置为1的bit数.时间复杂度:O(N)
假设需要统计id 3000的用户在2020年8月份的统计情况,可以:
#记录8月3号签到
SETBIT uid:sign:3000:202008 2 1
#检查8月3号是否签到
GETBIT uid:sign:3000:202008
#统计8月份签到次数
BITCOUNT uid:sign:3000:202008
如果需要统计1亿个用户连续10天签到的用户总数?
用每天的日期作为KEY,存储一亿用户的签到情况。我们对10天的bitmap做一次与的操作,结果是一个bitmap,然后使用BITCOUNT统计1的位数,就是签到的用户总数。内存情况,1一个一亿位大约占12MB的空间,10天大概占的就是120MAB。

基数统计
统计一个集合中不重复的元素个数。
比如统计一个网页的UV
REDIS的SET类型默认支持去重。
当有一个用户到来时:

 SADD page1:uv user1
SADD key member [member ...] #添加一个或多个指定的member元素到集合的 key中.指定的一个或者多个元素member 如果已经在集合key中存在则忽略.如果集合key 不存在,则新建集合key,并添加member元素到集合key中.
如果key 的类型不是集合则返回错误.时间复杂度:O(N
如果PAGE1非常火爆,UV达到了千万,会消耗非常大的内存空间。
可以使用HASH类型记录UV:
HSET page2:uv user1 1
HSET key field value #设置 key 指定的哈希集中指定字段的值。
#如果 key 指定的哈希集不存在,会创建一个新的哈希集并与 key 关联。
#如果字段在哈希集中存在,它将被重写。时间复杂度:O(1)
同样HASHSET也避免不了消耗很大内存空间的问题。
HyperLogLog是一种统计基数的数据集合类型,优势在于当集合元素数量非常多的时候,计算基数的空间也是固定的,很小。每个HyperLogLog只需要花费12KB内存,就可以计算2^64个元素。
HyperLogLog是带有0.81%的误差的,如果需要精确统计值的时候,还是要使用set或者hash。
使用方法:
PFADD page3:uv user1 user2 user3 user4 user5
PFCOUNT page3:uv
(integer) 5
PFADD key element [element ...] #将除了第一个参数以外的参数存储到以第一个参数为变量名的HyperLogLog结构中.
#这个命令的一个副作用是它可能会更改这个HyperLogLog的内部来反映在每添加一个唯一的对象时估计的基数(集合的基
#数).
#如果一个HyperLogLog的估计的近似基数在执行命令过程中发了变化, PFADD 返回1,否则返回0,如果指定的key不存
#在,这个命令会自动创建一个空的HyperLogLog结构(指定长度和编码的字符串).
#如果在调用该命令时仅提供变量名而不指定元素也是可以的,如果这个变量名存在,则不会有任何操作,如果不存在,则#会创建一个数据结构(返回1)时间复杂度:O(1) 
PFCOUNT key [key ...]  #当参数为一个key时,返回存储在HyperLogLog结构体的该变量的近似基数,如果该变量不存在,则#返回0.
#当参数为多个key时,返回这些HyperLogLog并集的近似基数,这个值是将所给定的所有key的HyperLoglog结构合并到一#个临时的HyperLogLog结构中计算而得到的.
#HyperLogLog可以使用固定且很少的内存(每个HyperLogLog结构需要12K字节再加上key本身的几个字节)来存储集合
#的唯一元素.
#返回的可见集合基数并不是精确值, 而是一个带有 0.81% 标准错误(standard error)的近似值.
.```
Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐