我们在开发的时候经常会遇到以下问题:

新的存储需求：存储大量的数据，在查询方面提供更高的效率

需要的存储结构：能够保存大量的数据，高效的内部存储机制，便于查询

set类型：与hash存储结构完全相同，仅存储键，不存储值（nil），并且值是不允许重复的

一、set类型数据的基本操作

添加数据

sadd key member1 [member2]

 获取全部数据

smembers key

 删除数据

srem key member1 [member2]

 获取集合数据总量

scard key

 判断集合中是否包含指定数据

sismember key member

 随机获取集合中指定数量的数据

srandmember key [count]

 随机获取集中的某个数据并将该数据移除集合

spop key [count] 

二、set 类型数据的扩展操作

求两个集合的交、并、差集

sinter key1 [key2 …]  
sunion key1 [key2 …]  
sdiff key1 [key2 …]

 求两个集合的交、并、差集并存储到指定集合中

sinterstore destination key1 [key2 …]  
sunionstore destination key1 [key2 …]  
sdiffstore destination key1 [key2 …]

将指定数据从原始集合中移动到目标集合中

 smove source destination member

三、set类型数据操作注意事项

set 类型不允许数据重复，如果添加的数据在 set 中已经存在，将只保留一份。

set 虽然与hash的存储结构相同，但是无法启用hash中存储值的空间

四、set应用场景

（1）黑名单

资讯类信息类网站追求高访问量，但是由于其信息的价值，往往容易被不法分子利用，通过爬虫技术， 快速获取信息，个别特种行业网站信息通过爬虫获取分析后，可以转换成商业机密进行出售。例如第三方火 车票、机票、酒店刷票代购软件，电商刷评论、刷好评。

同时爬虫带来的伪流量也会给经营者带来错觉，产生错误的决策，有效避免网站被爬虫反复爬取成为每个网站都要考虑的基本问题。在基于技术层面区分出爬虫用户后，需要将此类用户进行有效的屏蔽，这就是黑名单的典型应用。

ps:不是说爬虫一定做摧毁性的工作，有些小型网站需要爬虫为其带来一些流量。

（2）白名单

对于安全性更高的应用访问，仅仅靠黑名单是不能解决安全问题的，此时需要设定可访问的用户群体， 依赖白名单做更为苛刻的访问验证