redis分区（分片）原理

redis分区（分片）

crazy丢 · 2022-02-22 09:52:10 发布

分区是分割数据到多个Redis实例的处理过程，因此每个实例只保存key的一个子集
如果只使用一个redis实例时，其中保存了服务器中全部的缓存数据，这样会有很大风险，如果单台redis服务宕机了将会影响到整个服务。解决的方法就是我们可以采用分片/分区的技术，将原来一台服务器维护的整个缓存，现在换为由多台服务器共同维护内存空间

说明与分析
采用在一台主机上实现分片的方式，所以只需要在该主机上配置启动三台redis的实例即可。因为redis默认使用的端口号为6379，所以这里我们分别使用6379、6380以及6381三个端口来实现
结构图
在这里插入图片描述
配置

进入到redis的安装目录下，创建一个shard文件夹，然后将redis的配置文件"redis.conf"复制一份，取名为"redis-6379.conf"(作为6379这台实例的配置文件)。然后将该文件移动到shard文件夹下，再将"redis-6379.conf"复制两份，一个叫"redis-6380.conf"(作为6380这台实例的配置文件)，一个叫"redis-6381.conf"(作为6381这台实例的配置文件)
修改6379这台实例的配置文件，因为端口6379默认就是redis的端口
修改6380实例的配置文件，修改该实例占用的端口为6380
修改pid
修改dump文件名
修改6381实例的配置文件，端口为6381，修改pid，修改dump文件名

在这里插入图片描述
7. 启动3台redis实例

客户端分区
是在客户端就已经决定数据会被存储到哪个redis节点或者从哪个redis节点读取。大多数客户端已经实现了客户端分区
- 范围分区
  映射一定范围的对象到特定的Redis实例。比如，ID从0到10000的用户会保存到实例R0，ID从10001到 20000的用户会保存到R1，以此类推
- hash一致算法实现分区
  hash一致算法实现分区，对key值进行hash一致性计算后得到结果，最终将数据保存到某一台redis实例中
代理分区
客户端将请求发送给代理，然后代理决定去哪个节点写数据或者读数据。代理根据分区规则决定请求哪些Redis实例，然后根据Redis的响应结果返回给客户端。redis和memcached的一种代理实现就是Twemproxy
查询路由(Query routing)
是客户端随机地请求任意一个redis实例，然后由Redis将请求转发给正确的Redis节点。Redis Cluster实现了一种混合形式的查询路由，但并不是直接将请求从一个redis节点转发到另一个redis节点，而是在客户端的帮助下直接redirected到正确的redis节点

分区是多台redis共同作用的，如果其中一台出现了宕机现象，则整个分片都将不能使用，虽然是在一定程度上缓减了内存的压力，但是没有实现高可用
涉及多个key的操作通常是不被支持的，当两个set映射到不同的redis实例上时，因为他们可能被存储到不同的Redis实例，你就不能对这两个set执行交集操作
涉及多个key的redis事务不能使用
分区使用的粒度是key，不能使用一个非常长的排序key存储一个数据集
当使用分区时，数据处理较为复杂，比如你需要处理多个rdb/aof文件，并且从多个实例和主机备份持久化文件
分区时动态扩容或缩容可能非常复杂。Redis集群在运行时增加或者删除Redis节点，能做到最大程度对用户透明地数据再平衡，但其他一些客户端分区或者代理分区方法则不支持这种特性
高可用的解决方案：可以采用哨兵机制实现主从复制从而实现高可用