0%

redis集群

redis集群

注意:我使用的版本是6.0.10,不同版本可能略有差别

redis集群的出现解决了redis在分布式方面的需求(3.0版本出现),而且解决了原本的哨兵模式sentinel无法解决从节点下线的问题。

redis-cluster使用虚拟槽的方式来进行分片,把所有的节点映射到0-16383槽点上,cluster负责维护节点到哈希槽之间的关系,当需要在redis集群中存放键值对时,redis先对key使用crc16算法算出一个结果,然后对16384取余,redis会根据节点数量将哈希槽映射到不同的节点上

为什么采用虚拟槽的方式

数据分片的路由策略一般有三种:取模、一致性hash、虚拟槽

取模

取模是根据元素对节点数取模获得的

但是存在问题就是如果增加或减少节点时,数据的路由会发生变化,没有什么可扩展性

一致性hash

一致性hash是对2^32^ 取模,将Hash值空间组成虚拟的圆环,整个圆环按照顺时针方向依次排列,之后将每个服务器进行hash运算,确定服务器在hash环上的地址,确定了服务器地址后,对数据同样使用hash算法,将数据定位到服务器上,如果定位的位置没有服务器,从顺时针寻找,找到的第一台服务器即为该数据最终的服务器位置

但是存在的问题是很难保证客户端的请求平均分配在各个节点,不能很好地负载均衡,在服务器很少的时候,容易出现服务器节点分布不均

虚拟槽

虚拟槽是根据某个散列函数得到槽位,找到对应的节点

集群配置

修改redis.conf来设置集群参数

1
2
cluster-enabled yes
cluster-config-file nodes-6380.conf

在使用客户端连接时

1
2
3
4
5
#-c 表示集群连接  如果不使用集群连接,无法访问到集群内的数据
redis-cli -c -p 6379

# 可以使用redis-cli来分配槽点
redis-cli -p 6381 cluster addslots {10923..16383}

查看集群节点

1
2
3
cluster nodes
------------------------
57702920ad1a9849cb61ff6b83f9aba97effee9e :6379@16379 myself,master - 0 0 0 connected 12458

此时只有一个节点,所以集群节点只有一个

然后将6380和6381加入到集群中

1
2
3
4
5
6
7
8
9
127.0.0.1:6379> cluster meet 127.0.0.1 6380
OK
127.0.0.1:6379> cluster meet 127.0.0.1 6381
OK

127.0.0.1:6379> cluster nodes
85f3b3d55caa4699abaa916b1a7a800b06226b18 127.0.0.1:6380@16380 slave 57702920ad1a9849cb61ff6b83f9aba97effee9e 0 1614926896368 1 connected
d49e7bc9e01c4f0b687c46d964ef6cdccf90fff2 127.0.0.1:6381@16381 slave 57702920ad1a9849cb61ff6b83f9aba97effee9e 0 1614926895337 1 connected
57702920ad1a9849cb61ff6b83f9aba97effee9e 127.0.0.1:6379@16379 myself,master - 0 1614926895000 1 connected 12458

查看集群信息

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
127.0.0.1:6379> cluster info
--------------------------------------
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:4
cluster_size:3
cluster_current_epoch:2
cluster_my_epoch:2
cluster_stats_messages_ping_sent:331
cluster_stats_messages_pong_sent:299
cluster_stats_messages_fail_sent:1
cluster_stats_messages_sent:631
cluster_stats_messages_ping_received:298
cluster_stats_messages_pong_received:330
cluster_stats_messages_meet_received:1
cluster_stats_messages_fail_received:1
cluster_stats_messages_update_received:90
cluster_stats_messages_received:720

也使用命令来自己分配槽点

1
cluster addslots [slot ...]

集群中所有master参与投票,如果半数以上的master节点与其中一个master节点通信超过cluster-node-timeout,则认为该master节点挂掉

也可以为集群中的主节点配置从节点

1
cluster replicate f82552a7942609ee90e5201d563804c065588847

如果需要重新构建集群关系的话,需要删除每个节点的node.conf和rdb文件,否则集群搭建不成功

集群不可用情况

  • 如果集群任意master挂掉,且当前master没有slave,则集群进入fail状态
  • 如果集群超过半数的master挂掉,不管有没有slave,集群进入fail状态

集群支持高级特性

如果要在集群上使用事务、LUA脚本等功能,必须保证所操作的key在同一个槽点中,可以使用hash tags来确保在同一个槽点中,如下面所示的格式,redis会根据{}中提供的字符来进行hash操作寻找多对应的槽点

1
{person.did}person:did