700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > Redis——分布式缓存

Redis——分布式缓存

时间:2019-12-09 00:39:11

相关推荐

Redis——分布式缓存

一.Redis持久化

1.RDB

RDB全称Redis Database Backup file(Redis数据备份文件),也被叫做Redis数据快照。简单来说就是把内存中的所有数据记录到磁盘中。当Redis实例故障重启后,从磁盘读取快照文件,恢复数据。

快照文件称为RDB文件,默认是保存到当前运行目录。

RDB执行命令有两种:使用save命令是利用主进程在对Redis进行持久化,因为Redis是一种单线程模式,这样的话会对阻塞所有命令,耗时时间长。不推荐使用。

推荐使用bigsave命令对Redis进行持久化操作,bgsave开始时会fork主进程得到子进程,子进程共享主进程的内存数据。完成fork后读取内存中的数据并写入RDB文件。

fork采用的是copy-on-write技术:

当主进程执行读操作时,访问共享内存;当主进程执行写操作时,则会拷贝一份数据,执行写操作。

这也会有一种极端的情况发生:当数据进行RDB备份的时候,如果说读写速度很慢,会耗费一定的时间,而这段时间会有大量的请求来对数据进行更改,这样主进程就会不断的拷贝数据进行修改,此时内存就会是当前内存的2倍,所以在使用redis的时候需要预留出一部分内存,避免这种极端情况发生,否则就会造成内存溢出的现象。

总结:

RDB方式bgsave的基本流程?

fork主进程一个子进程,共享内存空间子进程读取内存数据并写入新的RDB文件用新的RDB文件替换旧的RDB文件

RDB会在什么时候执行?save 60 1000代表什么含义?

默认是服务停止时代表60秒内至少执行1000次修改才会才触发RDB

RDB的缺点?

RDB执行间隔时间长,两次RDB之间写入数据有丢失的风险fork子进程,压缩,写出RDB文件都比较耗时

2.AOF持久化

AOF全称Append Only File(追加文件)。Redis处理的每一个写命令都会记录在AOF文件,可以看做是命令日志文件。

AOF默认是关闭的,需要修改redis.conf配置文件来开启AOF:

AOF的命令记录的频率也可以通过redis.conf文件来配:

因为是记录命令,AOF文件会比RDB文件大的多。而且AOF会记录对同一个key的多次写操作,但只有最后一次写操作才有意义。通过执行bgrewriteaof命令,可以让AOF文件执行重写功能,用最少的命令达到相同的效果。

Redis也会在触发阈值时自动去重写AOF文件。阈值也可以在redis.conf中配置:

3.RDB与AOF

二、Redis主从集群

1、搭建主从架构

单节点Redis的并发能力是有上限的,要进一步提高Redis的并发能力,就需要搭建主从集群,实现读写分离。

使用一台虚拟机对集群进行模拟搭建:

首先构造三个redis实例,端口号分别为7001(主)、7002(从)、7003(从),

①拷贝redis.config文件

②修改每个实例的端口、工作目录

③修改每个实例声明的ip

④同时开启三个redis实例

⑤开启主从关系

查看集群状态信息

至此,主从集群搭建完成。

总结:假设有A、B两个Redis实例,如何让B作为A的slave节点?

在B节点中执行 slaveof A的IP A的端口号

2、数据同步原理

①主从第一次同步是全量同步

master如何判断slave是不是第一次来同步数据?这里会用到两个很重要的概念:

Replication Id:简称replid,是数据集的标记,id一致则说明是同一数据集。每一个master都有唯一的replid,slave则会继承master节点的reolidoffset:偏移量,随着记录在repa_baklog中的数据增多而逐渐增大。slave完成同步时也会记录当前同步的offset.如果slave的offset小于master的offset,说明slave数据落后于master,需要更新。

因此slave做数据同步,必须向master声明自己的 Replication Id和offset,master才可以判断到底需要同步哪些数据。

总结:

简述全量同步的流程:

slave节点请求增量同步master节点判断replid,发现不一致,拒绝增量同步master将完整的内存数据生成RDB,发送RDB到slaveslave清空本地数据,加载master的RDBmaster将RDB期间的命令记录在repl_baklog,并持续将log中的命令发送给slaveslave执行接受到的命令,保持与master之间的同步

②增量同步

注意:repl_baklog大小实际上是一个数组的形式进行存储的,当数据达到上限的时候就会继续从零开始写入命令,把之前的命令进行覆盖。正因为repl_baklog大小有上限,写满后会覆盖最早的数据。如果slave断开时间太久,导致尚未备份你的数据被覆盖,则无法基于log做增量同步,只能再次全量同步。

③优化Redis主从集群

在master中配置repl-diskless-sync yes启用无磁盘复制,避免全量同步时的磁盘IO.(使用这种方法的场景是需要网络带宽很大,网络非常快的情况下,如果网络很慢,也会造成网络阻塞)Redis单节点上的内存占用不要太大,减少RDB导致的过多磁盘IO适当提高repl_baklog的大小,发现slave宕机时尽快实现故障恢复,尽可能避免全量同步限制一个master上的slave节点数量,如果实在是太多slave,则可以采用主-从-从链式结构,减少master压力

也就是在从节点中将从节点设置为自己的master即可

总结:

简述全量同步与增量同步的区别?全量同步:master将完整内存数据生成RDB,发送RDB到slave。后续命令则记录在repl_baklog中,逐个发给slave增量同步:slave提交自己的offset到master,master获取repl_baklog中从offset之后的命令给slave

什么时候执行全量同步?

slave节点第一次连接master节点时slave节点断开时间太久,repl_baklog中的offset已经覆盖时

什么时候执行增量同步?

slave节点断开又恢复,并且在repl_baklog中能找到offset时

思考:slave节点宕机恢复后可以找master节点同步数据,那master节点宕机怎么办?

3、Redis哨兵

①哨兵的作用

Redis提供了哨兵(Sentinel)机制来实现主从集群的自动故障恢复。哨兵的结构和作用如下:

监控:Sentinel会不断检查您的master和slave是否按预期工作自动故障恢复:如果master故障,Sentinel会将一个slave提升为master。当付账实例恢复后也以新的master为主通知:Sentinel充当Redis客户端的服务发现来源,当集群发生故障转移是,会将最新信息推送给Redis的客户端

②服务状态监控

Sentinel基于心跳机制检测服务状态,每隔1秒向集群的每个实例发送ping命令:主观下线:如果sentinel节点发现某实例未在规定时间响应,则认为该实例主观下线。客观下线:若超过指定数量的Sentinel都认为改实例主观下线,则该实例客观下线。所指定的数量最好超过sentinel实例数量的一半。

③选举新的master

一旦发现master故障,sentinel需要在slave中选择一个作为新的master,选择依据是:首先会判断slave节点与master节点断开时间长短,如果超过指定值则会排除该slave节点然后判断slave节点的slave-priority值,越小优先级越高,如果是0则永不参与选举如果slave-priority一样,则判断slave节点的offset值,越大说明数据越新,优先级越高最后判断slave节点的运行id大小,越小优先级越高。

4.搭建哨兵集群

目标:创建三个Sentinel实例去监控上面创建的三个节点的集群

①准备实例和配置

虽然只是与主节点建立监控连接了,但是可以间接通过主节点去获取其他从节点的信息。

②启动

通过查看日志可以发现已经成功开始监控集群

③测试主节点宕机,从节点选举为主节点

此时7002执行成为主节点的命令,广播告诉其他节点自己成为主节点,其他节点就会修改自己的配置文件,将7002作为自己的主节点(下图为7003的从节点)

如果将已经宕机的7001进行恢复的话,7002就会收到7001尝试进行同步的请求。并且进行数据同步,7001同时将7002设置成自己的主节点。

5、Redis分片集群

分片集群的结构

主从和哨兵可以解决高可用,高并发读的问题,但是依然有两个问题没有解决:

海量数据存储问题高并发写的问题

使用分片集群可以解决上述问题,分片集群特征:

集群中有多个master,每个master保存不同数据每个master都可以有多个slave节点master之间通过ping监测彼此健康状态客户端请求可以访问集群任意节点,最终都会被转发到正确节点

总结:

例如控制有效位为a,则插入的数据就会在一个插槽中,从而在一个节点中

集群伸缩

eg:添加一个节点到集群

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。