Redis详解【持久化及主从哨兵模式】
持久化
RDB快照（snapshot）
在默认情况下，Redis将内存数据库快照保存在名字为dumo.rdb的二进制文件中。
我们可以对redis进行设置，让它在”N秒内数据集至少有M个改动”这一条件被满足时，自动保存一次数据集。
比如说：以下设置会让redis满足”60秒内至少有1000个键被改动”这一条件时，自动保存一次数据集：
save 60 1000 //关闭RDB只需要将所有的save保存策略注释掉即可
还可以手动执行命令生成RDB快照，进入redis客户端执行命令save或bgsave可以生成dump.rdb文件，每次命令执行都会将所有redis内存快照到一个新的rdb文件里，并覆盖原有rdb快照文件
bgsave的写时复制（COW）机制
Redis借助操作系统提供的写时复制技术（Copy-On-Write,COW），在生成快照的同时，依然可以正常处理写命令。简单来说，bgsave子进程是由主线程fork生成的，可以共享主线程的所有内存数据。bgsave子进程运行后，开始读取主线程的内存数据，并把他们写入RDB文件。此时如果主线程对这些数据也都是读操作，那么，主线程和bgsave子进程相互不影响。但是，如果主线程要修改一块数据，那么这块数据就会被复制一份，生成该数据的副本。然后bgsave子进程会把这个副本数据写入RDB文件，而在这个过程中，主线程依然可以直接修改原来的数据
save和bgsave的对比
save：
- io类型：同步
- 是否阻塞redis其他命令：是
- 复杂度：O（n）
- 优点：不会消耗额外内存
- 缺点：阻塞客户端命令
bgsave：
- io类型：异步
- 是否阻塞redis其他命令：否（在生成子进程执行调用fork函数时会有短暂阻塞）
- 复杂度：O（n）
- 优点：不阻塞客户端命令
- 缺点：需要fork子进程，消耗内存
配置自动生成rdb文件后台使用的是bgsave方式。
AOF（append-only file）
快照功能并不是非常耐久（durable）：如果redis因为某些原因而造成的故障停机，那么服务器将失去最近写入，仍未保存到快照中的那些数据。从1.1版本开始，redis增加了一种完全耐久的持久化方式：AOF持久化，将修改的每一条指令记录写进文件appendonly.aof（先写入os cache，每隔一段时间fsync到磁盘）
比如 执行命令 set hangker 1024，aof文件里会记录如下数据
这是一种resp协议格式数据，星号后面代表命令有多少个参数，$号后面的数字代表这个参数有几个字符
注意，如果执行带过期时间的set命令，aof文件里记录的并不是执行的原始命令，而是记录key过期的时间戳，比如执行 set huo 222 ex 100000
我们可以通过修改配置文件来开启aof功能
vim redis.conf
#appendonly yes
从现在开始，每当redis执行一个改变数据集的命令时（比如set），这个，命令就会被追加到AOF文件的末尾
这样的话，当redis重启时，程序就可以通过重新执行AOF文件中的命令来达到重建数据集的目的。
我们还可以配置redis多久才将数据fsync到磁盘一次。
appendfsync always：每次有新命令追加到aof文件时就执行一次fsync，非常慢，也非常安全
appendfsync everysec：每秒fsync一次，足够快，且在故障时只会丢失1秒钟的数据
appendfsync no：从不fsync，将数据交给操作系统来处理，更快，也更不安全的选择。
AOF重写
AOF文件里可能太多没用指令，所以AOF会定期根据内存的最新数据生成aof文件
例如，执行了如下命令：
我们打开aof文件：
这时发现未重写，我们要修改配置控制aof自动重写频率
- #auto-aof-rewrite-min-size 64mb //aof文件至少要达到64M才会自动重写，文件太小恢复速度本来就很快，重写的意义不大
- auyo-aof-rewrite-percentage 100 //aof文件自上一次重写后文件大小增长了100%则再次触发重写
当然aof还可以手动重写，进入redis客户端执行命令bgrewriteaof重写AOF
注意，AOF重写reds会fork出一个子进程去做（与bgsave命令类似），不会对redis正常命令处理有太多影响
RDB和AOF对比：
- RDB：
- 启动优先级：低
- 体积：小
- 恢复速度：快
- 数据安全性：容易丢数据
- AOF：
- 启动优先级：高
- 体积：大
- 恢复速度：慢
- 数据安全性：根据策略决定
生产环境都可以启用，redis启动时如果既有rdb文件又有aof文件则优先选择aof文件恢复数据，因为aof一般来说数据更安全一些。
Redis4.0混合持久化
重启Redis时，我们很少使用RDB来恢复内存状态，因为会丢失大量数据，我们通常使用AOF日志重放，但是重放AOF日志性能相对RDB来说要慢很多，这样在Redis实例很大的情况下，启动需要花费很长的时间.Redis4.0为了解决这个问题，带来了一个新的持久化选项–混合持久化。
通过如下配置可以开启混合持久化（必须先开启aof）：#aof-use-rdb-preamble yes
如果开启了混合持久化，AOF在重写时，不再是单纯将内存数据转换为RESP命令写入AOF文件，而是将重写这一刻之前的内存做RDB快照处理，并且将RDB快照内容和增量的AOF修改内存数据的命令存在一起，都写入新的AOF文件，新的文件一开始不叫appendonly.aof，等到重写完新的AOF文件才会进行改名，覆盖原有的AOF文件，完成新旧两个AOF文件的替换
于是在Redis重启的时候，可以先加载RDB的内容，然后再重放AOF日志就可以完全替代之前的AOF全量文件重放，因此重启效率大幅得到提升
混合持久化AOF文件结构如下：
Redis数据备份策略
- 写crontab定时调度脚本，每小时copy一份rdb或aof的备份到一个目录中去，仅仅保留最近48小时的备份
- 每天都保留一份当日的数据备份到一个目录中去，可以保留最近一个月的备份
- 每次copy备份的时候，都把太旧的备份给删了
- 每天晚上将当前机器上的备份复制一份到其他机器上，以防机器损坏。
主从架构
主从架构搭建配置从节点
- 复制一份redis.conf文件
- 修改相关配置
- port 6380
- pidfile /var/run/redis_6380.pid # 把pid进程号写入pidfile配置的文件
- logfile “6380.log”
- dir /usr/local/redis‐5.0.3/data/6380 # 指定数据存放目录
- 需要注释掉bind
- bind 127.0.0.1（bind绑定的是自己机器网卡的ip，如果有多块网卡可以配多个ip，代表允许客户端通过机器的哪些网卡ip去访问，内网一般可以不配置bind，注释掉即可）
- 配置主从复制
- replicaof 192.168.0.60 6379 # 从本机6379的redis实例复制数据，Redis 5.0之前使用slaveof
- replica‐read‐only yes # 配置从节点只读
- 启动从节点: src/redis-server redis-6380.conf
- 连接从节点： src/redis-cli -p 6380
- 测试在6379实例上写数据，6380是否能及时同步修改数据
- 以此类推配置一个6381端口
在6379写个数据测试，很丝滑，redis主从架构就搭建完成了，当然了我这是单机搭的，后续我会用集群的方式，一个节点分配一个虚拟机搭建。
Redis主从工作原理
如果我们为master配置了一个slave，不管这个slave是否是第一次连接上master，它都会发送一个psync命令给master请求复制数据。
master接到psync命令后，会在后台进行数据持久化通过bgsave生成最新的rdb快照文件，持久化期间，master会持续接收客户端的请求，它会把这些可能修改数据集的请求缓存在内存中。当持久化进行完毕以后，master会把这份rdb文件数据集发送给slave，slave会把接收到的数据进行持久化生成rdb，然后再加载到内存中。然后master再将之前缓存在内存中的命令发送给slave。
当master与slave之间的连接由于某些原因断开时，slave能够自动重连master，如果master收到了多个slave并发连接请求，它只会进行一次持久化，而不是一个连接一次，然后再把这一份持久化的数据发送给多个并发连接的slave。
主从复制（全量复制）流程图
数据部分复制
当master和slave断开重连后，一般都会对整份数据进行复制。但从redis2.8版本开始，redis改用可以支持部分数据复制的命令psync去master同步数据，slave和master能够在网络连接断开后只进行部分数据复制（断点续传）
master会在其内存中创建一个复制数据用的缓存队列，缓存最近一段时间的数据，master和它所有的slave都维护了复制的数据下标offset和master的进程id，因此当网络连接断开后，slave会请求master继续进行未完成的复制，从所记录的数据下标开始。如果master进程id变了，或者从节点数据下标offset太旧，已经不在master的缓存队列里了，那么将会进行一次全量数据的复制。
主从复制（部分复制，断点续传）流程图
如果有很多从节点，为了缓解主从复制风暴（多个从节点同时复制主节点导致主节点压力过大），可以做如下架构，让部分从节点与从节点（与主节点同步）同步数据
Redis哨兵高可用架构
sentinel哨兵是特殊的redis服务，不提供读写服务，主要用来监控redis实例节点。
哨兵架构下client端第一次从哨兵找出redis的主节点，后续就直接访问redis的主节点，不会每次都通过sentinel代理访问redis的主节点，当redis的主节点发生变化，哨兵会第一时间感知到，并且将新的redis主节点通知给client端（这里面redis的client端一般都实现的订阅功能，订阅sentinel发布的节点变动信息）
哨兵架构搭建
- 复制三份sentinel.conf文件
- cp sentinel.conf config/sentinel-26379.conf
- cp sentinel.conf config/sentinel-26380.conf
- cp sentinel.conf config/sentinel-26381.conf
- 修改相关配置（26379为例）
- port 26379
- daemonize yes
- pidfile “/var/run/redis-sentinel-26379.pid”
- logfile “26379.log”
- dir “/usr/local/redis-5.0.3/data”
- sentinel monitor mymaster 192.168.19.80 6379 2 注：mymaster名字随便取，客户端访问时会用到
- 启动sentinel哨兵实例
src/redis-sentinel config/sentinel-26379.conf
- 查看sentinel的info信息
- src/redis-cli -p 26379
- info
可以看到Sentinel的info里已经识别出了redis的主从
- 自己配置另外两个sentinel，端口26380/26381
sentinel集群都启动完毕后，会将哨兵集群的元数据信息写入所有sentinel的配置文件里去(追加在文件的最下面)，我们查看下如下配置文件sentinel-26379.conf，如下所示：
sentinel known-replica mymaster 192.168.19.80 6381 注：代表主节点的从节点信息
sentinel known-replica mymaster 192.168.19.80 6380 注：代表主节点的从节点信息
sentinel known-sentinel mymaster 192.168.19.80 26381 8941015ea6d70bdeb6d88f4fab1fb4a9c8527571 注：代表感知到其他其他哨兵节点
sentinel known-sentinel mymaster 127.0.0.1 26380 e4cb77fb8febc7e7e28604c8341afe208a95587a 注：代表感知到其他其他哨兵节点
当redis主节点如果挂了，哨兵集群会重新选举出新的redis主节点，同时会修改sentinel节点配置文件的集群元数据信息，比如6379的redis如果挂了，假设选举出的新主节点是6380，则sentinel文件里的集群信息回变成如下所示：
- sentinel known‐replica mymaster 192.168.19.80 6379 #代表主节点的从节点信息
- sentinel known‐replica mymaster 192.168.19.80 6381 #代表主节点的从节点信息
- sentinel known-sentinel mymaster 192.168.19.80 26381 8941015ea6d70bdeb6d88f4fab1fb4a9c8527571 注：代表感知到其他其他哨兵节点
- sentinel known-sentinel mymaster 127.0.0.1 26380 e4cb77fb8febc7e7e28604c8341afe208a95587a 注：代表感知到其他其他哨兵节点
同时还会修改sentinel文件之前配置的mymaster对应的6379端口，改为6380：
sentinel monitor mymaster 192.168.0.60 6380 2
当6379的redis实例再次启动时，哨兵集群根据集群元数据信息就可以将6379端口的redis节点作为从节点加入集群
哨兵的Jedis连接
哨兵的Spring Boot整合redis连接代码
- 引入相关依赖
- springboot项目核心配置
- 访问代码
StringRedisTemplate与RedisTemplate详解
spring封装了RedisTemplate对象来进行对redis的各种操作，它支持所有的redis原生的api。在RedisTemplate中提供了几个常用的接口方法的使用：
- private ValueOperations<K, V> valueOps;
- private HashOperations<K, V> hashOps;
- private ListOperations<K, V> listOps;
- private SetOperations<K, V> setOps;
- private ZSetOperations<K, V> zSetOps;
RedisTemplate中定义了对5种数据结构操作:
- redisTemplate.opsForValue();//操作字符串
- redisTemplate.opsForHash();//操作hash
- redisTemplate.opsForList();//操作list
- redisTemplate.opsForSet();//操作set
- redisTemplate.opsForZSet();//操作有序set
StringRedisTemplate继承自RedisTemplate，也一样拥有上面这些操作。
StringRedisTemplate默认采用的是String的序列化策略，保存的key和value都是采用此策略序列化保存的。
RedisTemplate默认采用的是JDK的序列化策略，保存的key和value都是采用此策略序列化保存的。
- 微信
- 支付宝
