Redis的RDB与AOF持久化机制

所谓持久化,就是把缓存内容写进磁盘永久存储(你不删,磁盘不坏可不就是永久嘛)

RDB

RDB 是 Redis 默认的持久化方案。
RDB快照(Redis DataBase):当满足一定条件的时候,会把当前内存中的数据写入磁盘,生成一个快照文件dump.rdb。
还是先贴配置:

# 文件路径,
dir ./
# 文件名称
dbfilename dump.rdb
# 是否是 LZF 压缩 rdb 文件
rdbcompression yes
# 开启数据校验 sht
rdbchecksum yes

Redis重启会通过dump.rdb文件恢复数据。那个一定的条件是啥呢?到底什么时候写入rdb 文件?

  1. 自动触发

    1. 配置规则触发
      redis.conf, SNAPSHOTTING配置,其中定义了触发 把数据保存到磁盘的 触发频率。 如果不需要 RDB 方案,注释 或者配置成空字符串 " " 。

    save 900 1 # 900 秒内至少有一个 key 被修改(包括添加)
    save 300 10 # 300 秒内至少有 10 个key 被修改
    save 60 10000 # 60 秒内至少有 10000 个 key 被修改
    注意上面的配置是不冲突的,只要满足任意一个都会触发。

    1. shutdown触发,保证服务器正常关闭,关闭的时候不会造成数据丢失
  2. 手动触发
    如果我们需要重启服务或者迁移数据,这个时候就需要手动触RDB快照保存。所以redis也提供了2种手动保存RDB快照的指令。

    1. Save
      save在生成快照的时候会阻塞当前Redis服务器,Redis不能处理其他命令。如果内存中的数据比较多,会造成Redis长时间的阻塞。生产环境不建议使用这个命令。为了解决这个问题,Redis 提供了第二种方式。
    2. bgsave
      执行bgsave时,Redis会在后台异步进行快照操作,快照同时还可以响应客户端请求。
      具体操作是Redis进程执行fork(创建进程函数)操作创建子进程(copy-on-write),RDB持久化过程由子进程负责,完成后自动结束。它不会记录 fork之后后续的命令。阻塞只发生在fork阶段,一般时间很短。用lastsave 命令可以查看最近一次成功生成快照的时间。

演示一次RDB快照恢复数据的一个过程!(我的快照在src下面)
我们首先添加一份数据并且备份到RDB:

redis> set k1 1
redis> set k2 2
redis> set k3 3

查看数据是否存在:

redis>keys *

我们进行shutdown操作触发RDB快照:(模拟意外断电)

redis> shutdown

对现有RDB数据进行备份cp:

redis>cp dump.rdb dump.rdb.bak

启动redis:

redis> src/redis-server& redis.conf

发现数据都还在,现在模拟数据丢失(手动清一下)

redis> flushall

停服务器再启动

redis> shutdown
redis> src/redis-server& redis.conf

发现数据已经丢失,我们现在就要从我们备份的数据恢复,先关闭

redis> shutdown

删除原RDB备份数据cd .

redis>rm dump.rdb

将备份数据改名为dump.rdb

mv dump.rdb.bak dump.rdb

重启服务

src/redis-server& redis.conf

自己看一下数据喽(手动滑稽)

我们知道了RDB的实现的原理逻辑,那么我们就来分析下RDB到底有什么优劣势。
一、优势
1.RDB是一个非常紧凑(compact类型)的文件,它保存了redis在某个时间点上的数据集。这种文件非常适合用于进行备份和灾难恢复。
2.生成RDB文件的时候,redis主进程会fork()复刻一个子进程来处理所有保存工作,主进程不需要进行任何磁盘IO操作。
3.RDB在恢复大数据集时的速度比AOF的恢复速度要快。
二、劣势
1.RDB方式数据没办法做到实时持久化/秒级持久化。因为bgsave每次运行都要执行 fork 操作创建子进程,频繁执行成本过高。
2.在一定间隔时间做一次备份,所以如果redis意外down掉的话,就会丢失最后一次快照之后的所有修改(数据有丢失)。
所以,针对与这种情况,redis又提供了一种持久化机制,就是AOF持久化机制!

AOF

Append Only File的简称,只加载文件,这个方案在redis默认是不开启的。

AOF是怎么恢复的?

AOF采用日志的形式来记录每个写操作,并追加到文件中。开启后,执行更改 Redis数据的命令时,就会把命令写入到AOF文件中。Redis重启时会根据日志文件的内容把写指令从前到后执行一次以完成数据的恢复工作

那么它从哪里开启,又有些什么特性?

还是贴配置:
配置文件redis.conf

# 开关
appendonly no
# 文件名
appendfilename "appendonly.aof"

同步机制

AOF,会记录每个写的操作,那么问题来了?我难道每次操作命令又得跟磁盘交互?
当然不行,所以,redis支持几种策略,由你们自己来决定要不要每次都跟磁盘交互。

> # appendfsync always 表示每次写入都执行fsync(刷新)函数 
> # appendfsync everysec 每秒执行一次fsync函数 默认1s一次,最多有1s丢失
> # appendfsync no 由操作系统保证数据同步到磁盘,速度最快

重写机制(rewrite)

为什么要重写
比如,我们用分布式锁,指令是setnx,然后设置过期日期;由于是每次都是命令追加。那么1年后,10年后,我们会发现这个aof文件里面全都是这样的指令!!
我一个1T的aof文件,竟然全都是这个2个指令。所以我们需要重写。

AOF文件重写并不是对原文件进行重新整理,而是直接读取服务器现有的键值对,然后用一条命令去代替之前记录这个键值对的多条命令,生成一个新的文件后去替换原来的AOF文件。

怎么重写
4.0版本之前,是比较指令并去除无效指令
假如:aof文件里这样几个指令:

redis> lpush huihuilist a
redis> lpush huihuilist b c d
redis> lpop huihuilist

就会重写成

redis> lpush huihuilist a b c

后来人们发现,这种方法效率很低,需要一个一个区比对!
所以,4.0之后引入了RDB 跟AOF 混合的模式,让RDB跟AOF一起使用,因为RDB的速度快,那么我们就引入这个特点,根据RDB模式,将以前的指令以二进制的方式覆盖到aof,后面写入的继续追求到文件后面。(混合模式默认是开启,也可以关闭)

aof-use-rdb-preamble yes //是否开启RDB与AOF混合模式

什么时候重写

配置文件redis.conf

# 重写触发机制
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb 
//最开始aof文件必须要达到这个文件大小时才触发,后面的每次重写就不会根据这个变量了

说明一下上述配置的意义:

在 aof 文件小于64mb的时候不进行重写,当到达64mb的时候,就重写一次。
重写后的 aof文件可能是20mb。上面配置了auto-aof-rewrite-percentag为100,
即 aof文件到了40mb的时候,又开始重写一次。以此类推。

我们知道了AOF的实现原理,我们来分析下它的优缺点。

一、优点
能最大限度的保证数据安全,就算用默认的配置everysec,也最多只会造
成1s的数据丢失。
二、缺点
数据量比RDB要大很多,所以性能没有RDB好,没有一个性能保证!
那我们平时开发中应该使用哪种持久化呢?
如果可以忍受一小段时间内数据的丢失,毫无疑问使用 RDB 是最好的,定
时生成RDB快照(snapshot)非常便于进行数据库备份, 并且 RDB 恢复
数据集的速度也要比AOF恢复的速度要快。

在这里插入图片描述

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读1.3k次。在 Redis 中,键(Keys)是非常重要的概念,它们代表了存储在数据库中的数据的标识符。对键的有效管理和操作是使用 Redis 数据库的关键一环,它直接影响到数据的存取效率、系统的稳定性和开发的便利性。本文将深入探讨 Redis 中键的管理和操作,包括键的命名规范、常用的键操作命令以及一些最佳实践。我们将详细介绍如何合理命名键、如何使用键的过期和持久化特性、如何批量删除键等技巧,旨在帮助读者更好地理解并灵活运用 Redis 中的键,从而提高数据管理和操作的效率和可靠性。
文章浏览阅读3.3k次,点赞44次,收藏88次。本篇是对单节点的应用,但从中我们也能推断出一些关于集群的应用,不过大多数公司能搞个主从就已经是不错了,所以你能学会这个已经算是很有用了,关于ES,博主前面也讲过一些基础应用,创建一个工具类利用ES的数据模型进行存储就可以达到一个canal同时对Redis和ES的同步,如果担心出问题,可以把Canal搞成集群的形式,这个后续有时间博主再给大家做讲解。今天就到这里了,觉得不错就支持一下吧。_canal redis
文章浏览阅读8.4k次,点赞8次,收藏18次。Spring Boot 整合Redis实现消息队列,RedisMessageListenerContainer的使用,Pub/Sub模式的优缺点_springboot redis 消息队列
文章浏览阅读978次,点赞25次,收藏21次。在Centos上安装Redis5.0保姆级教程!_centos7 安装redis5.0服务器
文章浏览阅读1.2k次,点赞21次,收藏22次。Docker-Compose部署Redis(v7.2)主从模式首先需要有一个redis主从集群,才能接着做redis哨兵模式。_warning: sentinel was not able to save the new configuration on disk!!!: dev
文章浏览阅读2.2k次,点赞59次,收藏38次。合理的JedisPool资源池参数设置能为业务使用Redis保驾护航,本文将对JedisPool的使用、资源池的参数进行详细说明,最后给出“最合理”配置。_jedispool资源池优化
文章浏览阅读1.9k次。批量删除指定前缀的Key有两中方法,一种是借助 redis-cli,另一种是通过 SCAN命令来遍历所有匹配前缀的 key,并使用 DEL命令逐个删除它们。_redis删除前缀的key
文章浏览阅读890次,点赞18次,收藏20次。1. Redis时一个key-cakye的数据库,key一般是String类型,不过value类型有很多。eg.String Hash List Set SortedSet (基本) | GEO BitMap HyperLog (特殊)2.Redis为了方便学习,将操作不同类型的命令做了分组,在官网可以进行查询。
文章浏览阅读1.1k次,点赞19次,收藏26次。若不使用Redisson,而是用synchronized(this),此时会造成对服务器的加锁,若开始大量查询ID为1的商品,每台机器都会先跑一遍加个锁,然后在查询ID为2的数据,此时需要等待ID为1的锁释放,所以需要将this对象调整为全局商品ID。若在执行bgsave命令时,还有其他redis命令被执行(主线程数据修改),此时会对数据做个副本,然后bgsave命令执行这个副本数据写入rdb文件,此时主线程还可以继续修改数据。在当前redis目录下会生成aof文件,对redis修改数据的命令进行备份。
文章浏览阅读1.5k次,点赞39次,收藏24次。本文全面剖析Redis集群在分布式环境下的数据一致性问题,从基础原理到高级特性,涵盖主从复制、哨兵模式、持久化策略等关键点,同时也分享了关于监控、故障模拟与自适应写一致性策略的实践经验。_redis集群一致性
文章浏览阅读1k次。RDB因为是二进制文件,在保存的时候体积也是比较小的,它恢复的比较快,但是它有可能会丢数据,我们通常在项目中也会使用AOF来恢复数据,虽然AOF恢复的速度慢一些,但是它丢数据的风险要小很多,在AOF文件中可以设置刷盘策略,我们当时设置的就是每秒批量写入一次命令。AOF的含义是追加文件,当redis操作写命令的时候,都会存储这个文件中,当redis实例宕机恢复数据的时候,会从这个文件中再次执行一遍命令来恢复数据。:在Redis中提供了两种数据持久化的方式:1、RDB 2、AOF。
文章浏览阅读1k次,点赞24次,收藏21次。NoSQL(No only SQL)数据库,泛指非关系型数据库,实现对于传统数据库而言的。NoSQL 不依赖业务逻辑方式进行存储,而以简单的 key-value 模式存储。因此大大增加了数据库的扩展能力。不遵循SQL标准不支持ACID远超于SQL的性能Redis是当前比较热门的NOSQL系统之一,它是一个开源的使用ANSI c语言编写的key-value存储系统(区别于MySQL的二维表格的形式存储。
文章浏览阅读988次,点赞17次,收藏19次。在上面的步骤中,我们已经开启了 MySQL 的远程访问功能,但是,如果使用 MySQL 管理工具 navicat 连接 MySQL 服务端时,还是可能会出现连接失败的情况。在实际工作中,如果我们需要从其他地方访问和管理 MySQL 数据库,就需要开启 MySQL 的远程访问功能并设置相应的权限。这对于我们的工作效率和数据安全都有很大的帮助。通过查看 MySQL 用户表,我们可以看到’host’为’%’,说明 root 用户登录 MySQL 的时候,可以允许任意的 IP 地址访问 MySQL 服务端。
文章浏览阅读956次。Redis Desktop Manager(RDM)是一款用于管理和操作Redis数据库的图形化界面工具。提供了简单易用的界面,使用户能够方便地执行各种Redis数据库操作,并且支持多个Redis服务器的连接_redisdesktopmanager安装包
文章浏览阅读1.9k次,点赞52次,收藏27次。缓存击穿指的是数据库有数据,缓存本应该也有数据,但是缓存过期了,Redis 这层流量防护屏障被击穿了,请求直奔数据库。缓存穿透指的是数据库本就没有这个数据,请求直奔数据库,缓存系统形同虚设。缓存雪崩指的是大量的热点数据无法在 Redis 缓存中处理(大面积热点数据缓存失效、Redis 宕机),流量全部打到数据库,导致数据库极大压力。
文章浏览阅读1.2k次。一次命令时间(borrow|return resource + Jedis执行命令(含网络) )的平均耗时约为1ms,一个连接的QPS大约是1000,业务期望的QPS是50000,那么理论上需要的资源池大小是50000 / 1000 = 50个,实际maxTotal可以根据理论值合理进行微调。JedisPool默认的maxTotal=8,下面的代码从JedisPool中借了8次Jedis,但是没有归还,当第9次(jedisPool.getResource().ping())3、发生异常可能的情况。_redis.clients.jedis.exceptions.jedisconnectionexception: could not get a res
文章浏览阅读1k次,点赞27次,收藏18次。在这篇文章中,你将了解到如何在 CentOS 系统上安装 Redis 服务,并且掌握通过自定义域名来访问 Redis 服务的技巧。通过使用自定义域名,你可以方便地管理和访问你的 Redis 数据库,提高工作效率。无论你是开发者、系统管理员还是对 Redis 感兴趣的读者,这篇文章都会为你提供清晰的指导和实用的技巧。阅读本文,轻松搭建自己的 Redis 服务,并体验自定义域名带来的便捷!_redis怎么自定义域名
文章浏览阅读1.1k次,点赞15次,收藏18次。我们post请求,拦截器要预先读取HtppServletRequest里面的body的数据,是通过io的方式,都知道io读取完毕之后,之前的数据是变为null的,但是,当我么后面的接口来委派的时候,也是通过io读取body。我们要考虑一个事情,就是我们要验证数据的重复提交: 首先第一次提交的数据肯定是要被存储的,当而第二次往后,每次提交数据都会与之前的数据产生比对从而验证数据重复提交,我们要具体判断数据是否重复提交的子类。发现数据是成功存入的,剩余7s过期,在10s之内,也就是数据没过期之前,在发送一次。_json.parseobject(str, clazz, auto_type_filter);
文章浏览阅读3.9k次,点赞3次,收藏7次。PHP使用Redis实战实录系列:我们首先检查$redis->connect()方法的返回值来确定是否成功连接到Redis服务器。如果连接失败,我们可以输出相应的错误信息。如果连接成功,我们再执行一些操作,如$redis->set()、$redis->get()等,并检查每个操作的返回结果来判断是否发生了异常。_php redis
文章浏览阅读1.5w次,点赞23次,收藏51次。Redis(Remote Dictionary Server ),即远程字典服务,是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。Redis 是一个高性能的key-value数据库。redis的出现,很大程度补偿了memcached这类key/value存储的不足,在部 分场合可以对关系数据库起到很好的补充作用。_redisdesktopmanager下载