Mysql初探:三大日志概述

此文为极客时间:MySQL实战45讲的 2、15节日志相关部分和网上一些相关文章的内容的总结

一、redo log

1.概述

redo log又叫重做日志,提供的是数据丢失后的前滚操作。

redo log是innodb引擎独有的日志,使用了 WAL 技术(Write-Ahead Logging),也就是预写日志。它的关键点就是先写日志,再写磁盘。对应到Mysql中具体操作,就是每次更新操作,先写日志,然后更新内存数据,最后等系统压力小的时候再进行IO更新磁盘数据。避免了每一次更新都需要进行IO操作。redo log 是保证了事务持久性的关键

redo log 一般用在数据库恢复的情况:

  1. 如果是正常运行的实例的话,数据页被修改以后,跟磁盘的数据页不一致,称为脏页。最终数据落盘,就是把内存中的数据页写盘。这个过程,甚至与 redo log 毫无关系
  2. 在崩溃恢复场景中,InnoDB 如果判断到一个数据页可能在崩溃恢复的时候丢失了更新,就会将它读到内存,然后让 redo log 更新内存内容。更新完成后,内存页变成脏页,就回到了第一种情况的状态。

另外,redo log与undo log都被叫做事务日志

2.组成

首先 redo log 包括两部分:

  • 内存中的日志缓冲(redo log buffer),该部分日志是易失性,的其中又分为三部分:
    1. Buffer Pool
    2. Log Buffer
    3. OS Buffer
  • 二是磁盘上的重做日志文件(redo log file),该部分日志是持久的;

由于有时候一次事务可能有多次更新,比如:

begin;
insert into t1 ...
insert into t2 ...
commit;

这个事务要往两个表中插入记录,插入数据的过程中,生成的日志都得先保存起来,但又不能在还没 commit 的时候就直接写到 redo log 文件里。所以就有了 log buffer 这么一块内存,用来先存 redo 日志的。记录了一部分后,根据一定的条件,再最后写入磁盘上的日志文件 log file。

3.日志刷盘策略

由于log buffer处于用户工作空间的内存中,要写入磁盘上的日志文件log file还需要经过操作系统内核空间的os buffer。因此需要调用操作系统的fsync()来完成这一过程。

我们可以简单的理解为os buffer到log files这一过程——也就是日志从内存刷入磁盘的过程——为刷盘。每次事务的提交必然会产生log buffer,但是刷入磁盘的动作却不一定与事务提交同步进行。

InnoDB 有个关键的参数 innodb_flush_log_at_trx_commit 控制 Redo Log 的刷盘策略,该参数有三个取值:

  • 0:每秒刷一次盘。当设置为0的时候,事务提交时不会将 log buffer 中日志写入到 os buffer ,而是每一秒后才一次性将日志写入 os buffer 并调用 fsync() 写入到 log file 中。当系统崩溃,可能会丢失1秒钟的数据。
  • 1:每次提交都刷盘。事务每次提交都会将 log buffer 中的日志写入 os buffer 并调用 fsync() 刷到 log file 中。这种方式即使系统崩溃也不会丢失任何数据,但是因为每次提交都写入磁盘,IO的性能较差。
  • 2:根据innodb_flush_log_at_timeout决定什么时候刷盘。当设置为2的时候,每次提交都仅写入到os buffer,然后是每秒调用fsync()将os buffer中的日志写入到 log file。

4.写入策略

redo log是一个物理日志,我们知道数据库引擎加载是按“页”来的,redo log记录的就是每个“页”上的数据发生的变化。但是不像 binlog 那样,redo log 不记录 sql,而是以类似 session_id + date + file_id + block_id + 修改数据这样的格式去记录数据。

image-20200930111506778

redo log的日志文件大小是根据配置固定的,如果有一组有四个文件,每个文件的大小是 1GB,那么总共就只能记录4GB的日志。

因为redo log是前滚日志,也就是说一旦事务成功提交且数据持久化落盘之后,此时日志中的对应事务数据记录就失去了意义。所以redo log类似一个环形链表,从前往后写,到底了就删除最前面的再回到开头往后写

有了 redo log,InnoDB 就可以保证即使数据库发生异常重启,之前提交的并且在日志中有记录都数据可以找回,这个能力称为crash-safe。

二、undo log

undo log又叫回滚日志。事务未提交之前,undo log保存了未提交之前的版本数据,可作为数据旧版本快照供其他并发事务进行快照读。

因此,他能够提供两个功能:

  • 回滚:当执行rollback时,就可以从undo log中的逻辑记录读取到相应的内容并进行回滚。

    简单的说:如果我们执行了insert操作,那么日志中就会新增一条相反的delete的sql;

  • 多行版本控制(MVCC):当读取的某一行被其他事务锁定时,它可以从undo log中分析出该行记录以前的数据是什么,从而提供该行版本信息,让用户实现非锁定一致性读取。

undo log保证了事务的原子性。

三、binlog

binlog 又叫二进制日志。是 Server 层特有的日志,无论哪个引擎都能使用。

它被用于记录 mysql 的数据更新(即使更新零条或者删除零条也会记录)。

binlog有三种工作模式:

  • Row :日志中会记录每一行数据被修改的情况,然后在slave端对相同的数据进行修改。
  • Statement:每一条被修改数据的sql都会记录到 master 的 binlog 中,slave 在复制的时候sql进程会解析成和原来 master 端执行过的相同的sql再次执行。
  • Mixed:结合了 Row 和 Statement 的优点,同时 binlog 结构也更复杂。

四、redo log 和 binlog

  • binlog 是 mysql 自带的,redo log 是 innodb 引擎自带的
  • binlog 记录的是每一行数据的变化或修改数据的 sql,redo log 记录的是数据页的变化
  • binlog 能够实现归档功能,通过 binlog 可以实现备份,redo log 是循环写的,历史日志不会一直保留
  • mysql 高可用基于 binlog,像主从等系统机制都依赖于 binlog

五、两阶段提交

1.概述

image-20201011182232866

当innodb执行修改时,会经历一个两阶段提交的过程:

  • 执行器根据sql写入新数据,然后新数据更新到内存里
  • 将这个更新操作记录到 redo log 里面,此时 redo log 处于 prepare 状态。然后告知执行器执行完成了,随时可以提交事务。
  • 执行器生成这个操作的 binlog,并把 binlog 写入磁盘
  • 执行器调用引擎的提交事务接口,引擎把刚刚写入的 redo log 改成提交(commit)状态,更新完成

那么如果事务提交过程中出现了异常,数据库崩溃了,就会有以下几种情况:

  • 写 binlog 前崩溃了:对于时刻A,redo log 还是 prepare,binlog 没写,此时崩溃后事务回滚。

  • 写 binlog 后崩溃了:对于时刻B,redo log 还是 prepare,binlog 已经写了,此时发生崩溃后情况如下:

    1. 如果redo log 已经标记为 commit,则提交事务,重做

    2. 如果redo log 还是 prepare,则去检查 binlog 记录的对应事务是否存在:

      如果存在,就提交事务,重做

      如果不存在,就回滚

2.为什么需要两阶段提交

我们举个反例,说明一下他的必要性。假设我们要更新某条数据的A字段由0变为2:

  • 先 redo log 再 binlog,服务挂了:由于 redo log 还在,可以通过 redo log 恢复数据,A此时是2。但是如果后面要通过binlog恢复数据时,由于binlog中没有这次修改的记录,恢复后的数据库/备份库就会变为0,丢失了这次更新
  • 先 binlog 再 redo log,服务挂了:由于 redo log 没记录这次更新,所以恢复后这次事务无效,A此时是0。但是 binlog 已经有了“A从0变成2这个记录”,所以恢复以后等于多了一次事务

之所以这样做,归根结底是为了保证数据库事务的一致性

因为不管是从库或者备份库都需要通过读取 binlog 来同步数据,所以为了保证保证和主库数据一致,binlog 里记录的每一条事务就必须是已经提交了的,也就是一定要保证往 binlog 里写入数据以后事务不能回滚

总结

  • redo log保证更新不丢失,支持的是事务的持久性
  • undo log保证事务不成功可以回滚,支持的是事务的原子性
  • redo log和binlog的二次提交机制,为事务的一致性提供了一定的保证

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


navicat查看某个表的所有字段的详细信息 navicat设计表只能一次查看一个字段的备注信息,那怎么才能做到一次性查询表的信息呢?SELECT COLUMN_NAME,COLUMN_COMMENT,COLUMN_TYPE,COLUMN_KEY FROM information_schema.CO
文章浏览阅读4.3k次。转载请把头部出处链接和尾部二维码一起转载,本文出自逆流的鱼yuiop:http://blog.csdn.net/hejjunlin/article/details/52768613前言:数据库每天的数据不断增多,自动删除机制总体风险太大,想保留更多历史性的数据供查询,于是从小的hbase换到大的hbase上,势在必行。今天记录下这次数据仓库迁移。看下Agenda:彻底卸载MySQL安装MySQL_linux服务器进行数据迁移
文章浏览阅读488次。恢复步骤概要备份frm、ibd文件如果mysql版本发生变化,安装回原本的mysql版本创建和原本库名一致新库,字符集都要保持一样通过frm获取到原先的表结构,通过的得到的表结构创建一个和原先结构一样的空表。使用“ALTER TABLE DISCARD TABLESPACE;”命令卸载掉表空间将原先的ibd拷贝到mysql的仓库下添加用户权限 “chown . .ibd”,如果是操作和mysql的使用权限一致可以跳过通过“ALTER TABLE IMPORT TABLESPACE;”命令恢_alter table discard tablespace
文章浏览阅读225次。当MySQL单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化:单表优化除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分,拆分会带来逻辑、部署、运维的各种复杂度,一般以整型值为主的表在千万级以下,字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间,甚至能正常支撑千万级以上的数据量:字段尽量使用TINYINT、SMALLINT、MEDIUM_INT作为整数类型而非INT,如果非负则加上UNSIGNEDVARCHAR的长度只分配_开发项目 浏览记录表 过大怎么办
文章浏览阅读1.5k次。Mysql创建、删除用户MySql中添加用户,新建数据库,用户授权,删除用户,修改密码(注意每行后边都跟个;表示一个命令语句结束):1.新建用户登录MYSQL:@>mysql -u root -p@>密码创建用户:mysql> insert into mysql.user(Host,User,Password) values("localhost_删除mysql用户组
MySQL是一种开源的关系型数据库管理系统,被广泛应用于各类应用程序的开发中。对于MySQL中的字段,我们需要进行数据类型以及默认值的设置,这对于数据的存储和使用至关重要。其中,有一个非常重要的概念就是MySQL字段默认字符串。 CREATE TABLE `my_...
MySQL是一个流行的开源关系型数据库管理系统,广泛应用于Web应用程序开发、数据存储和管理。在使用MySQL时,正确设置字符集非常重要,以确保数据的正确性和可靠性。 在MySQL中,字符集表示为一系列字符和字母的集合。MySQL支持多种字符集,包括ASCII、UTF...
MySQL存储函数 n以内偶数 MySQL存储函数能够帮助用户简化操作,提高效率,常常被用于计算和处理数据。下面我们就来了解一下如何使用MySQL存储函数计算n以内的偶数。 定义存储函数 首先,我们需要定义一个MySQL存储函数,以计算n以内的偶数。下...
MySQL是一个流行的关系型数据库管理系统,基于客户机-服务器模式,可在各种操作系统上运行。 MySQL支持多种字符集,不同的字符集包括不同的字符,如字母、数字、符号等,并提供不同的排序规则,以满足不同语言环境的需求。 //查看MySQL支持的字符集与校对规...
在MySQL数据库中,我们有时需要对特定的字符串进行截取并进行分组统计。这种操作对于数据分析和报表制作有着重要的应用。下面我们将讲解一些基本的字符串截取和分组统计的方法。 首先,我们可以使用substring函数对字段中的字符串进行截取。假设我们有一张表stude...
MySQL提供了多种字符串的查找函数。下面我们就一一介绍。 1. LIKE函数 SELECT * FROM mytable WHERE mycolumn LIKE 'apple%'; 其中"apple%"表示以apple开头的字符串,%表示任意多个字符...
MySQL 是一种关系型数据库管理系统,广泛应用于各种不同规模和类型的应用程序中。在 MySQL 中,处理字符串数据是很常见的任务。有时候,我们需要在字符串的开头添加一定数量的 0 ,以达到一定的位数。比如,我们可能需要将一个数字转换为 4 位或 5 位的字符串,不足的...
MySQL是一种流行的关系型数据库管理系统,支持多种数据类型。以下是MySQL所支持的数据类型: 1. 数值型数据类型: - TINYINT 保存-128到127范围内的整数 - SMALLINT 保存-32768到32767范围内的整数 - MEDIU...
MySQL中存储Emoji表情字段类型 在现代互联网生态中,表情符号已经成为人们展示情感和思想的重要方式之一,因此将表情符号存储到数据库中是一个经常出现的问题。MySQL作为最流行的开源关系型数据库管理系统之一,也需要能够存储和管理这些表情符号的字段类型。 UT...
MySQL是一种关系型数据库管理系统。在MySQL数据库中,有多种不同的数据类型。而其中,最常见的数据类型之一就是字符串类型。在MySQL中,字符串类型的数据通常会被存储为TEXT或VARCHAR类型。 首先,让我们来看一下VARCHAR类型。VARCHAR是My...
MySQL字符串取整知识详解 MySQL是一种开源的关系型数据库管理系统,广泛应用于各个领域。在使用MySQL过程当中,我们经常需要对数据进行取整操作。本文将介绍如何使用MySQL字符串取整来处理数据取整问题。 什么是MySQL字符串取整? MySQL...
使用MySQL进行数据存储是现代应用程序开发中一个非常重要的组成部分。在MySQL中,数据存储的一个重要特点就是字符长度无限制。在下文中,我们将会详细探讨MySQL字符长度无限制的特征和优势。 什么是MySQL字符长度无限制? MySQL字符长度无限制是指在...
在MySQL中,常常会涉及到字符串和数字之间的比较。然而它们有着不同的排序规则,因此需要注意对它们进行正确的比较。 首先我们来看一下数字比较。 SELECT 1 < 2; -- 返回 1 SELECT 2 > 1; -- 返回 1 SELEC...
MySQL是一种流行的关系型数据库管理系统,可以处理各种不同类型的数据。其中字符串是MySQL中最重要的数据类型之一,因为它可以存储各种不同的数据,例如邮件地址、文本信息、数字等等。在MySQL中,有时候我们需要将字符串按照某个符合进行分隔,例如将一条包含多个数字的字符...
在MySQL中,我们经常需要将字符串与变量拼接起来,以便满足数据操作的需求。可以使用CONCAT函数来进行字符串与变量的拼接,下面是一个使用CONCAT函数的例子: SELECT CONCAT('Hello', ' ', 'world'); 这个例子...