一张思维导图学会如何构建高性能MySQL系统！

分类：服务器运维作者：编程之家用户

《一张思维导图学会如何构建高性能MySQL系统！》要点：
本文介绍了一张思维导图学会如何构建高性能MySQL系统！，希望对您有用。如果有疑问，可以联系我们。

作者介绍

杨奇龙,前阿里数据库团队资深DBA,主要负责淘宝业务线,经历多次双十一,有海量业务访问DB架构设计经验.目前就职于有赞科技,负责数据库运维工作,熟悉MySQL性能优化,故障诊断,性能压测

一、简介

最近在压测新的存储,正好把工作过程中积累的对高性能MySQL相关的知识体系构建起来,做成思维导图的方式.总结乃一家之言,有不妥之处,望给位读者朋友指正.

二、思维导图

构建高性能MySQL系统涵盖从单机、硬件、OS、文件系统、内存到MySQL 本身的配置,以及schema 设计、索引设计,再到数据库架构上的水平和垂直拓展.

MySQL

三、内容展示

硬件

(1)CPU

  • CPU亲和性：

确保每个io都被其发起的CPU处理

echo 2 > /sys/block/<block device>/queue/rq_affinity

  • 选择最大性能模式,避免节能模式导致性能不足
  • 关闭NUMA,降低swap概率

numactl –interleave=all

(2)RAID卡

  • 选择FORCE WB读写策略
  • 选择合适的充放电策略
  • 高IO,推荐RAID10
  • 空间需求大则RAID5

操作系统

(1)IO调度策略

SSD/PCIE SSD推荐noop,其它推荐deadline

echo noop > /sys/block/<block device>/queue/scheduler

(2)禁用块设备轮转模式

echo 0 > /sys/block/<block device>/queue/rotational

(3)内存

  • vm.swappiness=0
  • 内存最大性能模式

文件系统

确保4K对⻬,如果使用全盘一个分区,例如mkfs.ext4 /dev/dfa也可以使用xfs 构建文件系统.

禁止atime、diratime

mount -o noatime -o nodiratime

开启trim

mount -o discard

关闭barrier

mount -o barrier=0

/dev/sdc1 /data ext4 defaults,noatime,nodiratime,nobarrier 0 0

MySQL

(1)配置优化

IO相关参数

  • innodb_flush_method = O_DIRECT
  • innodb_read_io_threads = 16
  • innodb_write_io_threads = 16
  • innodb_io_capacity = 3000(PCIE卡建议更高)
  • innodb_flush_neighbors=0InnoDB存储引擎在刷新一个脏页时,会检测该页所在区(extent)的所有页,如果是脏页,那么一起刷新.这样做的好处是通过AIO可以将多个IO写操作合并为一个IO操作.对于传统机械硬盘建议使用,而对于固态硬盘可以关闭
  • innodb_flush_log_at_trx_commitredo 的刷盘策略
  • sync_binlogbinlog 的刷盘策略
  • innodb_log_buffer_size建议8-16M,有高TPS(比如大于6k)的可以提高到32M,系统tps越高设置可以设置的越大

推荐文章 www.cnblogs.com/conanwang/p/5849437.html

内存分配

  • 策略：

jemalloc是BSD的提供的内存分配管理

tcmalloc是google的内存分配管理模块

ptmalloc是glibc的内存分配管理

malloc-lib= /usr/lib64/libjemalloc.so.1

  • 系统资源：

malloc-lib= /usr/lib64/libjemalloc.so.1

back_log：大于max_connections

thread_stack=192

  • 并发控制：

使用thread_pool

thread_cache_size

(2)schema优化

索引优化

目标：利用最小的索引成本找到最需要的行记录.

原则：

  • 最左前缀原则：MySQL会一直向右匹配直到遇到范围查询(>、<、between、like)就停止匹配,比如a=1 and b=2 and c>3 and d=4 如果建立(a,b,c,d)顺序的索引,d是用不到索引的,如果建立(a,d,c)的索引则都可以用到,a,d的顺序可以任意调整
  • 避免重复索引：idx_abc多列索引,相当于创建了(a)单列索引,(a,b)组合索引以及(a,c)组合索引.不在索引列使用函数 如 max(id)> 10,id+1>3 等
  • 尽量选择区分度高的列作为前缀索引：区分度的公式是count(distinct col)/count(*),表示字段不重复的比例,比例越大我们扫描的记录数越少

推荐文章：

  • MySQL索引原理及慢查询优化http://tech.meituan.com/mysql-index.html
  • MySQL索引实践http://blog.coderland.net/mysql/2015/08/26/MySQL%E7%B4%A2%E5%BC%95%E5%AE%9E%E8%B7%B5/
  • 由浅入深探究 MySQL索引结构原理、性能分析与优化http://blog.jobbole.com/87107/

SQL开发优化

  • 不使用存储过程、触发器,自定义函数
  • 不使用全文索引
  • 不使用分区表
  • 针对OTLP业务尽量避免使用多表join和子查询
  • 不使用*,SELECT使用具体的列名：在发生列的增/删时,发生列名修改时,最大限度避免程序逻辑中没有修改导致的BUG,IN的元素个数300-500
  • 避免使用大事务,使用短小的事务：减少锁等待和竞争
  • 禁止使用%前缀模糊查询 where like ‘%xxx’
  • 禁止使用子查询,遇到使用子查询的情况,尽量使用join代替
  • 遇到分页查询,使用延迟关联解决：分页如果有大offset,可以先取Id,然后用主键id关联表会提高效率
  • 禁止并发执行count(*),并发导致CPU飙高
  • 禁止使⽤order by rand()
  • 不使用负向查询,如 not in/like,使用in反向代替
  • 不要一次更新大量(大于30000条)数据,批量更新/删除
  • SQL中使用到OR的改写为用 IN() (or的效率没有in的效率高)

数据库架构

  • 单实例无法解决空间和性能需求时考虑拆分
  • 垂直拆分
  • 水平拆分
  • 引入缓存系统

四、说明

  1. IO相关的优化可能还不完整,以后会逐步完善.
  2. 关于数据库系统水平和垂直拆分是一个比较大的命题,这里略过,每个公司的业务规模不一样,选取的拆分策略也有所不同.

文章来自微信公众号：DBAplus社群

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

CentOS_Server with GUI入门
起步 处理器架构，参考 x86是指intel的开发的一种32位指令集 intel和amd早期的cpu都支持这种指令集 AMD比Intel率先制造出了商用的兼容x86的CPU，AMD称之为AMD64 Intel选择了设计一种不兼容x86的全新64为指令集，称之为IA-64，后来支持AMD64的指令集，
常用命令总结
pscp pscp -P 22 C:\work\test.txt root@192.168.1.5:/home/data pscp -P 22 root@192.168.1.5:/home/data/test.txt C://work// 检索 find / -name default.config
Linux常用命令
文件处理 ls -a # 显示所有文件 ls -l # 显示详细信息 ls -d # 显示路径 mkdir /目录名称 # 创建目录 cd /目录名称 # 切换目录 pwd # 显示当前路径 rmdir /目录名称 # 删除目录 cp -rp [目录名称] [目标目录] # 复制目录到目标目录 cp
真实机中安装CentOS8(二)
准备一台电脑（我就用联想拯救者r7000演示） 参考博客制作启动盘 插上U盘，启动电脑，一直按F2 进入如下页面后，将U盘设置为第一启动项，点击exit，保存并退出 之后进入如下页面，选择第三项 进入如下页面，选择第四项 进入如下页面，选择第一项，选中后，先不要点Enter 按e键，将inst.st
Linux分区
认识 Linux系统是参考了UNIX系统作为模板开发的，但没有使用UNIX的代码；是UNIX的一种，但不是衍生版 在Linux内核的基础上开发是发行版 分区 逻辑分区永远从5开始 步骤 挂载：可理解为分配盘符，挂载点即是盘符名；不同之处：Linux中是以空目录名称作为盘符 Hda 第一块硬盘 Hda
常用命令：复制、剪切、分页、软链接
文件处理命令 以 . 开头的文件是隐藏文件 以 - 开头表示这是一个文件 以 d 开头表示是一个目录 以 l 开头表示是一个软链接 第一个root是所有者，第二个root是所属组 ls -h 以文件默认大小后缀 显示 ls -i 查看i节点（唯一标识） 所有者：只能有一个，可变更 所属组：只能有一个
VirtualBox中复制多个服务器并配置不同的ip
参考 01 02 03 前提环境 本地安装VirtualBox，并安装CentOS8，配置网络后，window系统上putty能连接到CentOS8服务器 配置步骤 右键服务器复制 启动复制后的服务器，查看ip和hostname发现和原来的服务器一样，需要修改 hostname # 查看主机名 vi
常用命令：文件检索
文件搜索命令 星号匹配任意字符，问号匹配任意单个字符 -iname 根据文件名查找且不区分大小写 -ok 命名会有一个询问的步骤 如果没有找到指定文件，可输入命令：updatedb 更新文件资料库；除tmp目录不在文件资料库收录范围之内 locate -i 文件名 # 检索时不区分大小写 which
虚拟机VirtualBox安装CentOS7，并配置网络
安装环境 安装最新版的Virtual Box，点击安装 下载centos8镜像 创建虚拟机，可参考 选择下载到本地的镜像 设置启动顺序 点击启动 启动过程中报错：“FATAL：No bootable medium found!” 1.没有选择iso镜像 2.光驱没有排在第一位置 3.镜像只能选择x8
Linux学习技巧
Linux严格区分大小写 所有内容文件形式保存，包括硬件 Linux不靠扩展名区分文件类型 挂载：将设备文件名和挂载点（盘符）连接的过程 Linux各个目录的作用 bin表示二进制 服务器注意事项 远程服务器不允许关机，只能重启 重启时应该关闭服务 不要在服务器访问高峰运行高负载命令 远程配置防火墙
IDE使用技巧（一）：连接CentOS
IDE连接Linux，上传下载文件 参考1 参考2 连接Linux 上传下载文件 本地项目打包后上传 查看是否上传成功，右键下载 补充 后端项目开发完成后，需clean掉临时文件target文件夹，且只推送修改过的文件 前端项目开发的过程中，需要在每个子组件中使用scoped，确保每个子组件中的编码
ubuntu入门
起步 LTS与普通版本的区别 LTS版本的发布周期更长，更加稳定 安装jdk sudo mkdir /usr/lib/jvm # 在Ubuntu中创建目录 pscp D:\安装包\linux源码包\jdk-8u291-linux-x64.tar.gz chnq@192.168.0.102:/tmp
真实机中安装CentOS7(一)
前言 最近在b站上看了兄弟连老师的Linux教程，非常适合入门：https://www.bilibili.com/video/BV1mW411i7Qf 看完后就自己来试着玩下，正好手上有台空闲的电脑就尝试不使用虚拟机的方式安装Linux系统 安装步骤 制作启动盘 下载ISO镜像，我这里下载的是Cen
Oracle VM VirtualBox创建CentOS7
新建虚拟电脑 设置内存和处理器 设置硬盘大小 完成 设置 查看光驱 设置启动顺序 点击启动 选择第1项 进入图形安装界面 选择安装位置，开始安装 设置root密码 重启 登录 查看本地文件夹 配置网络，点击设置 查看宿主机ip C:\Users\ychen λ ipconfig 无线局域网适配器 W
软件包管理：rpm命令管理
源码包安装需手动下载后安装 二进制包则在package目录下 rpm命令管理rpm包 若某个rpm包依赖于某个模块，需要到网站www.rpmfind.net查询该模块依赖的包，安装这个包后自动安装模块，之后就能安装rpm包了 安装升级时使用包全名 查询卸载时使用包名 虚拟机中的Linux系统安装rp
文本编辑器
首先进入命令模式，再输入以下命令 命令模式用于输入命令 插入模式可对文件编写操作 编辑模式下的命令是在冒号后输入 :12, 15d # 删除指定范围的行，这里是删除12到15行 :n1,n2s/old/new/g ## 表示从n1行到n2行，old表示旧的字符串 vim使用小技巧：自定义快捷键，如快
软件包管理：源码包安装
使用源码包安装，需要自己指定安装位置，通常是 /usr/local/软件名/ linux中要想启动执行文件，应使用绝对路径 /绝对路径/rpm包名 start ## 执行方式一 service rpm包名 start ## 执行方式二 使用源码包安装后，由于自定义安装路径，就不能使用service命
网络命令、关机重启命令
网络命令 在收邮件的用户中，输入 mail 可查看邮件信息，输入序列号查看详细信息 在mail命令下，输入h 查看所有邮件的列表 输入：d 序列号 # 删除邮件 last # 统计所有用户登录或重启时间，用于日志查询 lastlog # 显示包括未登录用户的登录时间 lastlog -u 用户id
软件包管理：yum在线管理
若要使用yum管理，必须能连接网络，首先配置网络IP 进入yum源文件中启动容器 使用yum源头安装rpm包不需要进入package路径，同时也不需要使用包全名，会有yum自动管理 安装软件组
docker入门
简介 client即是本机安装的docker，相当于git Docker_host相当于centos系统 registry则是docker仓库，相当于GitHub 镜像用于创建docker容器，一个镜像可以创建多个docker容器 容器是由镜像创建的运行实例，（镜像相当于类，容器相当于类创建的对象）
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot