性能优化之数据库篇

编程之家收集整理的这篇文章主要介绍了性能优化之数据库篇编程之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

性能优化-数据库篇1

首先我们要谈论什么是性能

  • 吞吐和延迟
  • 没有量化就没有改进 :监控和度量指标可以指导我们从哪里入手
  • 80/20原则:先优化性能瓶颈的地方
  • 过早的优化是万恶之源:选择合适的优化时机
  • 脱离场景谈性能都是耍流氓:对性能的要求要符合实际

一般来说,DB/sql操作的消耗在一次处理中占比最大。DB/sql优化是业务系统的性能核心

关系数据库

什么是关系数据库

1970年Codd提出关系模型,以关系代数理论为数学基础。建立在关系数据库模型基础上的数据库,称为关系数据库

数据库设计范式

  1. 第一范式(1NF):所有属性都不可再分
  2. 第二范式(2NF): 在满足1NF的基础上,消除非主属性对码的部分函数依赖
  3. 第三范式(3NF):在满足2NF的基础上,消除非主属性对码的传递函数依赖。消除表中列不依赖主键,而是依赖表中非主键列的情况。

名词解释:

函数依赖:一张表中,属性X的值确定的情况下,必定能确定属性Y的值,那么就说Y函数依赖于X。写作X->Y

完全函数依赖
设X,Y是关系R的两个属性集合,X’是X的真子集,存在X→Y,但对每一个X’都有X’!→Y,则称Y完全函数依赖于X

部分函数依赖
设X,Y是关系R的两个属性集合,存在X→Y,若X’是X的真子集,存在X’→Y,则称Y部分函数依赖于X。

传递函数依赖:Z函数依赖于Y,且Y函数依赖于X,那么称Z传递函数依赖于X。

:设K为某表中的一个属性属性组,除K外的所有属性都完全函数依赖于K,那么称K为候选码,简称码。

非主属性:除去主属性的就是非主属性

举例说明:

下面表是否符合第二范式?

(学号、课名)可以作为码。

有 (学号,课名)->姓名,但是学号->姓名,存在非主属性“姓名”对码的部分函数依赖。

有 (学号,课名)->系名,但是学号->系名,存在非主属性“系名”对码的部分函数依赖。

所以不符合第二范式。

下面表是否符合第三范式?

属性是学号,有学号->系名,系名->系主任。所以系主任传递函数依赖于学号,所以不符合第三范式。

常见数据库

结构化查询语言包含6个部分:

  1. 数据查询语言(DQL),用于从表里获得数据
  2. 数据操作语言(DML),用于添加修改删除
  3. 事务控制语句(TCL),用于事务提交、保存点、回滚
  4. 数据控制语言(DCL):它的语句通过GRANT或REVOKE实现权限控制
  5. 数据定义语言(DDL):其语句包括动词CREATE、ALTER和DROP,创建表、修改表、删除表、加索引等。
  6. 指针控制语言(CCL):它的语句,像DECLARE CURSOR,FETCH INTO用于对一个或多个表单独行的操作。

MysqL数据库

MysqL数据库的版本

  • 4.0支持InnoDB,事务
  • 2003年,5.0
  • 5.6 历史使用最多的版本
  • 5.7 近期使用最多的版本
    • 多主
    • MGR高可用
    • 分区表
    • json
    • 修复XA
  • 8.0 较新和功能最完善的版本
    • 通用表达式
    • 持久化参数
    • 自增列持久化
    • 认编码utf8mb4
    • DDL原子性
    • JSON增加
    • 不再对group by进行隐式排序

MysqL简化的执行流程:

MysqL详细执行流程

MysqL执行引擎:

存储引擎 myisam innodb memory archive
存储限制 256TB 64TB
事务 - 支持 - -
索引 支持 支持 支持 -
锁的粒度 表锁 行锁 表锁 行锁
数据压缩 支持 - - 支持
外键 - 支持 - -

2.1 MysqL 索引原理

数据是按页分块的,当一个数据被用到时,其附近的数据也通常会马上被使用

MysqL索引结构:

MysqL innodb的索引结构是B+树。

B+树简单的说是一种平衡查找树,所有的记录节点都是按大小顺序存放在同一层的叶子节点上,由各叶子节点的指针开始连接。页之间是双向链表连接,页里面的数据是单向链表。

B+树索引又分为聚集索引和辅助索引

聚集索引:

按照每张表的主键构造一颗B+树,同时叶子节点存放的为整张表的行记录数据,也叫聚集索引的叶子节点称为数据页。由于实际的数据页只能按照一颗B+树进行排序,因此每个表只能拥有一个聚集索引。

很多文档说:聚集索引按照顺序物理的存储数据,其实不是,它的存储不是物理上连续的,而是逻辑上连续的。

非聚集索引

也叫辅助索引,叶子节点除了包含键值外,还包含找到与索引对应的行数据的指针。

如果需要在一颗高度为3的辅助索引中查找数据,需要遍历3次找到指定主键,如果聚集索引树高度也为3,那么还需要对聚集索引树进行3次查找,最终找到一个完整的行数据所在页。

为什么一般单表的数据不能超过2000万?

答:首先一个页16K。

  • 按一行数据1k,那么叶子节点一页存16条数据。
  • id占8字节,指针占6字节,一共14字节。非叶子节点一页存(16*1024/(8+6))1170个这样的单元。

可以算出2层的B+树放1170x16=18724条数据。如果3层的B+树1170x1170x16=21,902,400条数据。

所以如果超过这么多数据,那么B+树就会变为4层,那么查询就慢了。

2.2 参数配置优化

连接请求的变量

  1. max_connections: 最大连接数,一般配置个5k-10k
  2. back_log
  3. wait_timeout和interative_timeout

缓冲区变量
4. key_buffer_size
5. query_cache_size(查询缓存简称 QC)
6. max_connect_errors:
7. sort_buffer_size
8. max_allowed_packet=32M
9. join_buffer_size=2M
10. thread_cache_size=300

配置 Innodb 的几个变量
11. innodb_buffer_pool_size
12. innodb_flush_log_at_trx_commit
13. innodb_thread_concurrency=0
14. innodb_log_buffer_size
15. innodb_log_file_size=50M
16. innodb_log_files_in_group=3
17. read_buffer_size=1M
18. read_rnd_buffer_size=16M
19. bulk_insert_buffer_size=64M
20. binary log

总结

以上是编程之家为你收集整理的性能优化之数据库篇全部内容,希望文章能够帮你解决性能优化之数据库篇所遇到的程序开发问题。

如果觉得编程之家网站内容还不错,欢迎将编程之家网站推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
喜欢与人分享编程技术与工作经验,欢迎加入编程之家官方交流群!

猜你在找的Java相关文章

前言 日常开发中,难免会遇到需要查询到数据库所有记录的业务场景,在索引完善的情况下,当数据量达到百万级别或者以上的时候,全表查询就需要耗费不少的时间,这时候我们可以从以下几个方向着手优化 优化sql
【设计模式】汉堡中的设计模式——观察者模式 情景带入 对于爱吃麦当劳的我来说,自然是不想错过各种动态,可是我又不可能【无时无刻】的蹲在店里等新品吧(还是要搬砖的) 那么有没有一种好的方法,在麦当劳【推
一、前提知识: http协议规定一次请求对应一次响应,根据不同的请求方式,请求的内容会有所不同; 发送GET请求是没有请求体的,参数会直接拼接保留到url后一并发送; 而POST请求是带有请求体的,带
关于Java中的重载与重写,每一个java人肯定都学习过,这里就再梳理一遍,加深一下印象,忘记的时候拿出来看一看就好了 重载与重写的区别 重载发生在同一个类里面,同一个方法,拥有不同的参数列表,不同的
1、正常创建一个List,对List进行操作 List<Integer> collect = Stream.of(1 ,3 ,5 ,7 ,9).collect(Collectors.toL
我发现,自从我学了Stream流式操作之后,工作中使用到的频率还是挺高的,因为stream配合着lambda表达式或者双冒号(::)使用真的是优雅到了极致!今天就简单分(搬)享(运)一下我对strea
性能优化-数据库篇1 首先我们要谈论什么是性能? 吞吐和延迟 没有量化就没有改进 :监控和度量指标可以指导我们从哪里入手 80/20原则:先优化性能瓶颈的地方 过早的优化是万恶之源:选择合适的优化时机
一、从数据说起 我们再做缓存之前需要把数据先分好类 按变化频率: 静态数据:一般不变的,类似于字典表 准静态数据:变化频率很低,部门结构设置,全国行政区划数据 中间状态数据:一些计算的可复用中间数据,
微信公众号搜索 “ 程序精选 ” ,选择关注!
微信公众号搜 "程序精选"关注