INFORMATION_SCHEMA.INNODB_BUFFER_PAGE和INFORMATION_SCHEMA.TABLES

如何解决INFORMATION_SCHEMA.INNODB_BUFFER_PAGE和INFORMATION_SCHEMA.TABLES

我试图了解该表是否正在加载到InnoDB缓冲区中。为此，我要查询INFORMATION_SCHEMA.INNODB_BUFFER_PAGE表。从我看来，该表已满载。但是，装入缓冲区的数据量（MB）与INFORMATION_SCHEMA.TABLES中显示的数字有很大差异。

例如：

SELECT TABLE_NAME,TABLE_ROWS,CAST(DATA_LENGTH/POWER(1024,2) AS DECIMAL(5,0)) AS DATA_LENGTH_MB,CAST(DATA_FREE/POWER(1024,0)) AS DATA_FREE_MB
FROM INFORMATION_SCHEMA.TABLES 
    FROM INFORMATION_SCHEMA.TABLES 
    WHERE TABLE_SCHEMA = '<db_name>' 
        AND TABLE_NAME = '<table_name>';


| TABLE_NAME   | TABLE_ROWS | DATA_LENGTH_MB | DATA_FREE_MB |
|-----------------------------------------------------------|
| <table_name> | 39735968   | 10516          | 548          |

根据INFORMATION_SCHEMA.TABLES，数据页面中大约有3970万条记录和10.5 GB

但是，当我运行此程序时：

SELECT p.TABLE_NAME,p.INDEX_NAME,ROUND(SUM(DATA_SIZE)/POWER(1024,2)) AS DATA_SIZE_MB,SUM(NUMBER_RECORDS) AS NUMBER_RECORDS
FROM INFORMATION_SCHEMA.INNODB_BUFFER_PAGE AS p 
WHERE p.TABLE_NAME LIKE '`<db_name>`.`<table_name>`' AND p.INDEX_NAME = 'PRIMARY' 
    AND p.PAGE_TYPE = 'INDEX' AND p.PAGE_STATE = 'FILE_PAGE'
ORDER BY p.TABLE_NAME,p.INDEX_NAME

我得到：

| TABLE_NAME             | INDEX_NAME | DATA_SIZE_MB | NUMBER_RECORDS |
-----------------------------------------------------------------------
| <db_name>.<table_name> | PRIMARY    | 3505         | 45224835       |

最后

SELECT COUNT(1) FROM <db_name>.<table_name>;
44947428

NUMBER_RECORDS比INFORMATION_SCHEMA.TABLES中的TABLE_ROWS稍大。因此，我假设表已完全加载到内存中，并且TABLE_ROWS是近似值或不是最新的。但是，为什么INFORMATION_SCHEMA.INNODB_BUFFER_PAGE中的DATA_SIZE有如此大的差异（3.5 GB和10.5 GB）？我想念什么？ TABLES中的数据大小是否完全不正确？

如果重要的话，数据库正在Amazon RDS（Aurora MySQL 5.7）上运行。

谢谢。

P.S。 CREATE TABLE语句（列名被混淆，对不起：）

CREATE TABLE `table_name` (
    `recid` BINARY(32) NOT NULL,`col1` INT(11) UNSIGNED NOT NULL,`col2` TINYINT(1) UNSIGNED NOT NULL,`col3` VARCHAR(250) NULL DEFAULT NULL COLLATE 'utf8_general_ci',`col4` TINYINT(1) UNSIGNED NOT NULL,`col5` VARCHAR(250) NULL DEFAULT NULL COLLATE 'utf8_general_ci',`col6` TINYINT(1) UNSIGNED NOT NULL,`col7` TINYINT(1) UNSIGNED NOT NULL,`col8` VARCHAR(100) NULL DEFAULT NULL COLLATE 'utf8_general_ci',`col9` TINYINT(1) UNSIGNED NOT NULL,`col10` TINYINT(1) UNSIGNED NOT NULL,`col11` VARCHAR(100) NULL DEFAULT NULL COLLATE 'utf8_general_ci',`col12` TINYINT(1) UNSIGNED NOT NULL DEFAULT '0',`col13` TINYINT(1) UNSIGNED NOT NULL DEFAULT '1',`col14` INT(11) UNSIGNED NULL DEFAULT NULL,`col15` BINARY(32) NULL DEFAULT NULL,`col16` CHAR(2) NULL DEFAULT NULL COLLATE 'utf8_general_ci',`col17` TINYINT(1) NULL DEFAULT NULL,`col18` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8_general_ci',`col19` TINYINT(1) NULL DEFAULT NULL,`col20` TINYINT(1) NULL DEFAULT NULL,PRIMARY KEY (`recid`) USING BTREE,UNIQUE INDEX `col3` (`col3`) USING BTREE,INDEX `col5` (`col5`) USING BTREE,INDEX `col8` (`col8`) USING BTREE
)
COLLATE='utf8_general_ci'
ENGINE=InnoDB
;

解决方法

“信息架构INNODB_BUFFER_PAGE”表包含有关缓冲池中页面的信息。

记下最后四个单词。

这表明INNODB_BUFFER_PAGE的SUM可能比INFORMATION_SCHEMA.TABLES的SUM小。

（我不知道所有详细信息，但这是一些一般性声明。）

buffer_pool可能包含：

表的部分或全部叶节点。
表的部分或全部非叶子节点。
表的每个非主索引的叶子节点和非叶子节点的同上。
同上可获取更多表格。
TEXT和BLOB（和大VARCHAR）可能存储为记录外。这大大增加了磁盘空间占用。但是我不认为这种情况会在您的情况下发生。 但是，请参见下文。
buffer_pool的25％（可调）为“更改缓冲区”保留；这是一种用于更改二级索引的写缓存。
其他东西
百分之几的buffer_pool由于其他原因被保留或丢失。

将块按[大约]最近最少使用的顺序踢出buffer_pool。

我不知道，但我希望，如果该表的大小是buffer_pool的一半，则可能无法将其保留在该表中。

另一件事要注意...每个表的Data_free指标只是表中“开销”的许多类别之一。

预分配的块（可能反映在Data_free中）
未填充的块（也许没有数据或索引块已100％充满）
事务会导致额外的行副本-在撤消/重做空间或数据块中来来往往。
块拆分
等

INT

好主意

ROW_FORMAT是什么？

您的3.5GB计算可能是记录上的空间，而VARCHARs的 all 全部存储在off_record中。数学几乎算出来了。

让我们用以下两种方式寻求思路

SELECT count(*),AVG(LENGTH(col3)) AS avg3,AVG(LENGTH(col5)) AS avg5,...   -- the rest of the VARCHARs
    FROM table_name;

（我特别想要LENGTH()，而不是CHAR_LENGTH()。）

抱歉，很长的延迟。我终于设法确认实际上在有关表上执行了数据清理。大约60％或删除了记录。那应该解释 mysql.innodb_index_stats 表中的 size 和 n_leaf_pages 值之间的区别。不确定这是否是正常行为。

请回答我的问题。要估计InnoDB池中要占用多少表，我可能应该查看 mysql.innodb_index_stats 。 size ，而不是 INFORMATION_SCHEMA.TABLE 。>

SELECT TABLE_NAME,ROUND((stat_value*@@innodb_page_size)/POWER(1024,2)) AS DATA_SIZE_MB 
FROM mysql.innodb_index_stats 
WHERE database_name = 'db_name' AND index_name = 'PRIMARY' AND table_name = 'table_name' 
    AND stat_name = 'n_leaf_pages';

感谢@Rick James帮助我完成这一任务

INFORMATION_SCHEMA.INNODB_BUFFER_PAGE和INFORMATION_SCHEMA.TABLES

如何解决INFORMATION_SCHEMA.INNODB_BUFFER_PAGE和INFORMATION_SCHEMA.TABLES

解决方法

相关推荐