# mysql 中InnoDB 架构详解
InnoDB 逻辑存储结构 
InnoDB 基本架构图 
# 1 内存架构
内存结构主要分为四大块: Buffer Pool、Change Buffer、AdaptiveHash Index、Log Buffer
# 1.1 Buffer Pool(缓冲区)
- InnoDB存储引擎基于磁盘文件存储,访问物理硬盘和在内存中进行访问,速度相差很大,为了尽可能弥补这两者之间的I/O效率的差值,就需要把经常使用的数据加载到缓冲池中,避免每次访问都进行磁盘I/O。
A) 缓冲池 Buffer Pool,是主内存中的一个区域,里面可以缓存磁盘上经常操作的真实数据,在执行增删改查操作时,先操作缓冲池中的数据(若缓冲池没有数据,则从磁盘加载并缓存),然后再以一定频率刷新到磁盘,从而减少磁盘IO,加快处理速度。
如果没有缓冲池,就意味着我们每次增删查改都需要访问数据库,那么就会存在大量的磁盘IO,而且在业务比较复杂的情况下,这种磁盘IO还都是随机IO,是非常耗费性能的。
B) 在InnoDB的缓冲池中不仅缓存了索引页和数据页,还包含了undo页、插入缓存、自适应哈希索引以及InnoDB的锁信息等等。
1
2
3
4
2
3
4
- 缓冲池以Page页为单位,底层采用链表数据结构管理Page。根据状态,将Page分为三种类型:
A) free page:空闲page,即已经申请到了的page,但从未使用过。
B) clean page:被使用page,数据没有被修改过。
C) dirty page:脏页,被使用page,数据被修改过,但是还没有刷新到磁盘中,页中数据与磁盘的数据不一致。
1
2
3
2
3
- 在专用服务器上,通常将多达80%的物理内存分配给缓冲池 。我们可以通过以下指令查看当前数据库中缓冲池的大小
mysql> show variables like 'innodb_buffer_pool_size';
+-------------------------+-----------+
| Variable_name | Value |
+-------------------------+-----------+
| innodb_buffer_pool_size | 134217728 |
+-------------------------+-----------+
1 row in set (0.00 sec)
1
2
3
4
5
6
7
8
2
3
4
5
6
7
8
# 1.2 Change Buffer
注意: 这个缓冲区是MySQL8.0之后才出现的
- change buffer 的概念
Change Buffer,更改缓冲区(针对于非唯一二级索引页,对主键索引或唯一索引不会操作更改缓冲区),在执行DML语句时,如果这些数据Page此时还没有缓存在Buffer Pool中,那么InnoDB引擎并不会先操作磁盘,而是会将DML语句造成的数据变更缓存在 Change Buffer中,
在未来这部分数据被读取并缓存在Buffer Pool之后,InnoDB引擎会通过Change Buffer中的变更记录去修改Buffer Pool中对应的数据(简称数据合并处理),再等待Buffer Pool的下一次刷新,将修改后的数据保存在磁盘中.
1
2
2
- Change Buffer的意义是什么呢?
我们知道二级索引(非聚集索引) 与聚集索引不同,二级索引通常是非唯一的,并且以相对随机的顺序插入二级索引,同样,删除和更新可能会影响索引树中不相邻的二级索引页,如果每一次DML都操作磁盘,就会造成大量的磁盘IO。
有了ChangeBuffer之后,我们可以在缓冲池中进行合并处理,减少磁盘IO,提高了效率。
1
2
2
# 1.3 AdaptiveHash Index
Adaptive Hash Index ,自适应hash索引,用于优化对Buffer Pool数据的查询
- AdaptiveHash Index 基本概念
MySQL的InnoDB引擎中虽然没有直接支持hash索引,但是给我们提供了自适应hash索引的功能。
hash索引在进行等值匹配时,一般性能是要高于B+树的,因为hash索引一般只需要一次IO即可,而B+树,可能需要几次匹配,所以hash索引的效率要高,但是hash索引又不适合做范围查询、模糊匹配等。
InnoDB存储引擎会监控对表上各索引页的查询,如果观察到在特定的条件下hash索引可以提升速度,则建立hash索引,称之为自适应hash索引。
1
2
3
4
2
3
4
- 自适应哈希索引,无需人工干预,是系统根据情况自动完成,以下方式查看
mysql> show variables like '%adaptive_hash_index';
+----------------------------+-------+
| Variable_name | Value |
+----------------------------+-------+
| innodb_adaptive_hash_index | ON |
+----------------------------+-------+
1 row in set (0.00 sec)
1
2
3
4
5
6
7
2
3
4
5
6
7
# 1.4 Log Buffer
- 什么是log buffer?
Log Buffer 日志缓冲区,用来保存要写入到磁盘中的log日志数据(redo log 、undo log),默认大小为 16MB,日志缓冲区的日志会定期刷新到磁盘中。
如果需要更新、插入或删除许多行的事务,增加日志缓冲区的大小可以节省磁盘 I/O。
1
2
2
- 查看相关参数
/*
与缓冲区有关的参数主要有以下两个:
innodb_log_buffer_size:缓冲区大小
innodb_flush_log_at_trx_commit:日志刷新到磁盘时机,取值主要包含以下三个:
0:每秒将日志写入并刷新到磁盘一次。
1:日志在每次事务提交时写入并刷新到磁盘,默认值。
2:日志在每次事务提交后写入,并每秒刷新到磁盘一次。
*/
mysql> show variables like '%log_buffer%';
+------------------------+----------+
| Variable_name | Value |
+------------------------+----------+
| innodb_log_buffer_size | 16777216 |
+------------------------+----------+
1 row in set (0.01 sec)
mysql> show variables like '%flush_log%';
+--------------------------------+-------+
| Variable_name | Value |
+--------------------------------+-------+
| innodb_flush_log_at_timeout | 1 |
| innodb_flush_log_at_trx_commit | 1 |
+--------------------------------+-------+
2 rows in set (0.00 sec)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# 2 磁盘架构
# 2.1 System Tablespace
系统表空间是更改缓冲区的存储区域(这是在MySQL8.0之后重新规划的,在MySQL5.x版本中还包含InnoDB数据字典、undolog等),如果我们并未开启innodb_file_per_table选项(即每张表不具有自己独立的表空间)且创建表时并未使用通用表空间(通用表空间会在后文中讲解),那么系统表空间还会包含上述表和其索引数据。
1
我们可以通过参数innodb_data_file_path来查看系统表空间的相关信息
mysql> show variables like '%data_file%';
+----------------------------+------------------------+
| Variable_name | Value |
+----------------------------+------------------------+
| innodb_data_file_path | ibdata1:12M:autoextend |
| innodb_temp_data_file_path | ibtmp1:12M:autoextend |
+----------------------------+------------------------+
2 rows in set (0.00 sec)
1
2
3
4
5
6
7
8
2
3
4
5
6
7
8
系统表空间的默认的文件名叫 ibdata1,默认大小为12M,我们可以通过以下指令进入mysql的文件存放路径,查看是否存在该文件
[root@iZ2ze58f53sxjm9z7mgn5xZ ~]# cd /var/lib/mysql
[root@iZ2ze58f53sxjm9z7mgn5xZ mysql]# ll ibdata1
-rw-r----- 1 mysql mysql 12582912 Sep 14 21:07 ibdata1
1
2
3
4
2
3
4
# 2.2 File-Per-Table Tablespaces
/*
File-Per-Table Tablespaces,独立表空间文件,如果我们开启innodb_file_per_table开关(默认开启),则每创建一张InnoDB表都创建一个以’.ibd’结尾的表空间文件,这个表空间文件中会包含对应InnoDB表的数据和索引信息
*/
# 每一个ibd文件都对应着一张数据表,表空间文件的存放路径在/var/lib/mysql/数据库名
[root@iZ2ze58f53sxjm9z7mgn5xZ mysql]# cd my_test/
[root@iZ2ze58f53sxjm9z7mgn5xZ my_test]# ll
total 480
-rw-r----- 1 mysql mysql 114688 Sep 14 21:06 course.ibd
-rw-r----- 1 mysql mysql 114688 Sep 14 19:43 student.ibd
-rw-r----- 1 mysql mysql 147456 Sep 14 19:43 student_course.ibd
-rw-r----- 1 mysql mysql 114688 Sep 14 18:46 tb_user.ibd
1
2
3
4
5
6
7
8
9
10
11
12
13
2
3
4
5
6
7
8
9
10
11
12
13
# 2.3 General Tablespaces
/*
General Tablespaces,通用表空间,我们可以将一些表的数据存放在通用表空间中,统一存储,方便管理。通用表空间需要我们手动创建,在创建表时,可以手动指定表空间作为数据存放位置.
*/
/*
具体语法如下:
CREATE TABLESPACE 表空间名 ADD DATAFILE '文件名' ENGINE = 存储引擎名;
CREATE TABLE 表名(建表语句) TABLESPACE 表空间名;
*/
-- case
-- 创建表空间
mysql> create tablespace my_table_space add datafile 'my_table_space.ibd' engine=innodb;
Query OK, 0 rows affected (0.01 sec)
-- 在创建表时手动指定表空间
mysql> create table tb_test(id int primary key auto_increment,name varchar(128)) tablespace my_table_space;
Query OK, 0 rows affected (0.00 sec)
/*
此时再次进入/var/lib/mysql
[root@iZ2ze58f53sxjm9z7mgn5xZ mysql]# ll
-rw-r----- 1 mysql mysql 114688 Sep 15 13:25 my_table_space.ibd
*/
-- 将其他表空间中的表移动到 file_per_table 表空间:
mysql> alter table $table_name tablespace=my_table_space;
-- 删除表空间
-- DROP [UNDO] TABLESPACE tablespace_name [ENGINE [=] engine_name]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
# 2.4 undo Tablespaces
撤销表空间,MySQL实例在初始化时会自动创建两个默认的undo表空间(初始大小16M),用于存储undo log日志。
1
# 2.5 Temporary Tablespaces
InnoDB 使用会话临时表空间和全局临时表空间。存储用户创建的临时表等数据。
1
# 2.6 Doublewrite Buffer Files
双写缓冲区,innoDB引擎将数据页从Buffer Pool刷新到磁盘前,先将数据页写入双写缓冲区文件中,便于系统异常时恢复数据。
1
# 2.7 Redo Log
/*
重做日志,是用来实现事务的持久性。该日志文件由两部分组成:重做日志缓冲(redo log buffer)以及重做日志文件(redo log),
前者是在内存中,后者在磁盘中。当事务提交之后会把所有修改信息都会存到该日志中,如果刷新脏页到磁盘时发生了错误, 那么就会利用redolog进行数据恢复使用.
InooDB会将日志会以循环方式写入Redo Log,涉及两个文件:
[root@iZ2ze58f53sxjm9z7mgn5xZ mysql]# ll /var/lib/mysql
-rw-r----- 1 mysql mysql 16777216 Sep 15 13:25 undo_001
-rw-r----- 1 mysql mysql 16777216 Sep 15 13:25 undo_002
*/
1
2
3
4
5
6
7
8
9
10
2
3
4
5
6
7
8
9
10
# 3 后台线程
后台线程结构 
后台线程的作用是负责将缓冲池中的数据刷新到磁盘文件中,
InnoDB的后台线程主要分为4类,分别是:
1) Master Thread
2) IO Thread
3) Purge Thread
4) Page Cleaner Thread。
1
2
3
4
5
6
2
3
4
5
6
# 3.1 Master Thread
核心后台线程,负责调度其他线程,还负责将缓冲池中的数据异步刷新到磁盘中,
保持数据的一致性,还包括脏页的刷新、合并插入缓存、undo页的回收
1
2
2
# 3.2 IO Thread
/*
在InnoDB存储引擎中大量使用了AIO来处理IO请求, 这样可以极大地提高数据库的性能,而IOThread主要负责这些IO请求的回调。
*/
-- 可以通过以下的这条指令,查看到InnoDB的状态信息,其中就包含IO Thread信息
mysql> show engine innodb status\G;
...
FILE I/O
--------
I/O thread 0 state: waiting for completed aio requests (insert buffer thread)
I/O thread 1 state: waiting for completed aio requests (log thread)
I/O thread 2 state: waiting for completed aio requests (read thread)
I/O thread 3 state: waiting for completed aio requests (read thread)
I/O thread 4 state: waiting for completed aio requests (read thread)
I/O thread 5 state: waiting for completed aio requests (read thread)
I/O thread 6 state: waiting for completed aio requests (write thread)
I/O thread 7 state: waiting for completed aio requests (write thread)
I/O thread 8 state: waiting for completed aio requests (write thread)
I/O thread 9 state: waiting for completed aio requests (write thread)
...
...
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
| 线程类型 | 默认个数 | 职责 |
|---|---|---|
| Read thread | 4 | 负责读操作 |
| Write thread | 4 | 负责写操作 |
| Log thread | 1 | 负责将日志缓冲区刷新到磁盘 |
| Insert buffer | thread | 1 |
# 3.3 Purge Thread
主要用于回收事务已经提交了的undo log,在事务提交之后,undo log可能不用了,就用它来回收。
1
# 3.4 Page Cleaner Thread
协助master thread 刷新脏页到磁盘的线程,它可以减轻master thread的工作压力,减少阻塞。
1