mysql子查询优化案例

1、为什么要进行数据库优化？

1、避免网站页面出现访问错误

由于数据库连接timeout产生页面5xx错误

由于慢查询造成页面无法加载

由于阻塞造成数据无法提交

2、增加数据库的稳定性

很多数据库问题都是由于低效的查询引起的

3、优化用户体验

流畅页面的访问速度

良好的网站功能体验

2、mysql数据库优化

可以从哪几个方面进行数据库的优化？如下图所示：

A、SQL及索引优化

根据需求写出良好的SQL，并创建有效的索引，实现某一种需求可以多种写法，这时候我们就要选择一种效率最高的写法。这个时候就要了解sql优化

B、数据库表结构优化

根据数据库的范式，设计表结构，表结构设计的好直接关系到写SQL语句。

C、系统配置优化

大多数运行在Linux机器上，如tcp连接数的限制、打开文件数的限制、安全性的限制，因此我们要对这些配置进行相应的优化。

D、硬件配置优化

选择适合数据库服务的cpu，更快的IO，更高的内存；cpu并不是越多越好，某些数据库版本有最大的限制，ＩＯ操作并不是减少阻塞。

注：通过上图可以看出，该金字塔中，优化的成本从下而上逐渐增高，而优化的效果会逐渐降低。

３、SQL及索引优化

1、mysql安装与卸载（linux在线安装与卸载）

2、数据库版本选择

1、查看数据库的版本

ｓｅｌｅｃｔ @@version;

2、准备数据

网址：https://dev.mysql.com/doc/sakila/en/sakila-installation.html

sakila-db.zip压缩包所包含的文件如下解释

加载数据

步骤如下图所示

3、表结构关系

注：该表结构关系是用工具生成的。

4、如何发现有问题的SQL

MySQL慢查日志的开启方式和存储格式

1、检查慢查日志是否开启：

show variables like ‘slow_query_log‘

show variables like ‘slow_query_log‘ //查看是否开启慢查询日志set global slow_query_log_file=‘ /usr/share/mysql/sql_log/mysql-slow.log‘ //慢查询日志的位置set global log_queries_not_using_indexes=on;//开启慢查询日志set global long_query_time=1; //大于1秒钟的数据记录到慢日志中，如果设置为默认0，则会有大量的信息存储在磁盘中，磁盘很容易满掉show variables like ‘slow_query_log‘ //查看是否开启慢查询日志set global slow_query_log_file=‘ /usr/share/mysql/sql_log/mysql-slow.log‘ //慢查询日志的位置set global log_queries_not_using_indexes=on;//开启慢查询日志set global long_query_time=1; //大于1秒钟的数据记录到慢日志中，如果设置为默认0，则会有大量的信息存储在磁盘中，磁盘很容易满掉

2、查看所有日志的变量信息

show variables like ‘%log%‘mysql> show variables like ‘%log%‘;+-----------------------------------------+------------------------------------+| Variable_name | Value |+-----------------------------------------+------------------------------------+| back_log | 80 || binlog_cache_size | 32768 || binlog_checksum | CRC32 || binlog_direct_non_transactional_updates | OFF || binlog_error_action | IGNORE_ERROR || binlog_format | STATEMENT || binlog_gtid_simple_recovery | OFF || binlog_max_flush_queue_time | 0 || binlog_order_commits | ON || binlog_row_image | FULL || binlog_rows_query_log_events | OFF || binlog_stmt_cache_size | 32768 || binlogging_impossible_mode | IGNORE_ERROR || expire_logs_days | 0 || general_log | OFF || general_log_file | /var/lib/mysql/mysql-host.log || innodb_api_enable_binlog | OFF || innodb_flush_log_at_timeout | 1 || innodb_flush_log_at_trx_commit | 1 || innodb_locks_unsafe_for_binlog | OFF || innodb_log_buffer_size | 8388608 || innodb_log_compressed_pages | ON || innodb_log_file_size | 50331648 || innodb_log_files_in_group | 2 || innodb_log_group_home_dir | ./ || innodb_mirrored_log_groups | 1 || innodb_online_alter_log_max_size | 134217728 || innodb_undo_logs | 128 || log_bin | OFF || log_bin_basename | || log_bin_index | || log_bin_trust_function_creators | OFF || log_bin_use_v1_row_events | OFF || log_error | /var/log/mysqld.log || log_output | FILE || log_queries_not_using_indexes | ON || log_slave_updates | OFF || log_slow_admin_statements | OFF || log_slow_slave_statements | OFF || log_throttle_queries_not_using_indexes | 0 || log_warnings | 1 || max_binlog_cache_size | 18446744073709547520 || max_binlog_size | 1073741824 || max_binlog_stmt_cache_size | 18446744073709547520 || max_relay_log_size | 0 || relay_log | || relay_log_basename | || relay_log_index | || relay_log_info_file | relay-log.info || relay_log_info_repository | FILE || relay_log_purge | ON || relay_log_recovery | OFF || relay_log_space_limit | 0 || simplified_binlog_gtid_recovery | OFF || slow_query_log | OFF || slow_query_log_file | /var/lib/mysql/mysql-host-slow.log || sql_log_bin | ON || sql_log_off | OFF || sync_binlog | 0 || sync_relay_log | 10000 || sync_relay_log_info | 10000 |+-----------------------------------------+------------------------------------+61 rows in set (0.01 sec)

开启慢查日志：

show variables like ‘slow_query_log‘ //查看是否开启慢查询日志set global slow_query_log_file=‘ /var/lib/mysql/mysql-host-slow.log ‘ //慢查询日志的位置set global log_queries_not_using_indexes=on;//开启慢查询日志set global long_query_time=1; //大于1秒钟的数据记录到慢日志中，如果设置为默认0，则会有大量的信息存储在磁盘中，磁盘很容易满掉

验证慢查询日志是否开启：

在mysql操作中，

Show databases;Use sakila;ｓｅｌｅｃｔ * from store;ｓｅｌｅｃｔ * from staff;

监听日志文件，看是否写入

tail -50f /var/lib/mysql/mysql-host-slow.log

3、MySQL慢查日志的存储格式

如下图所示：

说明：

1、# Time: 180526 1:06:54 -------查询的执行时间

2、# User@Host: root[root] @ localhost [] Id: 4 -------执行sql的主机信息

3、# Query_time: 0.000401 Lock_time: 0.000105 Rows_sent: 2 Rows_examined: 2-------SQL的执行信息：

Query_time：SQL的查询时间

Lock_time：锁定时间

Rows_sent：所发送的行数

Rows_examined：锁扫描的行数

4、SET timestamp=1527268014; -------SQL执行时间

5、ｓｅｌｅｃｔ * from staff; -------SQL的执行内容

4、MySQL慢查日志分析工具（mysqldumpslow）

1、介绍

如何进行查看慢查询日志，如果开启了慢查询日志，就会生成很多的数据，然后我们就可以通过对日志的分析，生成分析报表，然后通过报表进行优化。

2、用法

接下来我们查看一下这个工具的用法：

注意：在mysql数据库所在的服务器上，而不是在mysql>命令行中

该工具如何使用：mysqldumpslow -h

查看verbose信息

Mysqldumpslow -v

查看慢查询日志的前10个，mysqldumpslow 分析的结果如下

mysqldumpslow -t 10 /var/lib/mysql/mysql-slow.log

如上图两条就是分析的结果，每条结果都显示是执行时间，锁定时间，发送的行数，扫描的行数

这个工具是最常用的工具，通过安装mysql进行附带安装，但是该工具统计的结果比较少，对我们的优化锁表现的数据还是比较少。

5、MySQL慢查日志分析工具(pt-query-digest)

1、介绍及作用

作为一名优秀的mysql dba也需要有掌握几个好用的mysql管理工具，所以我也一直在整理和查找一些能够便于管理mysql的利器。以后的一段时间内，将会花一大部分的精力去搜索这些工具。

性 能的管理一直都是摆在第一位的，dba的很多工作管理层都看不到也没有办法衡量价值，但是如果一个系统慢的跟蜗牛一样，dba通过监控调优把系统从崩溃边 缘重新拉回到高铁时代。这种价值和触动应该是巨大的。（很多企业的领导认为系统跑不动了就需要换更快的CPU、更大的内存、更快的存储，而且这还不是少 数，所以DBA的价值也一直体现不出来，薪水自然也就不会很高）

mysql 的日志是跟踪mysql性能瓶颈的最快和最直接的方式了，系统性能出现瓶颈的时候，首先要打开慢查询日志，进行跟踪；这段时间关于慢查询日志的管理和查看 已经整理过两篇文章了，不经意间又发现了一个查看慢查询日志的工具：mk-query-digest，这个工具网上号称mysql dba必须掌握的十大工具之首。

2、安装pt-query-digest工具

**1.1、快速安装（注：必须先要安装wget）**wget https://www.percona.com/downloads/percona-toolkit/2.2.16/RPM/percona-toolkit-2.2.16-1.noarch.rpm && yum localinstall -y percona-toolkit-2.2.16-1.noarch.rpm**1.2、检查是否安装完成：** 命令行中输入：pt-summary显示如下图所示：说明安装成功！输入【[root@node03 mysql]# pt-query-digest --help】

1.3、工具使用简介：

pt-summary –help

wget http://percona.com/get/pt-summary

1、查看服务器信息

命令：pt-summary

2、查看磁盘开销使用信息

命令：pt-diskstats

3、查看mysql数据库信息

命令：pt-mysql-summary --user=root --password=123456

4、分析慢查询日志

命令：pt-query-digest /data/mysql/data/db-3-12-slow.log

5、查找mysql的从库和同步状态

命令：pt-slave-find --host=localhost --user=root --password=123456

6、查看mysql的死锁信息

pt-deadlock-logger --user=root --password=123456 localhost

7、从慢查询日志中分析索引使用情况

pt-index-usage slow_20131009.log

8、查找数据库表中重复的索引

pt-duplicate-key-checker --host=localhost --user=root --password=123456

9、查看mysql表和文件的当前活动IO开销

pt-ioprofile

10、查看不同mysql配置文件的差异

pt-config-diff /etc/my.cnf /etc/my_master.cnf

11、pt-find查找mysql表和执行命令，示例如下

查找数据库里大于2G的表：

pt-find --user=root --password=123456 --tablesize +2G

查找10天前创建，MyISAM引擎的表：

pt-find --user=root --password=123456 --ctime +10 --engine MyISAM

查看表和索引大小并排序

pt-find --user=root --password=123456 --printf "%T\t%D.%N\n" | sort -rn

12、pt-kill 杀掉符合标准的mysql进程

显示查询时间大于60秒的查询

pt-kill --user=root --password=123456 --busy-time 60 --print

kill掉大于60秒的查询

pt-kill --user=root --password=123456 --busy-time 60 --kill

13、查看mysql授权

1、pt-show-grants --user=root --password=1234562、pt-show-grants --user=root --password=123456 --separate –ｒｅｖｏｋｅ

14、验证数据库复制的完整性

pt-table-checksum --user=root --password=123456

15、附录：

6、如何通过慢查日志发现有问题的SQL

1、查询次数多且每次查询占用时间长的sql

通常为pt-query-digest分析的前几个查询；该工具可以很清楚的看出每个SQL执行的次数及百分比等信息，执行的次数多，占比比较大的SQL

2、IO大的sql

注意pt-query-digest分析中的Rows examine项。扫描的行数越多，IO越大。

3、未命中的索引的SQL

注意pt-query-digest分析中的Rows examine 和Rows Send的对比。说明该SQL的索引命中率不高，对于这种SQL，我们要重点进行关注。

7、通过explain查询分析SQL的执行计划

1、使用explain查询SQL的执行计划

SQL的执行计划侧面反映出了SQL的执行效率，具体执行方式如下所示：

在执行的SQL前面加上explain关键词即可；

2、每个字段的说明：

1）、id列数字越大越先执行，如果说数字一样大，那么就从上往下依次执行，id列为null的就表是这是一个结果集，不需要使用它来进行查询。

2）、select_type列常见的有：

A：simple：表示不需要union操作或者不包含子查询的简单ｓｅｌｅｃｔ查询。有连接查询时，外层的查询为simple，且只有一个

B：primary：一个需要union操作或者含有子查询的ｓｅｌｅｃｔ，位于最外层的单位查询的select_type即为primary。且只有一个

C：union：union连接的两个ｓｅｌｅｃｔ查询，第一个查询是dervied派生表，除了第一个表外，第二个以后的表select_type都是union

D：dependent union：与union一样，出现在union 或union all语句中，但是这个查询要受到外部查询的影响

E：union result：包含union的结果集，在union和union all语句中,因为它不需要参与查询，所以id字段为null

F：subquery：除了from子句中包含的子查询外，其他地方出现的子查询都可能是subquery

G：dependent subquery：与dependent union类似，表示这个subquery的查询要受到外部表查询的影响

H：derived：from字句中出现的子查询，也叫做派生表，其他数据库中可能叫做内联视图或嵌套ｓｅｌｅｃｔ

3）、table

显示的查询表名，如果查询使用了别名，那么这里显示的是别名，如果不涉及对数据表的操作，那么这显示为null，如果显示为尖括号括起来的就表示这个是临时表，后边的N就是执行计划中的id，表示结果来自于这个查询产生。如果是尖括号括起来的，与类似，也是一个临时表，表示这个结果来自于union查询的id为M,N的结果集。

4）、type

依次从好到差：system，const，eq_ref，ref，fulltext，ref_or_null，unique_subquery，index_subquery，range，index_merge，index，ALL，除了all之外，其他的type都可以使用到索引，除了index_merge之外，其他的type只可以用到一个索引

A：system：表中只有一行数据或者是空表，且只能用于myisam和memory表。如果是Innodb引擎表，type列在这个情况通常都是all或者index

B：const：使用唯一索引或者主键，返回记录一定是1行记录的等值where条件时，通常type是const。其他数据库也叫做唯一索引扫描

C：eq_ref：出现在要连接过个表的查询计划中，驱动表只返回一行数据，且这行数据是第二个表的主键或者唯一索引，且必须为not null，唯一索引和主键是多列时，只有所有的列都用作比较时才会出现eq_ref

D：ref：不像eq_ref那样要求连接顺序，也没有主键和唯一索引的要求，只要使用相等条件检索时就可能出现，常见与辅助索引的等值查找。或者多列主键、唯一索引中，使用第一个列之外的列作为等值查找也会出现，总之，返回数据不唯一的等值查找就可能出现。

E：fulltext：全文索引检索，要注意，全文索引的优先级很高，若全文索引和普通索引同时存在时，mysql不管代价，优先选择使用全文索引

F：ref_or_null：与ref方法类似，只是增加了null值的比较。实际用的不多。

G：unique_subquery：用于where中的in形式子查询，子查询返回不重复值唯一值

H：index_subquery：用于in形式子查询使用到了辅助索引或者in常数列表，子查询可能返回重复值，可以使用索引将子查询去重。

I：range：索引范围扫描，常见于使用>,55 and film_id show index from tblname;mysql> show keys from tblname;

6、什么情况下，使用索引了？

1、表的主关键字

2、自动建立唯一索引

3、表的字段唯一约束

4、直接条件查询的字段（在SQL中用于条件约束的字段）

5、查询中与其它表关联的字段

6、查询中排序的字段（排序的字段如果通过索引去访问那将大大提高排序速度）

7、查询中统计或分组统计的字段

8、表记录太少（如果一个表只有5条记录，采用索引去访问记录的话，那首先需访问索引表，再通过索引表访问数据表，一般索引表与数据表不在同一个数据块）

9、经常插入、删除、修改的表（对一些经常处理的业务表应在查询允许的情况下尽量减少索引）

10、数据重复且分布平均的表字段（假如一个表有10万行记录，有一个字段A只有T和F两种值，且每个值的分布概率大约为50%，那么对这种表A字段建索引一般不会提高数据库的查询速度。）

11、经常和主字段一块查询但主字段索引值比较多的表字段

12、对千万级MySQL数据库建立索引的事项及提高性能的手段

3、如何选择合适的列建立索引

1、在where从句，group by从句，order by从句，on从句中的列添加索引

2、索引字段越小越好（因为数据库数据存储单位是以“页”为单位的，数据存储的越多，IO也会越大）

3、离散度大的列放到联合索引的前面

例子：

ｓｅｌｅｃｔ * from payment where staff_id =2 and customer_id =584;

注意:

是index（staff_id，customer_id）好，还是index（customer_id，staff_id）好

那我们怎么进行验证离散度好了？

A、我们先查看一下表结构

desc payment;

B、分别查看这两个字段中不同的id的数量，数量越多，则表明离散程度越大：因此可以通过下图看出：customer_id 离散程度大。

结论：由于customer_id 离散程度大，使用index（customer_id，staff_id）好

C、mysql联合索引

①命名规则 ：表名_字段名

1、需要加索引的字段，要在where条件中

2、数据量少的字段不需要加索引

3、如果where条件中是OR关系，加索引不起作用

4、符合最左原则

②什么是联合索引

1、两个或更多个列上的索引被称作联合索引，又被称为是复合索引。

2、利用索引中的附加列，您可以缩小搜索的范围，但使用一个具有两列的索引 不同于使用两个单独的索引。复合索引的结构与电话簿类似，人名由姓和名构成，电话簿首先按姓氏对进行排序，然后按名字对有相同姓氏的人进行排序。如果您知 道姓，电话簿将非常有用；如果您知道姓和名，电话簿则更为有用，但如果您只知道名不姓，电话簿将没有用处。

所以说创建复合索引时，应该仔细考虑列的顺序。对索引中的所有列执行搜索或仅对前几列执行搜索时，复合索引非常有用；仅对后面的任意列执行搜索时，复合索引则没有用处。

4、索引优化SQL的方法

1、索引的维护及优化（重复及冗余索引）

增加索引会有利于查询效率，但会降低ｉｎｓｅｒｔ，ｕｐｄａｔｅ，ｄｅｌｅｔｅ的效率，但实际上往往不是这样的，过多的索引会不但会影响使用效率，同时会影响查询效率，这是由于数据库进行查询分析时，首先要选择使用哪一个索引进行查询，如果索引过多，分析过程就会越慢，这样同样的减少查询的效率，因此我们要知道如何增加，有时候要知道维护和删除不需要的索引

2、如何找到重复和冗余的索引

重复索引：

重复索引是指相同的列以相同的顺序建立的同类型的索引，如下表中的 primary key和ID列上的索引就是重复索引

create table test(id int not null primary key,name varchar(10) not null,title varchar(50) not null,unique(id))engine=innodb;

冗余索引：

冗余索引是指多个索引的前缀列相同，或是在联合索引中包含了主键的索引，下面这个例子中key（name，id）就是一个冗余索引。

create table test(id int not null primary key,name varchar(10) not null,title varchar(50) not null,key(name,id))engine=innodb;

说明：对于innodb来说，每一个索引后面，实际上都会包含主键，这时候我们建立的联合索引，又人为的把主键包含进去，那么这个时候就是一个冗余索引。

3、如何查找重复索引

工具：使用pt-duplicate-key-checker工具检查重复及冗余索引

pt-duplicate-key-checker -uroot -padmin -h 127.0.0.1

4、索引维护的方法

由于业务变更，某些索引是后续不需要使用的，就要进行删除。

在mysql中，目前只能通过慢查询日志配合pt-index-usage工具来进行索引使用情况的分析；

pt-index-usage -uroot -padmin /var/lib/mysql/mysql-host-slow.log

附：https://www.percona.com/downloads/

5、注意事项

设计好MySql的索引可以让你的数据库飞起来，大大的提高数据库效率。设计MySql索引的时候有一下几点注意：

1，创建索引

对于查询占主要的应用来说，索引显得尤为重要。很多时候性能问题很简单的就是因为我们忘了添加索引而造成的，或者说没有添加更为有效的索引导致。如果不加索引的话，那么查找任何哪怕只是一条特定的数据都会进行一次全表扫描，如果一张表的数据量很大而符合条件的结果又很少，那么不加索引会引起致命的性能下降。

但是也不是什么情况都非得建索引不可，比如性别可能就只有两个值，建索引不仅没什么优势，还会影响到更新速度，这被称为过度索引。

2，复合索引

比如有一条语句是这样的：ｓｅｌｅｃｔ * from users where area=’beijing’ and age=22;

如果我们是在area和age上分别创建单个索引的话，由于mysql查询每次只能使用一个索引，所以虽然这样已经相对不做索引时全表扫描提高了很多效率，但是如果在area、age两列上创建复合索引的话将带来更高的效率。如果我们创建了(area, age,salary)的复合索引，那么其实相当于创建了(area,age,salary)、(area,age)、(area)三个索引，这被称为最佳左前缀特性。

因此我们在创建复合索引时应该将最常用作限制条件的列放在最左边，依次递减。

3，索引不会包含有NULL值的列

只要列中包含有NULL值都将不会被包含在索引中，复合索引中只要有一列含有NULL值，那么这一列对于此复合索引就是无效的。所以我们在数据库设计时不要让字段的默认值为NULL。

4，使用短索引

对字符串列进行索引，如果可能应该指定一个前缀长度。例如，如果有一个ｃｈａｒ(255)的 列，如果在前10 个或20 个字符内，多数值是惟一的，那么就不要对整个列进行索引。短索引不仅可以提高查询速度而且可以节省磁盘空间和I/O操作。

5，排序的索引问题

mysql查询只使用一个索引，因此如果where子句中已经使用了索引的话，那么order by中的列是不会使用索引的。因此数据库默认排序可以符合要求的情况下不要使用排序操作；尽量不要包含多个列的排序，如果需要最好给这些列创建复合索引。

6，like语句操作

一般情况下不鼓励使用like操作，如果非使用不可，如何使用也是一个问题。like “%aaa%” 不会使用索引而like “aaa%”可以使用索引。

7，不要在列上进行运算

ｓｅｌｅｃｔ * from users where

YEAR(adddate)

8，不使用NOT IN操作

NOT IN操作都不会使用索引将进行全表扫描。NOT IN可以NOT EXISTS代替