mysql聚合索引失效
索引是可以高效的获取数据的数据结构, 对查询有很大作用. 索引对于数据库, 就像偏旁部首, 或者26个英文字母对于字典一样, 能很快的提高查询速度.但是索引也有它的缺点:首先就是占用磁盘空间其次是虽然...
2024.11.15有一个业务是查询最新审核的5条数据
select `id`, `title`FROM `th_content`WHERE `audit_time` < 1541984478 AND `status` = ‘ONLINE‘ORDER BY `audit_time` DESC, `id` DESCLIMIT 5;查看当时的监控情况 cpu 使用率是超过了100%,show processlist看到很多类似的查询都是处于create sort index的状态。
查看该表的结构
CREATE TABLE `th_content` ( `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT, `title` varchar(500) CHARACTER SET utf8 NOT NULL DEFAULT ‘‘ COMMENT ‘内容标题‘, `content` mediumtext CHARACTER SET utf8 NOT NULL COMMENT ‘正文内容‘, `audit_time` int(11) unsigned NOT NULL DEFAULT ‘0‘ COMMENT ‘审核时间‘, `last_edit_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON update CURRENT_TIMESTAMP COMMENT ‘最近编辑时间‘, `status` enum(‘CREATED‘,‘CHECKING‘,‘IGNORED‘,‘ONLINE‘,‘OFFLINE‘) CHARACTER SET utf8 NOT NULL DEFAULT ‘CREATED‘ COMMENT ‘资讯状态‘, PRIMARY KEY (`id`), KEY `idx_at_let` (`audit_time`,`last_edit_time`)) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;索引有一个audit_time在左边的联合索引,没有关于status的索引。
分析上面的sql执行的逻辑:
从联合索引里找到所有小于该审核时间的主键id(假如在该时间戳之前已经审核了100万条数据,则会在联合索引里取出对应的100万条数据的主键 id)对这100万个 id 进行排序(为的是在下面一步回表操作中优化 I/O 操作,因为很多挨得近的主键可能一次磁盘 I/O 就都取到了)回表,查出100万行记录,然后逐个扫描,筛选出status=‘ONLINE‘的行记录最后对查询的结果进行排序(假如有50万行都是ONLINE,则继续对这50万行进行排序)最后因为数据量很大,虽然只取5行,但是按照我们刚刚举的极端例子,实际查询了100万行数据,而且最后还在内存中进行了50万行数据库的内存排序。
所以是非常低效的。
画了一个示意图,说明第一步的查询过程,粉红色部分表示最后需要回表查询的数据行。
图中我按照索引存储规律来YY伪造填充了一些数据,如有不对请留言指出。希望通过这张图大家能够看到联合索引存储的方式和索引查询的方式
改进思路 1
范围查找向来不太好使用好索引的,如果我们增加一个audit_time, status的联合索引,会有哪些改进呢?
ALTER TABLE `th_content` ADD INDEX `idx_audit_status` (`audit_time`, `status`);mysql> explain select `id`, `title` from `th_content` where `audit_time` < 1541984478 and `status` = ‘ONLINE‘ order by `audit_time` desc, `id` desc limit 5;+----+-------------+------------+-------+------------------------------------------+------------------+---------+------+--------+-------------+| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |+----+-------------+------------+-------+------------------------------------------+------------------+---------+------+--------+-------------+| 1 | SIMPLE | th_content | range | idx_at_ft_pt_let,idx_audit_status | idx_audit_status | 4 | NULL | 209754 | Using where |+----+-------------+------------+-------+------------------------------------------+------------------+---------+------+--------+-------------+细节:因为audit_time是一个范围查找,所以第二列的索引用不上了,只能用到audit_time,所以key_len是4。而下面思路2中,还是这两个字段key_len则是5。
还是分析下在添加了该索引之后的执行过程:
从联合索引里找到小于该审核时间的audit_time最大的一行的联合索引然后依次往下找,因为< audit_time是一个范围查找,而第二列索引的值是分散的。所以需要依次往前查找,匹配出满足条件(status=‘ONLINE‘)的索引行,直到取到第5行为止。回表查询需要的具体数据在上面的示意图中,粉红色标识满足第一列索引要求的行,依次向前查询,本个叶子节点上筛选到了3条记录,然后需要继续向左,到前一个叶子节点继续查询。直到找到5条满足记录的行,最后回表。
改进之处
因为在索引里面有status的值,所以在筛选满足status=‘ONLINE‘行的时候,就不用回表查询了。在回表的时候只有5行数据的查询了,在iops上会大大减少。
该索引的弊端
如果idx_audit_status里扫描5行都是status是ONLINE,那么只需扫描5行;
如果idx_audit_status里扫描前100万行中,只有4行status是ONLINE,则需要扫描100万零1行,才能得到需要的5行记录。索引需要扫描的行数不确定。
改进思路 2
ALTER TABLE `th_content` drop INDEX `idx_audit_status`;ALTER TABLE `th_content` ADD INDEX `idx_status_audit` (`status`, `audit_time`);这样不管是排序还是回表都毫无压力啦。
作者:周梦康
索引是可以高效的获取数据的数据结构, 对查询有很大作用. 索引对于数据库, 就像偏旁部首, 或者26个英文字母对于字典一样, 能很快的提高查询速度.但是索引也有它的缺点:首先就是占用磁盘空间其次是虽然...
2024.11.15一、简介MySQL目前主要有以下几种索引类型:1.普通索引2.唯一索引3.主键索引4.组合索引5.全文索引二、语句CREATE TABLE table_name[col_name data type]...
2024.11.12看了很多关于索引的博客,讲的大同小异。但是始终没有让我明白关于索引的一些概念,如B-Tree索引,Hash索引,唯一索引….或许有很多人和我一样,没搞清楚概念就开始研究B-Tree,B+Tree等结构...
2024.11.13作为一名java程序员,对于mysql的索引相信都不陌生。当我们在数据库表中查询数据时,若数据表没有索引,会逐个遍历表格中的所有数据,要是遇到表的数据很大时,查询就会很耗时。建立索引就像创建目录一样,...
2024.11.15作者:莫善某互联网公司高级 DBA。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。1 前言在数据库的运维工作中经常会遇到业务的改表需求,这可能是DBA...
2024.11.13