mysql千万级数据量查询优化参考 —— 筑梦之路

2024-07-03 1406阅读

目 的

Mysql查询性能优化要从三个方面考虑,库表结构优化、索引优化和查询优化。

mysql千万级数据量查询优化参考 —— 筑梦之路
(图片来源网络,侵删)

优化方案

2.1 where条件过滤数据多的放在前面,减少产生的临时表的数据量

2.2 在需要当条件的列上加索引,避免全表扫描

首先应考虑在 where 及 order by,不要判断=null或!=,,where 子句中使用 or ,in 和 not in 也要慎用,都会导致引擎放弃使用索引而进行全表扫描,索引也可以定期维护任务里重新建立索引(表上频繁发生update,delete操作时需要重建)。

2.3 like查询也将导致全表扫描

select id from t where name like '%abc%',若要提高效率,可以考虑全文检索。

2.4 子句中使用参数,也会导致全表扫描

因为SQL只有在运行时才会解析局部变量,可以改为强制查询使用索引:select id from t with(index(索引名)) where num=@num。

2.5 尽量避免在 where 子句中对字段进行表达式操作和函数操作

这将导致引擎放弃使用索引而进行全表扫描6、索引列有大量数据重复时,SQL查询可能不会去利用索引,索引并不是越多越好,索引固然可以提高相应的 select 的效率,但同时也降低了 insert 及 update 的效率,因为 insert 或 update 时有可能会重建索引。

2.6 不要更新聚集索引数据列

索引数据列的顺序就是表记录的物理存储顺序,一旦该列值改变将导致整个表记录的顺序的调整,会耗费相当大的资源。

2.7 避免频繁创建和删除临时表

2.8 尽量避免向客户端返回大数据量

若数据量过大,应该考虑相应需求是否合理。

具体实现

3.1 对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引

3.2 应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描

3.3 应尽量避免在 where子句中使用!=或操作符,否则将引擎放弃使用索引而进行全表扫描

3.4 应尽量避免在 where 子句中使用 or 来连接条件,否则将导致引擎放弃使用索引而进行全表扫描

如:

select id from t where num=10 or num=20
可以这样查询
select id from t where num=10
union all
select id from t where num=20

3.5 in 和 not in 也要慎用,否则会导致全表扫描

如:

select id from t where num in(1,2,3)
对于连续的数值,能用 between 就不要用 in 了:
select id from t where num between 1 and 3

3.6 下面的查询也将导致全表扫描

select id from t where name like '%abc%'

若要提高效率,可以考虑全文检索。

3.7 如果在 where 子句中使用参数,也会导致全表扫描

因为SQL只有在运行时才会解析局部变量,但优化程序不能将访问计划的选择推迟到运行时;它必须在编译时进行选择。

然而,如果在编译时建立访问计划,变量的值还是未知的,因而无法作为索引选择的输入项。如下面语句将进行全表扫描:

select id from t where num=@num

可以改为强制查询使用索引:

select id from t with(index(索引名)) where num=@num

3.8 应尽量避免在 where 子句中对字段进行表达式操作,这将导致引擎放弃使用索引而进行全表扫描

如:

select id from t where num/2=100

应改为:

select id from t where num=100*2

3.9 应尽量避免在where子句中对字段进行函数操作,这将导致引擎放弃使用索引而进行全表扫描

如:

select id from t where
substring(name,1,3)='abc'--name以abc开头的id
select id from t where
datediff(day,createdate,'2005-11-30')=0--‘2005-11-30’生成的id

应改为:

select id from t where name like 'abc%'
select id from t where createdate>='2005-11-30'
and createdate
VPS购买请点击我

免责声明:我们致力于保护作者版权,注重分享,被刊用文章因无法核实真实出处,未能及时与作者取得联系,或有版权异议的,请联系管理员,我们会立即处理! 部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理! 图片声明:本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库和百度,360,搜狗等多加搜索引擎自动关键词搜索配图,如有侵权的图片,请第一时间联系我们,邮箱:ciyunidc@ciyunshuju.com。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!

目录[+]