没有合适的资源?快使用搜索试试~ 我知道了~
厦门游家公司(4399.com)用于员工培训和分享。 针对用户群为已经使用过mysql环境,并有一定开发经验的工程师 针对高并发,海量数据的互联网环境。 本文语言为口语,非学术标准用语。 以实战和解决具体问题为主要目标,非应试,非常规教育。友情提醒,在校生学习本教程可能对成绩提高有害无益。 非技术挑战,非高端架构师培训,请高手自动忽略。 本文档在2011年7月-12月持续更新,加强了影响结果集分析的内容并增补优化实战案例若干
资源推荐
资源详情
资源评论
Mysql 性能优化教程
目录
目录.....................................................................................................................................................1
背景及目标.........................................................................................................................................2
Mysql 执行优化..................................................................................................................................2
认识数据索引.............................................................................................................................2
为什么使用数据索引能提高效率.....................................................................................2
如何理解数据索引的结构.................................................................................................3
优化实战范例.....................................................................................................................3
认识影响结果集.........................................................................................................................4
影响结果集的获取.............................................................................................................4
影响结果集的解读.............................................................................................................4
常见案例及优化思路.........................................................................................................5
理解执行状态.............................................................................................................................8
常见关注重点.....................................................................................................................8
执行状态分析.....................................................................................................................8
分析流程...........................................................................................................................10
常见案例解析...................................................................................................................11
总结...................................................................................................................................13
Mysql 运维优化................................................................................................................................15
存储引擎类型...........................................................................................................................15
内存使用考量...........................................................................................................................15
性能与安全性考量...................................................................................................................16
存储/写入压力优化..................................................................................................................16
运维监控体系...........................................................................................................................17
Mysql 架构优化................................................................................................................................18
架构优化目标...........................................................................................................................18
防止单点隐患...................................................................................................................18
方便系统扩容...................................................................................................................18
安全可控,成本可控.......................................................................................................18
分布式方案...............................................................................................................................19
分库&拆表方案................................................................................................................19
反范式设计(冗余结构设计).......................................................................................21
主从架构...........................................................................................................................23
故障转移处理...................................................................................................................23
缓存方案...................................................................................................................................24
缓存结合数据库的读取...................................................................................................24
缓存结合数据库的写入...................................................................................................24
总结...................................................................................................................................................26
背景及目标
厦门游家公司(4399.com)用于员工培训和分享。
针对用户群为已经使用过 mysql 环境,并有一定开发经验的工程师
针对高并发,海量数据的互联网环境。
本文语言为口语,非学术标准用语。
以实战和解决具体问题为主要目标,非应试,非常规教育。友情提醒,在校生学
习本教程可能对成绩提高有害无益。
非技术挑战,非高端架构师培训,请高手自动忽略。
本文档在 2011 年 7 月-12 月持续更新,加强了影响结果集分析的内容并增补优化
实战案例若干
Mysql 执行优化
认识数据索引
为什么使用数据索引能提高效率
关系型数据库的数据索引(Btree 及常见索引结构)的存储是有序的。
在有序的情况下,通过索引查询一个数据是无需遍历索引记录的
关系型数据库数据索引的查询效率趋近于二分法查询效率,趋近于 log2(N)。
极端情况下(更新请求少,更新实时要求低,查询请求频繁),建立单向有序序
列可替代数据索引。
HASH 索引的查询效率是寻址操作,趋近于 1 次查询,比有序索引查询效率更高,
但是不支持比对查询,区间查询,排序等操作,仅支持 key-value 类型查询。不
是本文重点。
如何理解数据索引的结构
数据索引通常默认采用 btree 索引,(内存表也使用了 hash 索引)。
仅就有序前提而言,单向有序排序序列是查找效率最高的(二分查找,或者说折
半查找),使用树形索引的目的是为了达到快速的更新和增删操作。
在极端情况下(比如数据查询需求量非常大,而数据更新需求极少,实时性要求
不高,数据规模有限),直接使用单一排序序列,折半查找速度最快。
在进行索引分析和 SQL 优化时,可以将数据索引字段想象为单一有序序列,并以
此作为分析的基础。涉及到复合索引情况,复合索引按照索引顺序拼凑成一个字
段,想象为单一有序序列,并以此作为分析的基础。
一条数据查询只能使用一个索引,索引可以是多个字段合并的复合索引。但是一
条数据查询不能使用多个索引。
优化实战范例
实战范例 1: ip 地址反查
资源: Ip 地址对应表,源数据格式为 startip, endip, area
源数据条数为 10 万条左右,呈很大的分散性
目标: 需要通过任意 ip 查询该 ip 所属地区
性能要求达到每秒 1000 次以上的查询效率
挑战: 如使用 between startip and endip 这样的条件数据库操作,因为涉及
两个字段的 between and, 无法有效使用索引。
如果每次查询请求需要遍历 10 万条记录,根本不行。
方法: 一次性排序(只在数据准备中进行,数据可存储在内存序列)
折半查找(每次请求以折半查找方式进行)
实战范例 2:目标:查找与访问者同一地区的异性,按照最后登录时间逆序
挑战:高访问量社区的高频查询,如何优化。
查 询 SQL: select * from user where area=’$area’ and sex=’$sex’ order by
lastlogin desc limit 0,30;
建立复合索引并不难, area+sex+lastlogin 三个字段的复合索引,如何理解?
解读:首先,忘掉 btree,将索引字段理解为一个排序序列。
另外,牢记数据查询只能使用一个索引,每个字段建立独立索引的情况下,
也只能有一条索引被使用!
如果只使用 area 会怎样?搜索会把符合 area 的结果全部找出来,然后在这里
面遍历,选择命中 sex 的并排序。 遍历所有 area=’$area’数据!
如果使用了 area+sex,略好,仍然要遍历所有 area=’$area’ and sex=’$sex’数据,
然后在这个基础上排序!!
Area+sex+lastlogin 复 合 索 引 时 ( 切 记 lastlogin 在 最 后 ) , 该 索 引 基 于
area+sex+lastlogin 三个字段合并的结果排序,该列表可以想象如下。
广州女$时间 1
广州女$时间 2
广州女$时间 3
…
广州男
….
深圳女
….
数据库很容易命中到 area+sex 的边界,并且基于下边界向上追溯 30 条记录,
搞定!在索引中迅速命中所有结果,无需二次遍历!
认识影响结果集
影响结果集的获取
通过 Explain 分析 SQL,查看 rows 列内容
通过慢查询日志的 Rows_examined: 后面的数字
影响结果集数字是查询优化的重要中间数字,工程师在开发和调试过程中,应随
时关注这一数字。
影响结果集的解读
查询条件与索引的关系决定影响结果集。
影响结果集不是输出结果数,不是查询返回的记录数,而是索引所扫描的结
果数。
范例 select * from user where area=’厦门’ and sex=’女’
假设 索引为 area
假设 User 表中 area=’厦门’的有 125000 条,而搜索返回结果为 60233 条。
影响结果集是 125000 条,索引先命中 125000 条厦门用户,再遍历以
sex=’女’进行筛选操作,得到 60233 条结果。
如果该 SQL 增加 limit 0,30 的后缀。查询时,先命中 area=’厦门’,然后
依顺序执行 sex=’女’ 筛选操作,直到满足可以返回 30 条为止,所涉及记
录数未知。除非满足条件的结果不足 30 条,否则不会遍历 125000 条记
录。
但是如果 SQL 中涉及了排序操作,比如 order by lastlogin desc 再有 limit
0,30 时,排序需要遍历所有 area=’厦门’ 的记录,而不是满足即止。
影响结果集越趋近于实际输出或操作的目标结果集,索引效率越高。
影响结果集与查询开销的关系可以理解为线性相关。减少一半影响结果集,即可
提升一倍查询效率!当一条搜索 query 可以符合多个索引时,选择影响结果集最
少的索引。
剩余25页未读,继续阅读
资源评论
HFSsupreme
- 粉丝: 0
- 资源: 1
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功