没有合适的资源?快使用搜索试试~ 我知道了~
大数据量数据整合与查询性能优化 DB2
需积分: 10 6 下载量 144 浏览量
2017-09-20
16:41:35
上传
评论
收藏 1.87MB DOC 举报
温馨提示
综合查询和统计分析系统是大数据量的查询系统 ,(1)如何充分调动系统资源;(2)采取何种方案使得达到某一目的而消耗的系统资源最少。第一个目标是要提高系统资源利用率;第二个目标是要确保对资源的利用是高效的。
资源推荐
资源详情
资源评论
大数据量数据整合与查询性能优化(IBM AIX 5.3)
大数据量数据整合与查询性能优化(修订)
前言
本文适用操作系统平台为 IBM AIX 5.3,也可用于一般 UNIX 平台;数据库为 IBM DB2,
版本 9.1 文中引用了笔者在金宏工程外汇管理局整合数据库、统计分析系统和综合查询子
系统的开发经验。本文的题目就来自于这样一个背景,因为整合库系统是一个大数据量数
据整合系统,综合查询和统计分析系统是大数据量的查询系统,所以将本文命名为《大数
据量数据整合与查询性能优化》。本文只考虑单一节点的数据库,没有讨论数据库集群。
关于性能优化有两大目标:(1)如何充分调动系统资源;(2)采取何种方案使得达
到某一目的而消耗的系统资源最少。第一个目标是要提高系统资源利用率;第二个目标是
要确保对资源的利用是高效的。
硬件产品的升级非常快,商用服务器通常是多核,多硬盘的。现今,就连家用机也配
备了多核。如金宏工程采购的 IBM 小型机,便是多核的,中等配置为 8CPU、32GB 内存,
稍高的配置为 16CPU,甚至更高。而硬盘则是 RAID5 磁盘阵列,通常一台机器 10 块盘
或更多。
提高并行性便能很好的调动系统资源。通常从两个方面可以提高并行性:(1)几件
事并行的做;(2)一件事使用多个处理器来做。在系统设计时,对处理流程进行优化,
让多个独立的过程并行执行,从而占用多个处理器,提高处理器的利用率。在性能测试环
境,或者生产环境上需要调整系统或者应用的相关参数,使得一个过程也能占用多个处理
器,进一步提高处理器的利用率。
“消耗更少的系统资源,来完成相同的事情”是所有程序员追求的目标。为了完成这一
目标,程序员们不断优化自己的代码,甚至不惜彻底的改变程序的核心算法。
对于 SQL 代码的优化,通常处于硬件、操作系统、数据库管理系统等优化之后。
为了更好的达到这一目标,通常要求程序员有很好的代码书写习惯,第一次就写出优
良的代码。优化时,只要考虑算法的优化即可。算法的优化也不是盲目的,通常针对那些
“需要优化的部分”来进行。“需要优化的部分”就是那些影响整体性能的,影响整体进度的,
处于“关键路径”上的过程。
代码和算法的优化也是性能优化的重要方面。但这个方面不是本文介绍的重点。
阅读说明
本文主要面向数据库设计和开发人员、部署人员和性能调优人员。
1
大数据量数据整合与查询性能优化(IBM AIX 5.3)
目录
前言.....................................................................................................................................................1
阅读说明.............................................................................................................................................1
1 DB2 数据库基本概念.....................................................................................................................4
1.1 数据库对象................................................................................................................................4
1.1.1 实例.....................................................................................................................................5
1.1.2 数据库.................................................................................................................................5
1.1.3 节点组.................................................................................................................................5
1.1.4 表.........................................................................................................................................5
1.1.5 视图.....................................................................................................................................5
1.1.6 索引.....................................................................................................................................6
1.1.7 模式.....................................................................................................................................7
1.1.8 系统目录表.........................................................................................................................7
1.2 存储器对象................................................................................................................................7
1.2.1 表空间.................................................................................................................................8
1.2.2 容器.....................................................................................................................................9
1.2.3 缓冲池...............................................................................................................................10
2 表空间存储....................................................................................................................................11
2.1 AIX 系统存储管理简介..........................................................................................................11
2.2 裸设备和文件系统.................................................................................................................13
2.3 系统管理和数据库管理.........................................................................................................14
2.4 如何合理创建表空间设备.....................................................................................................14
2.4.1 原则...................................................................................................................................14
2.4.2 表空间容器的创建方法...................................................................................................14
2.4.3 整合数据库表空间设备情况...........................................................................................15
2.5 建库语句参考.........................................................................................................................16
3 缓冲池和表空间............................................................................................................................18
3.1 缓冲池......................................................................................................................................18
3.2 缓冲池大小..............................................................................................................................18
3.3 表空间页大小.........................................................................................................................19
3.4 系统临时表空间.....................................................................................................................19
3.5 区段大小和预取大小.............................................................................................................20
3.5.1 区段大小...........................................................................................................................20
3.5.2 预取大小...........................................................................................................................20
4 提高 SQL 语句执行效率...............................................................................................................21
4.1 建立索引..................................................................................................................................21
4.2 采用表分区..............................................................................................................................22
4.3 运行统计和重组.....................................................................................................................23
4.3.1 通过运行统计来收集索引信息.......................................................................................23
4.3.2 存储过程里执行运行统计语句.......................................................................................24
4.3.3 重组表中的数据...............................................................................................................25
4.4 减少对数据库的更新和删除操作.........................................................................................25
4.4.1 更新操作...........................................................................................................................25
4.4.2 删除操作...........................................................................................................................28
2
大数据量数据整合与查询性能优化(IBM AIX 5.3)
4.5 如何使访问更高效.................................................................................................................30
5 参数调优........................................................................................................................................32
5.1 AIX 系统..................................................................................................................................32
5.2 DB2 环境变量.........................................................................................................................33
5.3 DB2 数据库实例参数.............................................................................................................34
5.4 DB2 数据库参数.....................................................................................................................34
6 开始行动........................................................................................................................................35
6.1 用 topas 监控硬件使用情况...................................................................................................35
6.2 从执行时间来确定主要矛盾.................................................................................................35
6.3 进一步观察以决策.................................................................................................................36
6.3.1 DB2 Visual Explain...........................................................................................................37
6.3.2 DB2exfmt..........................................................................................................................39
6.3.3 DB2expln...........................................................................................................................40
6.3.4 表快照监视器...................................................................................................................40
6.4 不同数据库处于不同实例.....................................................................................................41
6.5 开始行动..................................................................................................................................41
7 参考文献........................................................................................................................................42
3
大数据量数据整合与查询性能优化(IBM AIX 5.3)
1 DB2 数据库基本概念
1.1 数据库对象
关键的数据库对象包括:实例、数据库、节点组、表、视图、索引、模式、
系统目录表。图 1 显示了一些数据库对象之间的关系。它也显示了表、索引和
长整型数据存储在表空间中的情况。
图
1.
一些数据库对象之间的关系
4
大数据量数据整合与查询性能优化(IBM AIX 5.3)
1.1.1 实例
实例(有时称为数据库管理程序)是管理数据的 DB2 代码。它控制可对数
据执行的操作,并管理分配给它的系统资源。每一个实例都是一个完整的环境。
一个实例有它自己的数据库(其他的实例不能存取它)。它还有独立的安全性,
不受同一机器(系统)上其他实例的影响。
1.1.2 数据库
关系数据库将数据表示成表的集合。表由数目已定的列和任意数目的行组
成。每个数据库都包括一组描述数据的逻辑和物理结构的系统目录表,一个包
含为该数据库分配的参数值的配置文件以及一个带有正在进行的事务和可归档
事务的恢复日志。
1.1.3 节点组
节点组是一个或多个数据库分区组成的集合。当您想为数据库创建表时,
首先创建节点组以存储表空间,然后创建表空间以存储表。
1.1.4 表
关系数据库将数据表示成表的集合。表由逻辑排列的行和列数据组成。所
有数据库的表数据都被存储在表空间中。
1.1.5 视图
视图是高效率的数据呈现方法(无需维护数据)。视图不是实际的表,不
需要永久性存储器。创建并使用一个“虚拟表”。
视图可以包括它所基于的表中的所有或某些列或行。例如,可以在视图中
连接一个部门表和一个员工表,以便可以列出特定部门中的所有雇员。图 2 显
示了表和视图的关系。
5
剩余41页未读,继续阅读
资源评论
tinkerbeta
- 粉丝: 1
- 资源: 9
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 奔图电子软件笔试试资料C,C++奔图电子软件笔试试资料C,C++
- BAIDU2022年嵌入式面试资料BAIDU2022年嵌入式面试资料
- 算法设计北航童咏昕老师-归并排序(分而治之)C语言实现
- VIVO2020年嵌入式开发C++面试资料
- TP-Link2021嵌入式工程师面试资料
- qt通过按键实现对客户端的断开与连接
- 2024嵌入式面试资料TCPIP协议栈面试笔试资料
- 2024嵌入式面试资料TCL面试资料2024嵌入式面试资料TCL面试资料
- 2024嵌入式面试资料STM32基础知识
- ISO 15118-4-2018(中文翻译+英文原版)道路车辆.电网通信接口车辆.第4部分:网络与应用协议一致性测试.zip
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功