没有合适的资源?快使用搜索试试~ 我知道了~
列式存储.pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 165 浏览量
2022-11-24
13:44:18
上传
评论
收藏 825KB PDF 举报
温馨提示
![preview](https://dl-preview.csdnimg.cn/87145518/0001-39f5b7af8770613176f4c0acd07a6386_thumbnail.jpeg)
![preview-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/scale.ab9e0183.png)
试读
17页
...
资源推荐
资源详情
资源评论
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083646.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![exe](https://img-home.csdnimg.cn/images/20210720083343.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://csdnimg.cn/release/download_crawler_static/87145518/bg1.jpg)
1. 定义
1.1. 定义
Sybase 在 2004 年左右就推出了列存储的 Sybase IQ 数据库系统,主要用于在线
分析、数据挖掘等查询密集型应用。列存储,缩写为 DSM,相对于 NSM(N-ary
storage model),其主要区别在于:
DSM 将所有记录中相同字段的数据聚合存储;
NSM 将每条记录的所有字段的数据聚合存储;
1.2. 优点
列存储的主要优点有两个:
1) 每个字段的数据聚集存储,在查询只需要少数几个字段的时候,能大大减少
读取的数据量,据 C-Store, MonetDB 的作者调查和分析,查询密集型应用的特
点之一就是查询一般只关心少数几个字段,而相对应的,NSM 中每次必须读取整
条记录;
2) 既然是一个字段的数据聚集存储,那就更容易为这种聚集存储设计更好的压
缩/解压算法。
![](https://csdnimg.cn/release/download_crawler_static/87145518/bg2.jpg)
1.3. 场合
列存储适合用在什么场合?
OLAP,数据仓库,数据挖掘等查询密集型应用。当然,列存储数据库并不是
说完全不能进行更新操作,其实它们的更新操作性能并不是很差,一般也够用,
但是一方面不如自己的查询性能,另外一方面也不如 Oracle 这种专门搞 OLTP
的数据库,所以一般就不提这个。
列存储不适合用在什么场合?
相对来说,不适合用在 OLTP,或者更新操作,尤其是插入、删除操作频繁的场
合。
2. sysbase iq 列存储介绍
2.1. 列存储
不同于传统的关系型数据库,其数据在表中是按行存储的,Sybase IQ 是通过表
中的列来存储与访问数据的。尽管这种方式很明显的不太适合于交易环境,在交
易环境中,一个事务与一行数据有效对应,而在查询进程环境中,很显然,查询
是基于特定的列来选择的。
列方式所带来的重要好处之一就是,由于查询中的选择规则是通过列来定义的,
因此整个数据库是自动索引化的。事实上,情况并不象上述的这样简单,Sybase
IQ 有各种方法支持基于列的索引,我们将在下面就此讨论。
使用列方法的另一个结果就是,Sybase IQ 在压缩方面比传统的关系型数据库更
加有效(根据 Sybase 所称,效果可达 5 倍之好)。这个原因,无疑说,是由于
同一列中的所有数据域有相同的数据类型。因此,每一列都可以为优化的效率与
检索进行压缩。相比来讲,基于行的存储,各个不同的域拥有各不相同的数据类
型,这非常适合于交易进程。在这样的环境中,不断变换理想的压缩算法是不可
行的,这意味着任何压缩都将可能是一种最低通用的规则。
![](https://csdnimg.cn/release/download_crawler_static/87145518/bg3.jpg)
基于列的方法的另一个重要优势完全基于所有读出的数据量。无论何时你从传统
的数据库中访问数据,你需要读出完整的每一行,而不管你实际所感兴趣的是哪
些域。实际上,这可能意味着读 300 个字节的数据仅仅检索 20 个字符的数据。
但是,基于列来读取数据,你仅仅需要读出你想要了解的数据。当然,读取一条
单独的记录时,性能上的不同可以忽略,但是许多查询需要进行全表扫描。当读
取数百万行数据时,性能的不同就会非常显著。
Sybase 认为,Sybase IQ 的列存储天然的比普通的 ROLAP 方法提供更佳的性能,
IQ 不需要象多数竞争对手或者 Sybase Adaptive Server Enterprise(ASE)一样
支持硬件的并行处理。尤其是,Sybase 指出,与数据分区相关的问题就是需要
支持硬件的并行机制。显而易见,不论如何进行分区,分区都会带来很多问题(更
不必说额外的维护了),不过,它打开了性能改进的实质性途径。然而,Sybase
进一步阐述道,这仅仅是对基于行的方法所与生俱来的糟糕性能的一种补偿机制。
Sybase 有很多事实支持它的论断,但这并不意味着 Sybase 避免任何形式的数据
分区。然而,不同于水平分区,Sybase IQ 实施的是垂直分区,也就是说分区是
按照列而不是按照行进行的。该方法的优势之一是分区从来不会变得不均衡,这
是由于每个表中的每列都有相同数量的域。这大大降低了管理分区的维护需求,
同时消除了数据库的重新组织,而在分区变得不均衡从而开始影响性能的时候,
数据库重新组织是必需进行的。
最后,需要注意的是,Sybase IQ 并没有避免使用 OLAP。对于那些希望在聚合层
次下以一个相对预先定义的方式进行查询的用户来讲,OLAP 具有明显的优势。
基于此,Sybase 支持 OLAP 功能属性如排列、百分比、平均。
2.2. 数据压缩
传统的数据库引擎不能以一种通用的方式进行数据压缩,主要是由于存在以下三
个问题:
1. 按行存储的数据存储方式不利于压缩。这是因为数据(大多为二进制数据)
在以这种方式存储时重复并不多。我们发现,按行存储的数据,最多能有5-10%
的压缩比例;
![](https://csdnimg.cn/release/download_crawler_static/87145518/bg4.jpg)
2. 对于许多 2K 和 4K 的二进制数据页来说,为压缩和解压缩而增加的开销太大;
3. 在 OLTP 环境中,大量读取和更新混杂在一起。每一次更新需要进行压缩操
作,而读取只需解压缩操作,大多数的数据压缩算法在压缩时比解压缩时慢 4 倍。
这一开销将明显降低 OLTP 数据库引擎的事务处理效率而使得数据压缩的代价
昂贵到几乎不能忍受。
在数据仓库应用中,数据压缩可以用小得多的代价换取更大好处。其中包括减少
对于存储量的要求;增大数据吞吐量,这相当于减少查询响应时间。
Sybase IQ 使用了数据压缩。这是由于数据按列存储,相邻接的字段值具有相同
的数据类型,其二进制值的范围通常也要小得多,所以压缩更容易,压缩比更高。
Sybase IQ 对按列存储的数据通常能得到大于 50%的压缩。更大的压缩比例,加
上大页面 I/O,使得 Sybase IQ 在获得查询的优良性能的同时,减少了对于存储
空间的需求。
在传统的数据库中,为提高查询性能所建立的索引占用的磁盘空间往往需要比数
据本身需要的磁盘空间多出 3-10 倍。而 Sybase IQ 存储数据所占用的磁盘空间
通常只是原数据文件的 40%-60%,是传统数据库所占用空间的几分之一。
Sybase IQ 与传统数据库在数据压缩方面的典型对比
智能压缩技术,与精巧的索引结构和列存储结合,给了IQ 比其他数据库引擎高
的多的存储效果。这将获得更低的存储成本与更高的性能(因为系统仅需很少的
磁盘 I/O 读取或写入任何给定的数据库块)。
2.3. 索引
Sybase IQ 的秘密在于其索引。随着 Sybase 客户发现了新的分析需求,Sybase
可以简捷地建立新的索引以满足这些需求。这种方法的奇妙之处在于为数据仓库
增加新的索引几乎不会(即使有也是微乎其微)影响数据仓库的架构或使用仓库
的分析型应用。在实时企业与闭环应用领域,Sybase 将索引视为在 TB 数量级(将
来)甚至 PB 数量级数据仓库中获得更高查询性能的关键。今天,Sybase 实际上
已使用了如下几种种索引机制:
剩余16页未读,继续阅读
资源评论
![avatar-default](https://csdnimg.cn/release/downloadcmsfe/public/img/lazyLogo2.1882d7f4.png)
![avatar](https://profile-avatar.csdnimg.cn/dfba069df9d743e89798b70d3e80af24_xxpr_ybgg.jpg!1)
xxpr_ybgg
- 粉丝: 6559
- 资源: 3万+
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![voice](https://csdnimg.cn/release/downloadcmsfe/public/img/voice.245cc511.png)
![center-task](https://csdnimg.cn/release/downloadcmsfe/public/img/center-task.c2eda91a.png)
最新资源
- 藏区特产销售平台源代码+论文+毕业设计.zip
- B297C8EC5A69641DB3E681E1B3F894E5.mp4
- PrimitivesPro v2.2.unitypackage
- 财务管理系统源代码+论文.zip
- 高级信息通信运行管理员第七套试卷
- UModeler v2.11.6 (May 10, 2024).unitypackage
- 基于Selenium的Java爬虫实战(内含谷歌浏览器Chrom和Chromedriver版本127.0.6486.0)
- 基于FPGA的CORDIC算法旋转模式实现
- bilibili视频解析下载源码
- 基于Selenium的Java爬虫实战(内含谷歌浏览器Chrom和Chromedriver版本124.0.6367.60)
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![feedback](https://img-home.csdnimg.cn/images/20220527035711.png)
![feedback](https://img-home.csdnimg.cn/images/20220527035711.png)
![feedback-tip](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![dialog-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/green-success.6a4acb44.png)