没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
信息部
wujinyang@maxonic.com.cn
摘要
摘要
数据中心建设方案研究
深圳万讯自控股份有限公司
目录
目录
目录................................................................................................................................................ 1
1 概念............................................................................................................................................. 2
1.1 定义.................................................................................................................................. 2
1.2 现状.................................................................................................................................. 2
1.3 用途.................................................................................................................................. 3
2 数据仓库架构............................................................................................................................. 4
2.1 架构图.............................................................................................................................. 4
2.2 数据源.............................................................................................................................. 5
2.3 ETL 过程............................................................................................................................ 5
2.3.1 抽取(Extract).......................................................................................................... 6
2.3.2 转换(Transform)..................................................................................................... 6
2.3.3 加载(Load)............................................................................................................. 6
2.3.4 ETL 工具分析......................................................................................................... 7
2.4 数据中心.......................................................................................................................... 7
2.4.1 多维数据模型........................................................................................................ 7
2.4.2 细节数据.............................................................................................................. 11
2.4.3 聚合数据.............................................................................................................. 12
2.4.4 业务模型.............................................................................................................. 12
2.5 数据应用........................................................................................................................ 12
2.5.1 报表展示.............................................................................................................. 12
2.5.2 即席查询.............................................................................................................. 13
2.5.3 数据分析.............................................................................................................. 13
2.5.4 数据挖掘.............................................................................................................. 13
2.6 设计流程........................................................................................................................ 13
2.6.1 确定主题.............................................................................................................. 14
2.6.2 确定量度.............................................................................................................. 14
2.6.3 确定数据粒度...................................................................................................... 14
2.6.4 确定维度.............................................................................................................. 14
2.6.5 创建事实表.......................................................................................................... 15
2.6.6 ETL........................................................................................................................ 15
2.6.7 构建应用.............................................................................................................. 15
3 分布式大数据架构................................................................................................................... 15
3.1 架构图............................................................................................................................ 15
3.2 Hadoop........................................................................................................................... 17
3.2.1 Hadoop 技术框架................................................................................................ 18
3.3 分布式数据库................................................................................................................ 19
1 / 23
3.4 处理流程........................................................................................................................ 20
1 概念
1.1 定义
数据中心,是一个面向主题的、集成的、随时间变化的数据集合(ODS 数
据),它整合了多个数据源的历史数据进行细粒度的、多维的分析并做存储,
以方便战略决策或制作商业报表。
数据中心本身不产生数据,数据应当全部来源于外部数据源。外部数据源
通过 ETL 工具处理之后,将主题性的数据按照一定的模型存储,以达到统一使
用,按需存储,面向主题的数据存储集合,避免了以往多数据库,数据冗余过
多以及数据分散,数据无面向主题,且大多数数据无用的缺点。
其特点有面向主题,数据集成,数据本身较为稳定等。
1.2 现状
传统模式下的数据中心建设为常规数据仓库,其服务器通常采用关系型数
据库,也就是说从软件实现的角度,数据仓库和操作型数据采用的模式是一样
的。这就决定了,数据仓库和操作数据库面临同样的问题:行业垄断带来的成
2 / 23
本依赖、数据模型带来的存储瓶颈和运算瓶颈,这也为大数据技术的应用带来
了契机。
在现在新兴大数据技术如 Hadoop 的应用下,现有的数据中心已经不仅是
传统 ODS 数据存储的功能,它同时可以提供海量(PB 级)数据存储以及数据
分析(深度学习)等,并提供高可靠性与高并行运算能力。其采用的通常是非
关系型数据库 HBase。
通常,Hadoop 处理完的数据再导入到传统的数据仓库(SQL Server 或
者 Oracle 关系型数据库)中,以便做进一步的数据展示与分析。以 Oracle 为
代表的传统数据仓库,在结构化、业务逻辑比较负责的应用场景均具有不可替
代的作用,但是以 HBase 为代表的 NoSql(非关系型)数据库,在高并发读
写、强可扩展性方面也胜过关系型数据库。
后面我们也会按照这两种模式来阐述以传统关系型数据仓库为核心以及以
分布式存储为核心的数据中心建设方案。
1.3 用途
整合公司所有业务数据,建立统一的数据中心;
企业范围内的信息共享。面向整个企业和最终用户,针对分析需要按
照主题重组。形成一套全局的数据视图,并准确一致地保留历史;
3 / 23
数据的多维度分析。能够进行快速访问,精确灵活分析,随心所欲的
访问数据。直观、明显、简单、易用、切割、合并、下钻、上卷;
内外部数据的有效集成,一致的展现数据(相对于原来从多个系统中
出来的报表不一致)。适应性、扩展性、可维护性。使分散的、不一
致的操作数据转换成集成的、统一的信息,最终为企业的各管理层提
供决策的数据依据;
数据中心是数据挖掘技术的关键和基础。利用数据挖掘技术在帮助用
户理解现有信息,从当前和历史数据的分析中,获得简单的趋势分析,
假设分析,预测分析等,对未来的企业状况做出完整、合理、准确的
分析和预测。
2 数据仓库架构
2.1 架构图
4 / 23
剩余22页未读,继续阅读
资源评论
- Starv2018-07-31学习,谢谢分享
sz_jarrod
- 粉丝: 2
- 资源: 2
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功