没有合适的资源?快使用搜索试试~ 我知道了~
【数据资源管理平台】大型集团企业数据资源管理平台建设方案WORD.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 115 浏览量
2024-03-01
20:18:43
上传
评论
收藏 215KB DOCX 举报
温馨提示
试读
18页
【数据资源管理平台】大型集团企业数据资源管理平台建设方案WORD.docx
资源推荐
资源详情
资源评论
大型集团企业数据资源管理平台建设方案
1. 数据资源管理平台建设目标...............................................................................................................1
2. 数据仓库架构设计 ...............................................................................................................................1
2.1. 数据仓库框架............................................................................................................................................1
2.2. 数据源定义 ................................................................................................................................................3
2.3. 组件架构定义............................................................................................................................................4
2.4. 元数据管理定义 .......................................................................................................................................5
3. 数据仓库方案设计 ...............................................................................................................................6
3.1. 传统数据仓库方案...................................................................................................................................7
3.2. 大数据平台参考技术架构...................................................................................................................15
1. 数据资源管理平台建设目标
▪ 支持多层次的数据应用,包括 ODS、数据仓库及数据集市层;
▪ 采用整合的数据模型,同时利用企业服务总线和数据整合平台,
建立 XX 集团统一的企业数据管理,提供准实时数据服务和批量数据
服务,实现跨部门、跨应用系统的数据共享;
▪ 数据仓库具备大数据采集、存储、计算能力扩展,支撑后续业
务应用大数据挖掘需求。
2. 数据仓库架构设计
传统数据存储、分析技术已无法支撑大数据的存储,挖掘,大数
据能力作为传统数据仓库的重要增强、组成部分,能够灵活满足业务
分析需求。
2.1. 数据仓库框架
根据 XX 公司在数据仓库规划与建设项目中积累的经验,对比全
球公共事业行业领先实践案例,并结合 XX 集团公司实际现状与未来
发展需求,提出了 XX 集团数据仓库框架。
此框架主要描述了 XX 公司数据仓库建设所需要具备的各种组
件与相关架构,其主要组成部分包括:
▪ 数据源 — 临时存放将要传入数据仓库内的数据。这些数据包
括:各业务应用系统的应用数据、银行缴费交易等外部业务系统应用
数据,社交数据、网站数据、设备运行状态等数据。
▪ 架构组件 — 架构组件指数据仓库中数据从数据源流向最终
用户的过程中用来对数据处理、存储和访问提供支持的软件与硬件系
统。数据仓库架构框架主要包括 ETL 架构、前端展现架构、数据仓库
存储架构、运维管理与开发架构几类。
▪ 元数据管理 — 使数据信息能够正确定义、收集并发布的工具
与技术,主要包括用户数据的业务含义与技术特征。
2.2. 数据源定义
数据源是存放最终用户报表所需各类信息的源头,是操作型与交
易处理型业务应用系统(如燃料管控系统、人力资源系统、财务系统
等)内收集和存放的数据集合。数据仓库一般是从满足报表与分析需
求的单独数据源头或者多个数据源开始,在整个数据仓库生命周期内
逐渐扩展,并且逐步按照需要纳入更多数据源与外部系统的数据。
随着物联网、移动互联网的发展及应用,手机、智能终端、网上
商城、社交网络、电子通讯、卫星定位,任何操作都附带产生大量的
各种类型的数据。数据成为社会生活中举足轻重的生产要素,数据在
当今数字化社会中的发挥的作用日益关键。为支撑 XX 集团后续在大
数据的分析挖掘需求,后续需要考虑大数据源的梳理及定义。
数据仓库存储
元数据管理
技术元数据
元数据
业务元数据
数据源
燃料
物资
财务
人资
…
日志
社交
实时
…
大数据存储
数据仓库
前端展现
报表
查询
分析
挖掘
数据抽取
ETL
大数据获取
运维管理
开发架构
2.3. 组件架构定义
数据仓库存储架构
数据仓库存储架构由数据仓库内包含的全部数据存储区域组成。
同时,这一架构还包括了数据与处理的物理分布,以及支撑这些数据
存储区域的硬件与软件系统。
尽管数据仓库是一种集中式的数据集合,但是,为了满足用户
对于性能、可用性以及可伸缩性方面的需求,企业可以通过多条路径
来实现端到端的数据仓库技术架构。数据仓库存储架构实现路线的目
标是构建能够满足用户与操作需求的数据存储方法与物理分布方式。
数据仓库存储架构内的数据存储区域主要包括:数据缓冲区
(Staging)、数据仓库区(Data Warehouse)、操作数 据存储区
(ODS)、数据集市(Data Mart)、大数据存储等几部分,并且数据
仓库存储架构的构成由于最终用户实际业务需求的不同而多种多样。
ETL 架构
ETL 架构主要提供数据转储以及数据移动控制相关的各种流程
与服务,用于完成数据导入数据仓库的工作。ETL 架构主要由以下几
个能够确保数据定期被正确地导入数据仓库的服务组成:任务调度、
批量文件控制、错误处理、异常处理、文件与数据传输、审核与验证。
前端展现架构
前端展现架构主要负责通过各种前端展现工具将数据仓库内的
数据展现给最终用户。
剩余17页未读,继续阅读
资源评论
数字化建设方案
- 粉丝: 8620
- 资源: 2万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功