没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
14页
(完整word版)数据仓库技术及其在金融行业的应用.pdf(完整word版)数据仓库技术及其在金融行业的应用.pdf(完整word版)数据仓库技术及其在金融行业的应用.pdf(完整word版)数据仓库技术及其在金融行业的应用.pdf(完整word版)数据仓库技术及其在金融行业的应用.pdf(完整word版)数据仓库技术及其在金融行业的应用.pdf(完整word版)数据仓库技术及其在金融行业的应用.pdf(完整word版)数据仓库技术及其在金融行业的应用.pdf
资源推荐
资源详情
资源评论
数据库技术及其在金融行业的应用
1. 前言
数据库仓库(DW)技术从 1991 年开始出现,经过多年的摸索和应用,目前在一些发
达国家已经建设得比较成熟,为企业综合与灵活的分析型应用提供了强大的数据支撑,为管
理层的分析决策和操作层的智能营销提供了技术保证,为企业带来了多方面的收益。而在国
内,数据库仓库仍处于尝试或初级建设阶段。
国内的金融行业,随着外部监管和信息披露的压力、内部管理和决策分析的需要,在
建设分析类应用时,也正在逐渐从孤立的数据层向统一的数据仓库层规划和转移。建立数据
仓库能够减少对数据层的重复投资和资源浪费、统一数据标准、监管和提高数据质量、消除
信息孤立、支持综合分析和灵活及时的分析型应用、适应管理和发展、提高业内竞争力。
本文对数据库技术做一个概括性的介绍,并对国内外金融行业数据仓库技术的应用现
状做一个简单分析。
2. 数据仓库概念
2.1. DW 的提出
2.1.1. 需求
业务系统的建设与逐渐完善,巨量数据信息的积累。
分析类需求不断增加,传统分析类应用造成巨大的资源浪费和管理困难。
业务数据平台异构、数据来源口径多、标准不统一、信息孤立。
整合部门级应用,建设企业级应用,满足综合分析、复杂查询、智能营销等高级需求。
2.1.2. DW 概念的提出
MIT 在 20 世纪 70 年代对业务系统和分析系统的处理过程进行研究,结论是只能采用
完全不同的架构和设计方法。
1988 年,IBM 为解决全企业数据集成问题,提出了信息仓库的概念,确立了原理、架
构和规范。但没有进行实际的设计。
1991 年,Bill Inmon 提出了数据仓库概念,并对为什么建设数据仓库和如何建设数据仓
库进行了论述。Bill Inmon 被称为数据仓库之父。
2.2. DW 的四个特征
2.1.1. 面向主题
OLTP 应用或支持独立分析的应用是面向应用组织数据,数据分散,不利于综合分析。
为 OLAP 应用提供数据支撑的 DW 是综合分析业务需求对不同源系统数据进行提取、
提炼,按主题重新设计数据模型和重组数据,覆盖所有的应用。
主题是在较高层次上将企业信息系统中的数据综合、归类,并进行分析利用的抽象。
例如对于一个银行来说,DW 所面向的主题域可能包括当事人、协议、产品等。
2.1.2. 集成共享
由于源系统的数据平台异构、数据标准不统一、数据模型差别大,在建设数据仓库时
要进行数据集成,为所有应用共享统一标准的数据。
数据集成的工作主要包括三个内容。
数据清洗:按照数据质量管理的要求进行数据清洗,保证进入数据仓库的数据都是符
合规范且可以使用的。
数据转换:将不同标准的数据进行转换与统一,并保证可以回溯。
数据整合:不同源系统的数据在数据仓库中可能会进入到相同的模型中,要对源系统
与数据仓库模型的差异进行分析整合。
2.1.3. 随时间变化
DW 自己不产生源数据,但需要根据源数据进行数据加工和汇总。DW 中加工后的基础
数据和汇总数据是随时间不断变化的。
2.1.4. 不可更新
这是指在 DW 中不会更新从源系统中传过来的细节数据。
在进行数据转换时,一般也并不删除原值。
2.2. DW 与 DM、ODS 的关系
2.2.1. DW 与 DM
DM 是数据集市(Data Mart),相当于部门级或应用级的数据仓库,一个企业内部一般
建有多个 DM,不为种类的分析型应用使用。各 DM 分别设计和建立,数据标准和数据模型
没有统一。DM 建设难度小,容易成功,但随着数据集市越来越多,无法解决数据冗余、数
据质量、数据标准不统一、统计数据不一致等问题,无法满足综合分析和智能查询的业务需
要。
DW 是指企业级数据仓库,一般一个企业内部只建立一个,数据层大集成,可以为所有
分析型应用所使用。由于技术条件的限制,DW 在前几年的建设初期,难度很大,遭到过大
面积的失败。
目前所指的数据仓库实际上包含了数据集市和前期数据仓库的概念,可以说是数据集
市和数据仓库的融合。数据仓库内部即可建立企业级整合统一的数据层,同时也可建立为部
门级决策支持所设计的数据集市。
2.2.2. DW 与 ODS
ODS 是操作型数据存储(Operational Data Store)。与 DW 相同的是,它也是面向主题
的;是集成的(可能是部分集成)。与 DW 不同的是,ODS 要具有同时支持分析型应用和操
作型应用的特性,因此它存储的数据是当前的,需要实时刷新,却不一定要求存储非常大量
的历史;基础数据是随业务而更新的。
ODS 也经历了多种应用形式,它曾做在数据仓库的前端,做一些初级的数据整合,数
据快进快出,例如这可以支持要求每小时做一次分析的应用。它也曾作为初级形式的数据仓
库,例如支持面向电子商务的 ODS。
ODS 产生的技术背景是由于早期的 DW 因为技术条件的限制,不存储细节数据、难以
实现频繁的更新和删除,不能支持实时性要求较高的分析应用。但 ODS 具有数据同步复杂
(一般需要两次数据落地)、数据共享困难、数据冗余、管理复杂等问题。目前由于条件的
成熟,ODS 和 DW 也有走向融合的趋势,在数据仓库内部分为动态数据区和表态数据区,
分别相当原来的 ODS 和 DW 概念。
2.2.3. 走向融合后的 DW
集成原来的 DW、DM 和 ODS,融合后的企业级数据仓库,在内部划分出多个数据层
次。在近期业务数据区,能够为一线业务人员提供战术性决策和操作智能;在长期历史数据
区,能够为管理人员提供战略性决策分析和复杂查询。即可支持部门特色的应用,也可支持
跨部门的企业级综合应用。
整合后的企业级数据仓库(EDW)简化了数据管理和维护流程,减少了数据冗余和延
迟,减小了投资成本和协调工作,满足多种级别智能型应用的需要,为企业创造长期的价值。
3. 数据仓库架构
3.1. 数据仓库架构的构成
广义的企业级数据仓库(EDW)包括基础平台和分析型应用。
基础平台又可分为技术架构和数据架构。技术架构包括 ETL 体系、数据访问体系、数
据存储体系、安全管理体系等;数据架构包括数据标准、数据质量、数据模型、数据管控、
数据接口等。
剩余13页未读,继续阅读
资源评论
苦茶子12138
- 粉丝: 1w+
- 资源: 6万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功