商场数据仓库ETL系统架构设计.pdf
版权申诉
185 浏览量
2022-06-05
21:32:25
上传
评论
收藏 196KB PDF 举报
商场数据仓库
ETL
系统架构设计
商场数据仓库 ETL 系统架构设计
_、
ETL
概述
ETL 是数据抽取(Extract) 转换(Transform) ＞加载(Load)的简
写，它是指：将各种异构数据源中的数据抽取出来，并将不同数据 源的
数据进行转换和整合，得出一致性的数据，然后加载到数据仓 库中。
ETLT 具，是数据仓库系统的重要组成部分;是影响数据仓库 系统成败的
关键。
获取 ETL 工具有两个途径：利用现有商品化 ETL 工具，虽然能缩 短
系统的开发周期，但存在投资成本大，软件的针对性、通用性、兼 容性
差的问题。自行设计开发一个标准通用的 ETL 工具，提高 ETL 的实用价
值,降低项目实施的成本和风险，具有重要的意义。
由于数据仓库和数据源系统在数据格式、数据模型等方面存在很 大
差异，客观上形成数据仓库 ETL 实现过程很大的难度。在 ETL 的 工作过
程中，每步都和数据仓库元数据密切相关。
按照传统的定义，元数据(Metadata)是关于数据的数据。元数据 支
撑了数据仓库开发应用的全过程，成为数据从数据源到数据仓库 的桥
梁。
数据抽取阶段，没有相应的映射规则，就无法知道需要抽取什么 样
的数据;在将源数据存储格式转换为目标数据存储格式时，需要知 道源
存储格式和目标存储格式的信息，以及相应的存储格式之间的 转换规
则;在数据加载阶段，需要知道目标数据仓库的数据结构和相 关信息。
所有这些信息，都需要元数据提供。
由此可见，ETL 过程自始至终都需要元数据的支持和控制。正因 为
如此，要解决 ETL 开发中的问题，应当从相关的元数据着手。
二、关于
CWM
及其提供的工作机制
资源评论
