没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
1 设计思路及原则概述
1.1 ETL 升级
1.1.1 总体功能描述
ETL 升级一方面采用元数据驱动 ETL 的方式,通过配置元数据驱动 ETL;另
一方面,在 ETL 调度控制方面,采用结合数据质量校验的 ETL 调度。
在 ETL 实施中,实施流程如下:
第一步:当业务逻辑发生变更,会将变更情况发送到 ETL 实施人员;
第二步:ETL 实施人员根据业务逻辑变更内容配置 ETL 元数据;操作 ETL
JOB 生成装置生成 ETL JOB;配置 ETL 调度,生成调度视图;
第三步:结合数据质量校验的 ETL 调度装置通过由 ETL 元数据生成的 ETL
JOB 和调度视图执行结合数据质量校验的 ETL 调度;
第一步和第二步构成以元数据驱动的方式实现 ETL,第三部的 ETL 调度装置
执行结合数据质量校验的 ETL 调度。
如下图所示:
整个 ETL 实施流程涉及多个环节,包括业务逻辑变更所产生的沟通环节 ,
ETL 实施环节,ETL 调度环节。为了将这些实施环节紧密的有条不紊的结合在一
起,需要建设一个 ETL 平台。
ETL 平台整合所有的 ETL 实施环节,从业务逻辑变更通知到 ETL JOB 生成,
再到 ETL 调度。ETL 平台包含三个功能模块:ETL 元数据驱动模块、ETL 调度模块、
ETL 元数据管理模块。
1.1.2 设计思路以及原则
ETL 平台的设计采用 SUN 公司 J2EE 工业标准的应用服务,技术上为 B/S 层
架构轻量级 J2EE 程序。其中间件服务器采用 BEA 公司的 WebLogic Server,数据
库为 IBM 公司的 DB2。
ETL 平台的功能涵盖整个 ETL 实施过程,包含生成 ETL JOB,配置 ETL 调度,
管理 ETL 元数据。ETL 平台的设计思路如下:
功能上是工作流程驱动的应用程序
业务功能和操作体现在流程节点内容和节点中的操作
操作简单便捷通俗易懂
ETL 平台以图形化方式体现元数据驱动
能够以图形化的方式展现逻辑管理系统与 ETL 平台的对接
2 系统架构设计
2.1 ETL 升级
2.1.1 业务需求
2.1.2 ETL 平台总体系统架构方案
2.1.2.1 ETL 平台逻辑架构
ETL 平台的逻辑架构如下图所示:
ETL 平台的 ETL 元数据驱动模块接收 ETL 配置信息生成 ETL JOB,实现基于元
数据驱动的 ETL JOB 生成。通过 ETL 调度模块配置 ETL 调度,由 ETL 调度控制功
能控制 ETL 调度并且结合数据质量校验,实现结合数据质量校验的 ETL 调度。
ETL 元数据管理模块作为 ETL 配置信息的管理功能,提供 ETL 配置信息的搜索和
查询。
2.1.2.2 ETL 平台技术架构
ETL 平台的技术架构如下图所示:
剩余63页未读,继续阅读
资源评论
qq_39778004
- 粉丝: 0
- 资源: 1
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功