没有合适的资源?快使用搜索试试~ 我知道了~
普元数据质量管理+元数据管理技术建议书V1.6.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 106 浏览量
2023-10-25
21:33:07
上传
评论
收藏 6.41MB DOCX 举报
温馨提示
试读
58页
普元数据质量管理+元数据管理技术建议书V1.6.docx
资源推荐
资源详情
资源评论
**大数据平台基础库资源池建设工程 PaaS 管控平台
技术建议书
##软件技术有限公司
1 总体方案建议
1.1 PaaS 管控平台建设方案 –Liuyanchu/Wangrenkang/普元
1.1.1 平台架构及功能
1.1.1.1 总体系统架构
PaaS 管控平台为**大数据平台中的核心管控部分,如上图所示,其中红色虚框部分即
为 PaaS 管控平台范围,包括如下功能:
统一调度:统一调度引擎负责完成任务的调度配置、调度执行和执行过程的监控。
具体任务的执行细节统一调度引擎无需关注,任务只是调度流程中的一个处理环节。
企业级 ETL 管控平台需要实现对调度流程的新增,修改,删除,查看的功能。
数据质量管理:主要包括稽核规则管理、执行、监控、告警。
元数据管理:由 IDE 提供数据血缘关系信息,进行影响分析、血缘分析。
开发者 IDE:应用开发者应 IDE 开发者利用 IDE 环境进行应用开发,应用开发方式
可以通过图形化的方式进行拖拽开发,也可以基于脚本、存储过程完成开发工作。
1.1.2 PaaS 基本功能描述
1.1.2.1 元数据管理
数据地图
数据地图为从宏观角度展示系统以及系统之间数据 ETL 流程向关系,并支持从系统到
数据库的下钻及相关信息的展示。对于数据地图中单节点的信息可通过双击节点展示数据地
图节点详细信息;双击两个系统节点之间连线上的锚点可下钻到这两个节点下的数据库之间
关系。
元数据展现
使用浏览 Tab 可以浏览元数据树上的元数据,通过选择某个元数据可以在详细页面中
进一步浏览该元数据的详细信息,在浏览 Tab 中提供新建元数据、切换视图、刷新、切换名
称、定位快捷方式。
元数据树:以树形方式展示元数据,元数据树上的元数据全部来源于产品知识库,元
数据树展示的元数据内容取决于当前选择的视图。
详细信息页面:通过详细信息页面可浏览元数据的基本信息、属性信息、组合的元数
据、关联的元数据。
编辑元数据
使用编辑元数据可以在 Tab 页面上直接对某个元数据可以在进行编辑操作,在页面 Tab
中提供元数据增加、元数据修改、元数据删除、元数据关联关系新增、元数据关联关系删除
操作。
查询元数据
产品提供通用查询和高级查询两种查询元数据方式。通过进入查询 Tab,通用查询中在
输入框中输入查询关键字,模糊查询产品知识库中的元数据,为进一步精确定位查询范围,
在输入查询关键字同时可选择查询范围;高级查询支持按元模型、元数据代码、元数据名称、
元数据属性特定值的精确查询。在查询结果页面中可通过元数据代码以及上下文路径信息可
链接到相应的元数据详细页面。见如下界面:
元数据影响分析
影响分析采用图形方式展示了以某个元数据为起始节点,其后与其有关系的所有元数据,
反应数据的流向与加工过程,使用影响分析可分析数据 ETL 流程向和数据转换中错误的定
位。
运行影响分析之后的图形结果区域主要包括两部分:图形展示区域、选中节点信息展
示区域。其中图形展示区域为图形化展示分析结果的区域以及相关的图形操作按钮;选中节
点信息展示区域为当前选中节点的详细信息展示区,其内容和浏览该元数据详细信息页面一
致。
元数据采集
元数据采集是指获取数据源数据,对数据进行转换,然后将数据写入到元数据系统中的
过程整体上可分客户端与服务器端,客户端包括适配器,数据源,采集任务等的配置,服务
器端则负责真正的采集数据、转换数据、入库落地等操作。元数据采集管理包括适配器管理、
数据源管理、任务配置、手动采集、采集入库审核、采集日志查看。
元数据采集的总体流程为:
1. 建立悬挂点,如果有悬挂点则无需此步
2. 创建数据源,创建数据源时如果选择需要审核,则采集后的数据不会立即入库,而
是进入审核库,等待审核,可通过采集入库审核功能进行审核
3. 采集任务配置,如果是自动采集则在任务配置中配置调度时间,任务配置中也支持
立即运行
4. 如果是手动采集则可通过手动采集功能进行
5. 采集过程中可以随时查看采集日志
元数据来源繁多,贯穿于 BI 系统的各个环节,如需求、设计、编码、测试、维护和升
级。元数据的来源可以大致分为如下几类:
➢ 建模工具:Erwin、PowerDesigner、UML Rose 等
➢ ETL/OLAP 工具:PowerCenter、DataStage、SQL Server Integration Services、SQL Server
Analysis Services、存储过程、Perl 脚本等
➢ BI/报表工具:Cognos、BI.Office、SQL Server Reporting Services 等
➢ 数据库:Oracle、DB2、Teradata、MS SQL Server 等
➢ 其他来源:XML、Excel、CSV、TXT、log 文件等客户化元数据
元数据采集是元数据管理的基础,它负责元数据采集,统一存储到元数据知识库并集中
管理,为上层元数据应用提供服务。
元数据变更
剩余57页未读,继续阅读
资源评论
地理探险家
- 粉丝: 1048
- 资源: 5416
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功