没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
数据质量管理平台建设需求
同西
2018 年 6 月
目录
1 项目介绍..................................................................................................................................... 2
1.1 数据质量含义.................................................................................................................. 2
1.2 数据质量六要素............................................................................................................... 3
1.3 项目背景.......................................................................................................................... 3
1.4 项目目标.......................................................................................................................... 3
2 业务方案..................................................................................................................................... 3
2.1 系统架构.......................................................................................................................... 3
2.2 整体要求.......................................................................................................................... 4
3 功能设计..................................................................................................................................... 4
3.1 模板管理.......................................................................................................................... 4
3.1.1 内置模板............................................................................................................... 5
3.1.2 模板创建.............................................................................................................. 10
3.1.3 模板查询.............................................................................................................. 10
3.1.4 模板修改.............................................................................................................. 11
3.1.5 模板审批.............................................................................................................. 11
3.2 规则管理........................................................................................................................ 11
3.2.1 功能模块.............................................................................................................. 12
3.2.2 规则创建.............................................................................................................. 12
3.2.3 规则查询.............................................................................................................. 12
3.2.4 规则修改.............................................................................................................. 12
3.2.5 规则导出.............................................................................................................. 13
3.2.6 规则审批.............................................................................................................. 13
3.3 任务管理........................................................................................................................ 13
3.2.1 任务创建.............................................................................................................. 14
3.2.2 任务查询.............................................................................................................. 14
3.2.3 任务修改.............................................................................................................. 15
3.2.4 任务删除.............................................................................................................. 15
3.2.5 任务提交.............................................................................................................. 15
3.2.6 任务日志.............................................................................................................. 15
3.4 检查结果分析................................................................................................................ 15
3.4.1 结果管理.............................................................................................................. 16
3.4.2 分析管理.............................................................................................................. 18
3.5 问题处理........................................................................................................................ 19
3.5.1 问题通知.............................................................................................................. 20
3.5.2 工单管理.............................................................................................................. 21
3.5.3 方案管理.............................................................................................................. 21
3.6 知识库管理.................................................................................................................... 22
3.6.1 知识创建.............................................................................................................. 22
3.6.2 知识检索.............................................................................................................. 22
3.7 系统管理........................................................................................................................ 22
3.7.1 数据源管理.......................................................................................................... 22
3.7.2 用户管理.............................................................................................................. 22
3.7.3 角色管理.............................................................................................................. 23
3.7.4 权限管理.............................................................................................................. 23
1 项目介绍
1.1 数据质量含义
数据质量管理定义为对数据从产生、获取、存储、共享、维护、应用等各个阶段可能
引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善
和提高组织的管理水平使数据质量获得进一步的提高。
数据质量管理是一个循序渐进的管理过程,工作目标是依据数据质量的特点、规模、
复杂程度和变化情况,建立和实施长效数据质量管理机制,通过一系列的举措的实施,其
终极目标是通过可靠的数据提升数据的使用价值,并最终为企业赢得经济利益。
1.2 数据质量六要素
在不同时期,公司经营对数据质量有不同的概念和标准,早期基本上只关心数据是否
可用,随着系统功能和定位的不断延伸,监管政策的不断严厉,用户、监管政策、公司对
数据的使用在以下 6 个方面提出了要求,也就是数据质量六要素:
完整性:主要包括实体缺失、属性缺失、记录缺失和字段缺失四个方面
唯一性:指主键唯一和候选键唯一
一致性:指统一的数据来源、冗余存储和统一的数据口径
精确度:指计量误差、度量单位等方面的精确度
合法性:主要包括格式、类型、域值和业务规则的有效性
及时性:指数据刷新、修改和提取的等的及时性和快速性
同时在提升数据质量的过程中,应该从用户的视角衡量数据质量,重视用户对数据的
满意程度。
1.3 项目背景
1.4 项目目标
2 业务方案
2.1 系统架构
数据质量管理平台使用主体为公司数据管理人员。平台包括“模板管理、规则管理、任
务管理、检查结果分析、问题处理、资料库、系统管理”7 大模块、27 个子模块、66 个功
能点。
2.2 整体要求
(1)项目完成时间:11 月中旬完成项目开发、测试、验收等相关工作,确保项目上线。
(2)交付成果物:数据质量管理平台
(3)招标要求:业务部门和技术部门要把如何解决项目建设及后期运维的关键、高风险
问 题,作为招标的重点部分,招标期间的承诺必须写入合同中。
3 功能设计
该部分全面介绍了数据质量管理平台的各部分功能。
3.1 模板管理
模板管理是数据质量管理平台数据展现功能、数据录入功能的基础,主要包括 6 类内
置模板,每类可包含多个模板。同时提供模板创建功能,用以拓展内置模板样式的不足。
一个模板由两部分组成:模板头和模板体。模板头方便用于模板管理,模板体是模板的真
正功能,在使用到模板的地方其实是对模板体的实例化。
模板头必须包含模板编号、模板名称、模板类别、创建人员、创建时间、模板状态、
模板描述,要求如下:
模板体必须至少包含对象编号、对象名称(可选)、对象创建时间、对象状态、对象
创建人员,对象类别,要求如下:
模板管理的功能结构如下图:
3.1.1 内置模板
内置模板是一种基础标准,目前包含 6 类内置模板。规则模板、任务模板、报表模板、
方案模板、质量报告模板、可视化模板。分别在规则录入、任务创建、统计展现功能、方
案创建、数据质量报告生成等模块中直接使用。
某一类对象在系统中被使用的流程是先创建模板,然后在使用中实例化。比如在规则
管理模块,我们会录入大量的数据质量检查规则以及在问题处理模块,我们会事先制定大
量问题通知规则,那么我们就应该先在模板管理模块创建数据质量规则模板和问题通知规
则模板;然后再规则管理模块中我们之间使用模板创建实际使用的规则。
内置模板可以通过模板创建功能进行拓展。新创建的模板根据其使用频率以及重要性,
在通过审批之后可以升级为内置模板。
3.1.1.1 规则模板
规则模板暂时包含数据质量核规则模板、问题通知规则模板两类。数据质量检核规则
模板是数据质量检核规则的标准,新建的数据质量检核规则只能使用数据质量检核规则内
置模板。数据质量检核规则模板如下:
模板管理内置模板规则模板任务模板报表模板方案模板质量报告模板可视化模板模板创建模板查询模板修改模板审批
剩余22页未读,继续阅读
资源评论
- 天笑2019-02-25数据治理的好材料,感谢分享。
- kacey5202019-02-02感谢分享。。。。。。
Tongxi_yangcd
- 粉丝: 6
- 资源: 19
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功