没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
项目编号:
企业数据智能管理治理平台设计
建
设
方
案
目录
1.1 总体建设方案概述 ...........................................................................................................3
1.1.1 数据治理论述.......................................................................................................5
1.1.2 数据治理流程.......................................................................................................7
1.1.3 基础库治理步骤...................................................................................................8
1.1.4 治理过程产出.....................................................................................................11
1.2 平台建设总体设计.........................................................................................................11
1.2.1 平台设计理念.....................................................................................................12
1.2.2 平台架构设计.....................................................................................................13
1.2.3 平台技术特点.....................................................................................................15
1.3 数据治理建设方案.........................................................................................................16
1.3.1 数据标准管理.....................................................................................................16
1.3.2 元数据管理.........................................................................................................20
1.3.3 数据质量管理.....................................................................................................25
1.3.4 数据集成管理.....................................................................................................30
1.4 数据管理建设方案.........................................................................................................31
1.4.1 数据资产管理.....................................................................................................31
1.4.2 数据异常管理.....................................................................................................44
1.4.3 数据架构管理.....................................................................................................47
1.4.4 数据开发管理.....................................................................................................48
1.5 数据智能建设方案.........................................................................................................54
1.5.1 数据血缘.............................................................................................................54
1.5.2 智能标签.............................................................................................................56
1.5.3 数据探索.............................................................................................................58
1.5.4 画像分析.............................................................................................................59
1.1 总体建设方案概述
数据管理平台涵盖了数据的全局治理和过程管控,是数据可用的前提,只有
确保数据的标准化、规范化,可信可用,才能进一步通过数据运营、数据应用帮
助大数据中心实现数据资产管理,发现内部数据问题、发掘数据价值,进而实现
数据资产的盘活和有效利用。
数据管理平台基于元模型驱动模式,构建一体化的数据资产管控,实现全流
程、全生命周期和全景式的“三全”治理,确保每一份数据资产皆可靠、可信、
可用。
通过对数据、应用、系统综合管理,构建标准化、流程化、自动化、一体化
的数据管理体系。
数据治理将分散、多样化的数据通过汇集、标准化、清洗等操作对数据的质
量进行全面的提升和监控,形成城市大数据的管理和控制机制,并提供一站式数
据治理体系,持续不断的挖掘和提升数据的应用价值。从功能角度,数据治理系
统包括数据标准管理、数据目录管理、数据质量管理、数据集成、工作流、数据
地图/数据血缘、数据管理数据安全、多租户、元数据管理、系统安全等功能。
制定相关标准规范及管理制度,通过相应平台工具汇聚区内各单位公共数据
及市级落地数据资源,形成区级数据池,同时经过数据清洗、转换、融合、治理
后高质量的公共数据资源,形成区级综合数据平台。
数据治理系统通过对数据全生命周期、端到端的全链路透明化管控,实现
“数据模型标准化、数据关系脉络化、数据加工可视化、数据质量度量化”,实
现数据资产的统一管理及全业务流程的实时监控,有效解决数据资源不可知、数
据质量不可控、数据关系不可联、数据脉络不清晰的痛点问题。
数据治理就是将数据转化为资产的手段和方法,采用的数据治理子系统和工
具,以分布式存储和运算为基础,通过人工智能和机器学习技术,辅之以适量的
人工训练和专家反馈不断优化数据理解和数据关联。数据治理子系统给围绕闵行
区大数据资源平台的应用建设目标,包含数据地图、数据质量、智能监控、数据
保护伞以及安全卫士,提供全面的数据治理能力,提供数据提取、数据清洗、数
据标准化、数据转换、数据关联、数据比对等方面服务。在数据打通过程中,同
时做好数据质量管理,主要包括四个方面数据缺失补缺、数据重复去重、数据错
误纠正、数据不可用补救。
数据治理子系统通过标准 API 接口、用户自主上传与自主数据抽取技术将
用户内部数据直接导入数据池,利用全局数据处理技术在数据池中解决大量数据
的集成处理,将数据统一整合、集成,最终形成可以提供高质量数据的数据集成
平台,提供规则、无错漏、清洁、有价值、易使用的集成数据环境。
➢ 数据治理流程图
数据治理子系统支持现有的绝大多数数据格式的导入和识别。通过结合人工
智能技术,数据治理系统能够将数据自动识别并抽取存入数据湖中,与传统 ETL
不同的是,数据治理系统的全局数据处理技术在应对多系统、多部门、多环节、
多数据、多表单的使用场景时更加科学。全局数据处理能够避免在全局数据汇总
前的信息流失,最大程度的在完成数据集成的同时保持数据的高保真、高还原。
1.1.1 数据治理论述
大数据治理工作从数据汇聚开始,到最终服务业务,主要包括以下几个阶段:
剩余62页未读,继续阅读
资源评论
智慧化智能化数字化方案
- 粉丝: 1296
- 资源: 1万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功