下载  >  大数据  >  Hadoop  > 大数据平台下的数据治理

大数据平台下的数据治理 评分

数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。
大数据平台的数据治理关键问题 系统 存储 采集 规模 复杂 复杂 几百个业务系统 关系型数据库 基jSQL 几万张数据厍表 ●文本文件 存储过程 ●几十万个字段 ●内存对象 ●Perl/Pyth。n脚 ●K-V结构 NOSQL 本 模式数据仓库 ●Java边言 Hadoop 的 ● MapReduce开 分布式文件系统 行采集 大数据平台的数据治理目标 建立数据标准 数 据 据 制订数据管理流程 理 使 用 形成平台不工具 数据治理平台与周边系统关系 ① ODS及部分上下游系统元 数据纳入到据治理平台 集中管埋 模型变更诵知相应下游 部分业务系统 ODS/MDM 部分应用 元数据为○DS上游模型变 更提供服务 某些数据质暈检核依监 2 控调度 调度监控系统 数居治理平台 4 234 流程管埋过裡中产生的元 数据质量 元数据 数据标准 数据等信息存储到擞据治 理平台 通过服务接口流程管坦获 取元数据、敖据质量、数 8956 据标准返回的数据信息 获取监控调度中相关的元 故据 数据分发 流程管理 68 与数据分发相关的元数据 变更需要同步故据分发 获取分发配置信息 数据治理一元数据系统 应辅劣业务应用 辅劣开发运维 接口服务 用 业务术语应用报表需求复用 辅需求调研辅系統开发 分析服务 报表使用情况管理 辅劣系统运维 权限集成 次开发 能元数据基础管理 功 元数据分析服务 元数据维护「元数检索 元数据统计 影响分析 数据导 版本管理 血统分析 视图管理 数据地图 元数据关联 元数据检核 元数据采集管理 采集模板管理 采集适配器管理元数据射管理 几模型理 系统管理 角色管理 权限管理 参数管理 密码管理 用户管理 日志管理 配置管理 在线用 数据治理一数据标准系统 应标准执行监控 辅分标准执行 接口服务 用 标准抗行情况概况标准执行情况统计 标准执行情况探查 数据访问「分析服努 模型执行情况分析代码行情分析 铺劣系统标准执行 权限集成 欠开发 能标准体系浏标准合查的 标准综合管理 数据标准需求 数据标准变更 基础类数据标数据标准发布查间 数据标准发布 数据标准行 公共代码 数据标准变更查询 数据版本管理 数据标准采集 系 角色管理 权限管理 参数管理 密码管理 统 用户管哩 日志管哩 凸置管理 在线用户 数据治理一数据质量系统 应数据质量捉升 数据质量考核 用 据 接口服务 质量是开万是交 考核指标度规则报告数据导入及清除 质提升1作总结告 数据访 分析服务 考核指标手励执行分支机构与项考核 辅劣数据纠正 权限集成 次开发 能度量规则管理 质量问题发现 质量问题分析 综合查询 质虽题提交 质量问分析管哩 度量规则查询 质量检核结果 基础类裣核方法 质量提升需求提交 质量问题查询 质量问题汇总 质量提升需求报告 质呈提升查询 度量规则分类管理 质量问题报告 数据质量概况 其他考核查询 检词底细两了印米果质生 系 角色管坦 权限管理 数管理 密码管理 用户管理 日志管理 配置管理 在线用户 理 数据治理平台一元数据建立 系统管中员 数据分析员/开发人员远人员 数据源类型 元数据采集 元数据应用 模板 上游 映射 影响 辅劣 分析 变更 变更 FXCH文件方 预 创建 配置 XML 数据 任务 行 XML文件方式 元数 立刻 启劢 下游 血统 采集 辅劣 应用分析一 三方式 反馈 通过元数据的检测建立数据变更流程 上游模型变更预 辅劣变更导致的开发 通基奔 在eel 把修改 模式订阅 中慘改影 的结构导入到 影的和IL 元数框系 接囗 结和LL 探查刹 且接收 变史 邮件 豆元数据 采集到元 系统中 数据系 修改的结 影响分 构和正TL 去开发友或 功斗成 对家库七 变更 于面橼改影响的 结响EIL 手劢检 梹式 开做修改 Ⅱ[系统日常变更的元数据采集和检核流程 元数据—数据地图 E让劳持共形线 核心系旋 用财务共系块 管理行典系线 本 群信系统 s工作 形人为系 定 射务市 ⅢI程 学系续(生地 心别颁 开影摇丹 斯学货系统《 u数据念库 粗结算系 吗金融平台 CH DE 系续 CDBEF块 RMA丘用 高强票 POATA 评级器倡项浮级应用 eH Teller系 盛户关系营理系镜 唱全滚程信系统 赚系校 m高重 甲级器系统 让系续助学 上信系块 DBAQAn块 力按薄系化 T在F 16 元数据一数据分析(血缘分析,影响分析) 讨程 8 t or 圆时愿出A醇射 CM FIANCIAL命报杰 H D5 FNANCIAL OUX GLi 口部表 0H RPT DM RP FT G SH RPT DM-RP @圆114射 e G DM1104 8 DM_FINANCIAL命圆固探疾表射 中RPT 因报表 d p DM_ FINANCIAL-OUX_GL. (口签 LOB RPT_DM-RP_FM_GLX □利知惠总表 物利润明日表总夷 命114票问 命道M1104 eDM1148=L5 回损明细击 气 RPT OM-FP FI GL CHE ● RPT_DM-FF_FM_GL_XYM 17 某银行-数据治理方案 平台建设 [平台 平台应用 制度流程 元数数电元数数电园数数电园数國数电 数据据 数据据子数据据子数据据子 据质标流据质标流据质标流据质标流 功量准程实量准程应量准程流量准程 能功功功施实实实用应应应程流流济 能能能 施施施 用用用 程程程 数据治理平台现状 平台建设 争平台 平台应用 制度流程 元+级功彩项二功能项 元数类别:表、字段、报表 统报表系统建没提供元 元教据应用流程:虽有管理 表级射、字段级映射、表到报数据浏览、检索、分桁等服务办法,但没有纸化丸行流程 数数据分析、版管理、空更宫去B 据款妈,视忙理单 步及系统:12个业生产关系 統、9个管理分析类系统、3个业 务支持类系统、ODS、RDM、 间问志市利财务集市 数核心功数质生版发蜘考核指口系统过行检核,5个 级功项。级功能15 检指:2011年下半年“2个 前主要应用支机构与 揖应用流程:虽有曾 项亥 埋刃法,但有细化和执行沉 据 数据量题分析、数据质考核指标人工检核 程 质 检核沌圉:主要是对Ds数据 数据贡置考桉、综合查等功 进行检亥 级功项,二级功能10乓 大主题理:客户、产吕、交 嗽管理处对数示隹浏吃 数据标佳应用流程:虽有管 核心功能基础类数据准 易、财务、资产、协议 理办法,但没有细化和执行流 据汉览、公代特队览或片 共代埋:173个代特 标 准需求、数据标发和、数居 冲空巨,数准执行, 准 电 级功菲项,二级功能14乓 六个法程:报表新增形求管理流 六个电子流程已初步应用 用流程:已建立六个电 心功:责需求笆堐流 程、报志变更需求笆理流程、数 流程,但应用与限 子|程教文拉管理高程数|#捣票理高程,三款 流 理流程、数据 程 数据平台治理改进方案 平台建设 平台实施 平台应用 制度流程 增机或改造5P,Pe日志,PC 将也行态元数据及业名元数纳 劣EDW运维:探则上游模卫变 从制度上明确持且接连接斗产 Erwn采集通过中文名称建 更主班将分析结果通知下游系统 立PDM和LDM关联 目对人工整理EX<E数 “劢”为“主劢以方便 逍过流程严格控制上游樸型变更 据%开里中业实过程元数据,如:报求优用 名人员使 从制度上要已有手新建系统提 和电了车抗流程合 供PDM和LDM及对照 变更开轴出行通知 立方使务人叔快获取 将系统成宋纳入元数中 定义的害户端 「立健全的技术指标体系 以以涉 满足RWA市场风脸的质+细化教据质量提升路,過免在 沟通建立满足 量需求力业日标推效质量 据 建立多维度的数 和拉制 EL事中+事 除了现有对ODS数据进验外 考以满足银监会监管提出的质 数据质量管理流程数据质量度 还需要EDW数据进行检核 提升检核瓶则配置的灵活性 多维度的数据标热行情沉 啪过A序把规有数包文 合全流栏信贷数撫标洼执 次据标使的制。泮、发布, 栏转换为适合集的文当 执行变更及复审进行流程化控 据时行数据标系統进唾syN信理数标文,通 呵兰流程信货中教柯使执行进 F估 探查代执行 数标冲变理同抄到舞已库供 柯件落地立,在窜批环节 准 支接 和上线环节进行数标准执行情 提升数据标佳使用友好性 兄评估 中千流科和川数据.数摆厅 流程市用角忘合含样块之间 知化数据.数椐罩,数据标 电三数乒民之门纲关 关 生流惺 建设数、数质量.戟 报汞完效数梹型、数撫 子流程 准流 强重要数据及后台数括电子流 的有效执行 某银行数据治理体系建设规划 短期 中期 长期 标位:确定角色。蒋 目标定位:成立团队、制 与标位:质晕提升、全 实流程、解决质早问题 完普、建立考核体系 员与、数捐圆早文化 步系统:ECF系练、风 及系统:所有需要数据 形系统:全行大部分系 险集市、Ds数掘平台 质量系统提供克持的系统 因:ECF系统、风 :所有纳入数据 詹望写:全行大部分元 险集市、DS数据平台 质量系统支持的系统 数据 腕心成用:规则类别管理 应:数据质三剖析 .心应用:集成统一数 度量规则管理、检核方 功能、数 数 治理平台、部署灵活的查 法管理、检核结果分折 据清洗 询工具 问歐解决流程、数据质晕 报告

...展开详情
所需积分/C币:17 上传时间:2018-07-31 资源大小:6.62MB
举报 举报 收藏 收藏 (1)
分享 分享

评论 下载该资源后可以进行评论 4

creatymilk 一般般,有点少
2019-07-08
回复
chentiankong 只有11页ppt
2018-12-13
回复
u010126476 学习使用,收益
2018-11-05
回复
baiyunchengzhu 内容较少,不值5个金币
2018-08-13
回复