⼤数据时代下需要新⼀代的数据治理能⼒ ⼤数据时代下需要新⼀代的数据治理能⼒ ⼀、时代还需要数据治理吗? 数据平台发展过程中随处可见的数据问题 ⼤数据不是凭空⽽来,1981年第⼀个数据仓库诞⽣,到现在已经有了近40年的历史,相对数据仓库来说我还是个年轻⼈。⽽国内企业 数据平台的建设⼤概从90年代末就开始了,从第⼀代架构出现到现在已经经历了近20年的时间。 在这20年的时间⾥,国内数据平台实施者可以说是受尽折磨,数据项⽬⼀直不受待见,是出了名的脏活累活。 可以说,忽视数据治理给数据平台建设带来了不少问题。随处可见的数据不统⼀,难以提升的数据质量,难以完成的数据模型梳理等源 源不断的基础性数据问题,限制了数据平台发展,导致数据应⽤不能在商业上快速展⽰效果。 举⼀个典型商业智能应⽤的例⼦,管理驾驶舱可能很多朋友都听说过,很多企业建设了管理驾驶舱,但是建设完之后往往成为摆设,只 有当领导需要看的时候,⼤家才去拼命改数据。 为什么数据平台的建设遇到这么多"坎",⽽且难以真正发挥其商业价值?其实核⼼问题还是数据本⾝不统⼀,数据内容准确度不⾼。 数据治理逐渐受到各⾏业认识 我国最早意识到数据治理重要性的⾏业银⾏是⾦融⾏业。由于对数据的强依赖,⾦融业⼀直⾮常重视数据平台的建设,经过⼏代数据平 台的验证,发现数据治理是平台建设的主要限制因素,⽽且随着投资和建设的投⼊增加,对数据治理的重要性的认识也越来越深刻。 ⼈民银⾏与银监会也⾮常重视数据治理,从08年开始,在全国银⾏业推⾏统⼀的数据标准,控制⾏业的数据质量。⼯⾏、建⾏、国开等 ⼤型银⾏,对数据治理都⾮常重视。08年前,我们与国开⼀起开始了数据治理的建设,下图展⽰的就是国开银⾏针对数据全⽣命周期的数据 管控。 如今各⾏业都开始了⼤数据平台的建设,希望利⽤⼤数据的能⼒,来实现数字化转型。⼤数据平台的建设本质上还是数据的建设,传统 数据平台碰到的所有问题⼤数据平台都有可能碰到,由于数据量级的变化,⼤数据平台必然还会产⽣新的问题。 ⼤数据时代下需要新⼀代的数据治理能⼒ ⽬前⼤数据平台的突出问题主要体现在以下四⽅⾯: 数据不可知:⽤户不知道⼤数据平台中有哪些数据,也不知道这些数据和业务的关系是什么,虽然意识到了⼤数据的重要性,但平台中 有没有能解决⾃⼰所⾯临业务问题的关键数据?该到哪⾥寻找这些数据? 数据不可控:数据不可控是从传统数据平台开始就⼀直存在的问题,在⼤数据时代表现得更为明显。没有统⼀的数据标准导致数据难以 集成和统⼀,没有质量控制导致海量数据因质量过低⽽难以被利⽤,没有能有效管理整个⼤数据平台的管理流程。 数据不可取:⽤户即使知道⾃⼰业务所需要的是哪些数据,也不能便捷⾃助地拿到数据,相反,获取数据需要很长的开发过程,导致业 务分析的需求难以被快速满⾜,⽽在⼤数据时代,业务追求的是针对某个业务问题的快速分析,这样漫长的需求响应时间是难以满⾜业务需 求的。 数据不可联:⼤数据时代,企业拥有着海量数据,但企业数据知识之间的关联还⽐较弱,没有把数据和知识体系关联起来,企业员⼯难 以做到数据与知识之间的快速转换,不能对数据进⾏⾃助的的探索和挖掘,数据的深层价值难以体现。 通过分析以上四类问题,我们发现传统数据平台⾯临的问题,在⼤数据时代不仅没有消失,还不断涌现出新的问题,传统的数据治理需 要提升能⼒,来解决⼤数据平台建设过程中的这些问题。 在传统数据平台阶段,数据治理的⽬标主要是做管控,为数据部门建⽴⼀个的治理⼯作环境,包括标准、质量等。在⼤数据平台阶段, ⽤户对数据的需求持续增长,⽤户范围从数据部门扩展到全企业,数据治理不能再只是⾯向数据部门了,需要成为⾯向全企业⽤户的⼯作环 境,需要以全企业⽤户为中⼼,从给⽤户提供服务的⾓度,管理好数据的同时为⽤户提供⾃助获得⼤数据的能⼒,帮助企业完成数字化转 型。 ⼆、如何⾯向⽤户开展⼤数据治理 ⾯向⽤户的⼤数据治理实践案例 很多企业经过⼀段时间的摸索,已经看到了⽤户对⼤数据治理的这种需求,⼤数据治理也持续在各⾏业的⼤数据平台建设中得到关注。 在我参与过的项⽬中给⼤家举个例⼦。最近普元主导了某电⼒公司的新⼀代数据治理平台建设,我们融合该电⼒公司现有的数据管理⼯ 具建设成果,以元数据为基础,实现了贯穿数据设计、产⽣、存储、迁移、使⽤、归档等环节的数据全⽣命周期管理,以及数据从源端到数 据中⼼,再到应⽤端的全过程的管理,做到了以⽤户为中⼼,通过⼤数据治理,为⽤户提供了更便捷、更灵活、更准确地获得企业⼤数据资 产的能⼒。 该电⼒公司的⼤数据治理的起点是先以元数据为基础,构建数据资产管理体系。从⽤户的视⾓说明⽩企业数据有哪些,哪些⽤户能够使 ⽤。在该电⼒公司的数据资产定义过程中,我们选择了贴近业务⽤户的数据分类⽅案,梳理和识别企业运营数据资源。 我们⼜基于第⼀步形成的数
- 粉丝: 168
- 资源: 3万+
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助