大数据治理:一门让数据重生的艺术.pdf

所需积分/C币:49 2018-12-12 18:10:37 8.73MB PDF
73
收藏 收藏
举报

普元信息的大数据治理特刊,从什么是大数据治理到大数据治理关键技术解析都有介绍,内容通俗易懂,可以一窥大数据治理门径!(侵权-删)
版权信息 《架构世界》2018新年特刊:大数据治理:一门让数据重生的艺术 EA World 浙江出版集团数字传媒有限公司2018 非经书面授权,不得在任何地区以任何方式反编译、翻印、仿制或节录本书文字或图表。 DNA-BN:ECFD-N00012836-20180125 制作:关春丽 出版:浙江出版集团数字传媒有限公司 浙江杭州体育场路347号 互联网出版许可证:新出网证(淅)字10号 电子邮箱:cb@bookdna.cn 网址:www.bookdna.cn OokinA是浙江出版联合集团旗下电子书出版机构,为作者提供电子书出版服务。 如您发现本书内容错讹,敬请指正,以便新版修订。 ZHejiang Publishing United Group Digital Media CO, LTD, 2018 No 347 Tiyuchang Road, Hangzhou 310006P R C cbabookdna.cn www.bookdna.cn 月录| Contents 卷首语:为什么是大数据治理? 建设大数据平台,从“治理”数据谈起 数字化转型中的自动化大数据治理 业务元数据管迎——洞悉数据背后的业务含义 数据质量问题是“技术”问题还是“业务”问题? 人匚智能与软件架构 以自动化为核心的自服务大数据治理 大数据治理关键技术解析 关于 EAWor d:微服务, DevOps,数据治理,移动架构原创技术分 享,扫描二维码关注 口口 world 卷首语: 为什么是大数据治理? 、由“是什么”到“如何做”的转变 在长达十年的时间里,我不断向身边的朋友、客户、友商解释数据 治理“是什么”,解释数据治理能创造出来的隐形或显性的价值。在这么 长的时间里,尤其在大数据家喻户晓的今天,我忽然发现不需要向大家 解释什么是薮据治理,而是探讨如何实施大数据治理,大数据治理 该“如何做”成了大家关注的重点。 与数据治理的前辈相比,我想我们遇到了好时代,在这个时代,数 据不再是业务的副产物,而是企业数字化战略的原材料;数据不再是堆 砌在磁盘的内容,而是整个社会的核心资产;数据不是枯燥的报表,而 是人工智能等新技术的关键基础。这是一个“数据”的时代,在这个时 代,数据问题将成为企业数字化转型的障碍、社公资产流失的主谋、人 工智能发展的屏障。在数据问题的影响下,企业业务创新变得室碍难 行。 在数据问题日益暴露的这两年时间里,大数据治理作为一门能让数 据重生的艺术,在国家、社会、企业中的被关注度骤然升级,国家将政 府的数据治理列为重要内容,标准协会也发布了大数据治理的相关标 准,银行、证券、航空、制造等行业也陆续开始了大数据治理工作. 时代变了,数据治理也该“升级”了 数据治理已经有很多年的历史了,但数据治理项日往往因为各种原 因而难以有好的效果,这些原因可能包括组织间的掣肘、巨大的工作 量、不直观的效果等。在大数据时代,如何推动组织治理海量数据成为 数据从业者的乂一难题。作为专业的数据治理从业者,我和团队也一直 在思考如何在不同类型的组织中开展并执行数据治理,解决数据治理的 种种问题。 1、数据治理不是简单的数据质量提升,而是体系化的工程 在大数据时代,数据问题不仅仅是指数据质量问题,今日组织中经 常出现的管理数据难、找到数据难、使用数据难等都变成了数据问题的 种。因此,大数据治理应该是一个系统化的工程,应该包括数据管理 的组织建设、数据标准的落地实施、数据资产的梳理与业务化、大数据 的自服务提供等内容。 2、数据治理不仅仅是严格的制度,而是服务化的提供 在国内大部分数据治埋的理论中,一直信奉严格的制度能够解决企 业中的数据问题,但在海量数据的时代,严格考核已经不是唯一的手 段,抓住数据的需求,以服务化为核心来进行数据治理将能成为一种有 效的手段,通过服务化的方式为使用者提供数据、治理数据,能做到在 服务中治理,在服务中管控。 3、数据治理不是海量的人力投入,而是自动化的平台 冇数据治理中,数据的梳理、数据标准的建立、技术元数据与业务 元数据的获取与映射,一直是人工工作量最多的部分,这些工作量会给 实施数据治理的组织带来巨大的负担。在海量数据中这个矛盾将会更为 突出,为避免这个问题,在大数据治理中需要用更自动化、更智能化的 方式来梳理数据与建立数据标准,自动化获取技术与业务元数据并建立 二者之间的映射。 三、大数据治理之路有多长? 大数据治理是个长期的过程,虽说大数据治理会随着数据的问题减 少而逐步规范化和常态化,但集中的建设能力周期是必须的。总结下来 有四个主要的阶段:第一阶段,全面梳理企业信息,自动化构建企业的 数据资产库。第二阶段,建立管理流程,落地数据标准,提升数据质 量。第三阶段,直接为用户提供价值,向用户提供数据自服务。第四阶 段,智能化企业知识图谱,为仝企业提供数据价值。 我们团队在数据治理领域不断思考,在实践中积攒下来了很多经 验,现将这些经验集结成册,从数据治理的发展方向,到如何自动化落 地数据治理,再到数据质量,如何管理元数据,详细地诠释了这门能让 数据重生的艺术。这一系列文章也是对我上述内容的进一步详细论述, 希望这些文章能给实施数据治理的组织带来启发 普元大数据产品线总经理玉轩 建设大数据平合,从“治理”数据谈起 王轩 大数据时代还需要数据治理吗? 数据平台发展过程中随处可见的数据问题 大数据不是凭空而来,1981年第一个数据仓库诞生,到现在已经有 了近40年的历史,相对数据仓库来说我还是个年轻人。而国内企业数据 平台的建设大概从90年代末就开始了,从第一代架构出现到现在已经经 历了近20年的时间。 代国平雷 数据平台发展情 大简颇处理 Haup生O大 接出 第个w 貌数据色库兴 198119B81992199619992003200520072009201120132016 在这20年的时间里,国内数据平台实施者可以说是受尽折磨,数据 项目一直不受待见,是出了名的脏活累活。 控虑平台 数据平台发鳳情况 行英创 使用老无店 鬣之闻 大健理 设有一标准 台度握传锰围 以集處 共享 Hadp磁生太数计算 捷集市 超一个w 传馞酸据仓库起 19811981992199619992003z005z720920112132016 可以说,忽祧数据治理给数据平台建设带来了不少问题。随处可见 的数据不统一,难以提升的数据质量,难以完成的数据模型梳理等源源 不断的基础性数据问题,限制了数据平台发展,导致数据应用不能在商 业上快速展示效果。 举·个典型商业智能应用的例了,管理驾驶舱可能很多朋友都听说 过,很多企业建设了管理驾驶舱,但是建设完之后往往成为摆设,只有 当领导需要看的时候,大家才去拼命改数据。 为什么数据平台的建设遇到这么多“坎”,而且难以真正发挥其商业 价值?其实核心问题还是数据本身不统一,数据内容准确度不高。 数据治理逐渐受到各行业认识 我国最早意识到数据治理重要性的行业银行是金融行业。由于对数 据的强依赖,金融业一直非常重视数据平台的建设,经过几代数据平台 的验证,发现数据治理是平台建设的主要限制因素,而且随着投资和建 设的投入增加,对数据治理的重要性的认识也越来越深刻

...展开详情
试读 127P 大数据治理:一门让数据重生的艺术.pdf
立即下载 身份认证后 购VIP低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 签到新秀

关注 私信
上传资源赚钱or赚积分
最新推荐
大数据治理:一门让数据重生的艺术.pdf 49积分/C币 立即下载
1/127
大数据治理:一门让数据重生的艺术.pdf第1页
大数据治理:一门让数据重生的艺术.pdf第2页
大数据治理:一门让数据重生的艺术.pdf第3页
大数据治理:一门让数据重生的艺术.pdf第4页
大数据治理:一门让数据重生的艺术.pdf第5页
大数据治理:一门让数据重生的艺术.pdf第6页
大数据治理:一门让数据重生的艺术.pdf第7页
大数据治理:一门让数据重生的艺术.pdf第8页
大数据治理:一门让数据重生的艺术.pdf第9页
大数据治理:一门让数据重生的艺术.pdf第10页
大数据治理:一门让数据重生的艺术.pdf第11页
大数据治理:一门让数据重生的艺术.pdf第12页
大数据治理:一门让数据重生的艺术.pdf第13页
大数据治理:一门让数据重生的艺术.pdf第14页
大数据治理:一门让数据重生的艺术.pdf第15页
大数据治理:一门让数据重生的艺术.pdf第16页
大数据治理:一门让数据重生的艺术.pdf第17页
大数据治理:一门让数据重生的艺术.pdf第18页
大数据治理:一门让数据重生的艺术.pdf第19页
大数据治理:一门让数据重生的艺术.pdf第20页

试读结束, 可继续阅读

49积分/C币 立即下载