普元大数据治理提高数据质量.doc

普元大数据治理提高数据质量 作者：赵明 来源：《中国计算机报》2016年第27期 在数字化转型过程中，大数据的作用是什么？虽然很多人都看好大数据产业的 发展，但是到底什么样的数据能发挥价值，帮助企业快速发展，这才是数据真正的意义 。在大数据时代，数据已经成为某种意义上的战略资源。大数据的广泛应用，可以使生 产型企业进一步提升生产率，使企业资产增值。 数据是企业的核心资产，使用数据的能力决定了企业的竞争力，数据驱动企业 发展，数据是估值企业的关键指标。很多企业在数字化转型过程中需要大数据为它提供 精准的分析结果。那么，如何才能提供精准的结果？首先最基本的要求就是数据质量要 高。普元信息软件产品部副总经理、大数据产品线总经理王轩认为："企业数字化转型需 要以高质量的数据作为基础。企业有了高质量的数据，就能够加速它的数字化转型的过 程。" 在数字化转型过程中，很多传统行业希望把出售数据作为其利润增长点。但是 如果想把数据当作商品出售，那么至少需要这个数据是有质量保障的。但目前情况下， 这些数据有非常多的问题。虽然很多企业经过了这么多年的IT建设，但数据模型并不统 一，没有统一的数据标准，也没有数据质量的检测体系。没有统一的标准，就没有质量 控制的能力，高质量的数据就无从谈起。王轩表示："一些企业已经意识到在数据资产化 之前，第一步应该先进行数据治理。只有数据质量提高了，才能实现数据资产化。" 数据治理的本质是什么？数据治理的本质就是使数据和服务更加紧密地结合， 实现数据的内在价值，为企业提供新的利润增长点。但在数据治理过程中，企业中每个 业务部门都认为它的数据是正确的，但从宏观角度来看，业务部门之间的数据是不一致 的，这其实就是数据质量问题。 确保数据质量 在做数据分析时，如果应用错误的数据做分析，那么不论分析的方法精准与否 ，分析的速度多快，都无法得出正确结果。因此，首先要确保数据质量。要想确保数据 质量就要做数据治理，而做数据治理，并非一次性的工作。 "它绝对不是一个毕其功于一役的事，它需要一个长期的过程，也需要很好的平 台。"王轩认为，"很多项目分析结果出来以后，项目是失败的，主要原因是分析的结果 都是错的。没法保证分析结果是对的。我们需要用大数据治理支撑整个上层用户。真正 的大数据治理，尤其是大企业做数据治理，它是一个全过程和全方位的事情。"数据治理 需要有一个很好的技术平台，但仅仅依靠技术平台是不够的。在技术平台之外，需要有 一系列与业务相关的协作，包括数据标准、数据质量等一系列工作要完善，共同完成大 数据治理任务。 当企业意识到数据有问题时，通常分析结果已经出错，然后才去检查数据，进 行数据治理，这事实上已经是亡羊补牢的做法。因此，要防患于未然，在数据采集、数 据交换等每一个环节都做数据治理。而数据治理还需要针对不同行业特点，比如，金融 、电信和能源等行业的数据信息标准就不同，不可一概而论，需要建立不同行业的数据 标准。 数据标准化是企业信息化建设最根本、最基础的工作，数据标准化工作做得好 ，会为后续的BI、大数据分析打下坚实的基础。但数据标准化工作是个费力不讨好、非 常不容易开展的工作，越来越多的企业在数据标准化的过程中发现了企业管理上的诸多 问题，甚至影响到了企业利益，那么企业应该如何开展数据标准化相关工作？ 普元信息大数据产品部资深架构师袁锋涛认为："数据标准是增强企业各部门对 业务统一理解的手段，是企业在开发应用系统时对数据进行定义的依据。数据标准化是 面向企业顶端的，是伴随企业体系化建设的长久之路。" 数据标准体系完善的过程，是通过各种手段、方式、渠道，建立数据标准体系 的过程。在此过程中企业应以元数据管理为基础，推动数据标准在各应用系统中的执行 ，逐步形成常态化的、闭环的标准体系应用机制，从整体上提升企业的数据质量和数据 管理水平，为实现企业数据流的畅通和全系统信息资源的共享奠定基础。 只有数据标准逐步完善，才有可能进行准确的数据治理，对大数据实施全过程 、全方位的管理。很多人在做数据治理的时候，往往只集中在数据应用环节，范围过窄 。在整个过程中，要从数据应用、数据传输、数据存储等环节全面去做数据治理，在每 一个环节都需要控制数据的标准和质量。 如何判定数据是否存在价值 世界上没有废物，只是没放对地方。这是很多环保人士市场挂在嘴边的一句话 。而数据，也可以套用这种思维方式。 所谓无用的数据，某些是在处理中发现确实数据有错误，需要治理，但也有一 些数据看似与以前或者当下业务无关的数据。但这类数据未必对未来业务没有帮助，或 许有其他价值，那么普元是如何区分和处理这些数据的呢？ 王轩表示："首先数据都是有价值的，但是企业的核心的数据一定要是准确的， 外围的数据可以暂时搁置一边。普元目前提出的数据标准是相对狭义的，我