大数据处理的基本流程：数据抽取与集成+数据分析+数据解释.pdf

⼤数据处理的基本流程：数据抽取与集成+数据分析+数据解释 ⼤数据时代的到来改变了⼈们的⽣活⽅式、思维模式和研究范式，我们可以总结出 10 个重⼤变化，如图 1 所⽰。 图 1 ⼤数据时代的 10 个重⼤变化 对研究范式的新认识：从第三范式到第四范式 对研究范式的新认识：从第三范式到第四范式 2007 年 1 ⽉，图灵奖得主、关系型数据库⿐祖 JimGray 发表演讲，他凭着⾃⼰对于⼈类科学发展特征的深刻洞察，敏锐地指出科学的发 展正在进⼊"数据密集型科学发现范式"——科学史上的"第四范式"。 在他看来，⼈类科学研究活动已经历过三种不同范式的演变过程。 "第⼀范式"是指原始社会的"实验科学范式"。18 世纪以前的科学进步均属于此列，其核⼼特征是对有限的客观对象进⾏观察、总结、 提炼，⽤归纳法找出其中的科学规律，如伽利略提出的物理学定律。 "第⼆范式"是指 19 世纪以来的理论科学阶段，以模型和归纳为特征的"理论科学范式"。其核⼼特征是以演绎法为主，凭借科学家的智 慧构建理论⼤厦，如爱因斯坦提出的相对论、麦克斯⽅程组、量⼦理论和概率论等。 "第三范式"是指 20 世纪中期以来的计算科学阶段的"计算科学范式"。⾯对⼤量过于复杂的现象，归纳法和演绎法都难以满⾜科学研究 的需求，⼈类开始借助计算机的⾼级运算能⼒对复杂现象进⾏建模和预测，如天⽓、地震、核试验、原⼦的运动等。 然⽽，随着近年来⼈类采集数据量的爆炸性增长，传统的计算科学范式已经越来越⽆⼒驾驭海量的科研数据了。例如，欧洲的⼤型粒⼦对撞 机、天⽂领域的 Pan-STARRS 望远镜每天产⽣的数据多达⼏千万亿字节（PB）。很明显，这些数据已经突破了"第三范式"的处理极 限，⽆法被科学家有效利⽤。 正因为如此，⽬前正在从"计算科学范式"转向"数据密集型科学发现范式"。 "第四范式"的主要特点是科学研究⼈员只需要从⼤数据中查找和挖掘所需要的信息和知识，⽆须直接⾯对所研究的物理对象。例如，在⼤ 数据时代，天⽂学家的研究⽅式发⽣了新的变化，其主要研究任务变为从海量数据库中发现所需的物体或现象的照⽚，⽽不再需要亲⾃进⾏ 太空拍照。 对数据重要性的新认识：从数据资源到数据资产 对数据重要性的新认识：从数据资源到数据资产 在⼤数据时代，数据不仅是⼀种"资源"，更是⼀种重要的"资产"。因此，数据科学应把数据当作⼀种"资产"来管理，⽽不能仅仅当 作"资源"来对待。也就是说，与其他类型的资产相似，数据也具有财务价值，且需要作为独⽴实体进⾏组织与管理。 ⼤数据时代的到来，让"数据即资产"成为最核⼼的产业趋势。在这个"数据为王"的时代，回⾸信息产业发展的起起伏伏，我们发现产业 兴衰的决定性因素，已不是⼟地、⼈⼒、技术、资本这些传统意义上的⽣产要素，⽽是曾经被⼀度忽视的"数据资产"。 世界经济论坛报告曾经预测称，"未来的⼤数据将成为新的财富⾼地，其价值可能会堪⽐⽯油"，⽽⼤数据之⽗维克托也乐观地表⽰，"数 据列⼊企业资产负债表只是时间问题"。 "数据成为资产"是互联⽹泛在化的⼀种资本体现，它让互联⽹不仅具有应⽤和服务本⾝的价值，⽽且具有了内在的"⾦融"价值。数据不 再只是体现于"使⽤价值"⽅⾯的产品，⽽成为实实在在的"价值"。 ⽬前，作为数据资产先⾏者的 IT 企业，如苹果、⾕歌、IBM、阿⾥、腾讯、百度等，⽆不想尽各种⽅式，挖掘多种形态的设备及软件功 能，收集各种类型的数据，发挥⼤数据的商业价值，将传统意义上的 IT 企业，打造成为"终端+应⽤+平台+数据"四位⼀体的泛互联⽹化 企业，以期在⼤数据时代获取更⼤的收益。 ⼤数据资产的价值的衡量尺度主要有以下 3 个⽅⾯的标准。 1）独⽴拥有及控制数据资产 ⽬前，数据的所有权问题在业界还⽐较模糊。从拥有和控制的⾓度来看，数据可以分为 型数据、 型数据和 型数据。 型数据主要是指数据的⽣产者⾃⼰⽣产出来的各种数据，例如，百度对使⽤其搜索引擎的⽤户的各种⾏为进⾏收集、整理和分析，这类 数据虽然由⽤户产⽣，但产权却属于⽣产者，并最⼤限度地发挥其商业价值。 型数据⼜称为⼊⼝数据，例如，各种电⼦商务营销公司通过将⾃⾝的⼯具或插件植⼊电商平台，来为其提供统计分析服务，并从中获取 各类经营数据。虽然这些数据的所有权并不属于这些公司，在使⽤时也有⼀些规则限制，但是它们却有着对数据实际的控制权。 相⽐于前两类数据， 型数据的产权情况⽐较复杂，它们主要依靠⽹络爬⾍，如果你对⼤数据开发感兴趣，想系统学习⼤数据的话，可以 加⼊⼤数据技术学习交流扣群：458数字345数字782获取学习资源，甚⾄是⿊客⼿段获取数据。与 型和 型数据不同的是，这些公 司流出的内部数据放在⽹上供⼈付费下载。这种数据在当前阶段，还不能和资产完全画等号。 2）计量规则与货币资本类似 ⼤数据要实现真正的资产化，⽤