大数据时代下数据分析的变化.pdf

大数据时代下数据分析的变化 ( 一) 分析思路 大数据时代的分析常常是直接计算现象之间的相依性。传统的统计分析过程是 "定性 － 定量 － 再定性"，第一个定性是为定量分析找准方向，主要靠经验 判断，一般针对数据短缺的情况下比较重要。现在大数据时代，可以直接通过数 据分析做出判断，所要做的是直接从 "定量的回应"中找出数量特征和数量关 系， 然后得出可以作为判断或决策依据的结论。因此大数据时代统计分析的过程 可以简化为"定量 － 定性"。在实证分析上，传统思路通常是 "假设 － 验 证"，先根据最终的研究目的提出假设性意见，然后收集分析数据，进而验证假 设的成立与否。 这种实证分析容易受到数据的缺失、假设的局限性以及指标选择 的不当等的影响， 得不到正确的结论。 尤其是在假设本身的非科学性、 非客观性、 非合理性的情况下，得出的结论更是毫无用处，甚至歪曲事实本身。在现在的大 数据时代， 可以从中寻找关系、 发现规律而不受任何假设的限制， 然后得出结论， 分析的思路可以概括为 "发现 － 总结"。 ( 二) 研究对象的变化 首先，从数据来源上看，传统的统计抽样调查方法有一些不足: 抽样框不稳定， 随机取样困难; 事先设定调查目的会限制调查的内容和范围; 样本量有限，抽样 结果经不起细分; 纠偏成本高，可塑性弱。而在大数据时代，更多的是将总体直 接作为研究对象， 摒弃了抽样样本的研究，传统统计抽样调查方法的不足可以在 大数据时代得到改进。其次，对于数据类型而言，传统数据通常是结构型的，即 定量数据加上少量的定性数据，格式化，有标准，可通过常规的统计指标和统计 图来表示。而大数据则注重非结构性数据或者半结构、异结构数据，多样化、无 标准，很难通过传统的统计指标或统计图表加以表现。 ( 三) 假设检验的变化 传统的统计研究， 通常是根据内容提出假设意见，然后根据最初设定的理论模型 来检验验证假设的真实效用性。但对于大数据时代而言，信息资源充足，可以采 用人工智能对数据信息进行挖掘开发， 需要验证的假设比传统经济学研究多出很 多，不在一个数量级上。传统的假设验证分析是无法满足大数据时代的需求的。 ( 四) 分析关系的变化 预先假设事物之间的因果联系， 再设定理论模型验证预先的假设，这是传统统计 分析工作的一般工作模式。在大数据时代，由于数据规模的庞大，数据结构的复 杂多样等，使预设的因果关系会相对复杂很多，给分析工作带来很大的不便。预 示，大数据时代的数据分析便侧重于关注事物之间的相关联性，而非因果关系。 在小数据时代， 计算机存储和计算能力不足， 导致大部分相关分析限于线性关系。 大数据时代，现象的关系相对更复杂，不仅可能是线性关系，更有可能是非线性 关系。 这种非线性关系除了可能是非线性的函数关系外，更一般的情况不清楚关 系的具体形式， 只知道现象之间的相依的程度。由于在大数据时代数据结构和数 据关系错综复杂， 很难在变量间确定的函数形式并在此基础上探讨因果关系，因 此大数据时代一般不做原因分析。 ( 五) 建模思想的变化 传统的统计往往采用模型来进行研究，但是模型不是万能的，各个模型并不是完 全一样，而是各有所长，同样也有其自身的局限性。因此传统的统计研究所得出 的结论只能表示所用模型的结论，却不具有普适性。此外，在研究同一问题时， 即使开始设定的理论模型是一样的，但不同的研究者在研究时所选择的变量、方 法等方面的不同，也会导致研究结论的不同。在借助分布式处理、人工智能和云 计算等现代信息技术的大数据时代背景下， 可以采用数以千计的模型来进行研究。 在 2009 年美国甲型 H1N1 流感爆发之际，谷歌公司对其进行了大胆的预测， 将上千万条美国人的高频检索词和疾控中心在 2003 ～ 2008 年中间的 ( 季 节性) 流感时期进行了大量比较，总共处理了将近 5 亿的数字模型，其结果与 官方数据相关性达到了 97% ， 比官方时间省事半个月左右， 为相关部门积极解 决问题争取了弥足珍贵的时间。