数据之舞：大数据与数据挖掘 作者：David J. TenenBaum 来源：《求知导刊》2013年第09期 泄密者爱德华·斯诺登（Edward Snowden）还在寻求容身之所的时候，美国国家安全局（NSA）全方位收集电话和电子邮 件记录之事经过他的披露，已经引发了不安和愤怒。 奥巴马当局声称，监听数据带来了安全，然而左翼和右翼都在谴责这种窥探行 为是对隐私的侵犯。 数据不是信息，而是有待理解的原材料。但有一件事是确定无疑的：当NSA为了 从其海量数据中"挖掘"出信息，耗资数十亿改善新手段时，它正受益于陡然降落的计算 机存储和处理价格。 数据挖掘这一术语含义广泛，指代一些通常由软件实现的机制，目的是从巨量 数据中提取出信息。数据挖掘往往又被称作算法。 威斯康星探索学院主任大卫·克拉考尔（David Krakauer）说，数据量的增长——以及提取信息的能力的提高——也在影响着科学。"计算机 的处理能力和存储空间在呈指数增长，成本却在指数级下降。从这个意义上来讲，很多 科学研究如今也遵循摩尔定律。" 在2005年，一块1TB的硬盘价格大约为1，000美元，"但是现在一枚不到100美元 的U盘就有那么大的容量。"研究智能演化的克拉考尔说。现下关于大数据和数据挖掘的 讨论"之所以发生是因为我们正处于惊天动地的变革当中，而且我们正以前所未有的方式 感知它。"克拉劳尔说。 随着我们通过电话、信用卡、电子商务、互联网和电子邮件留下更多的生活痕 迹，大数据不断增长的商业影响也在如下时刻表现出来： ·你搜索一条飞往塔斯卡鲁萨的航班，然后便看到网站上出现了塔斯卡鲁萨的宾 馆打折信息 ·你观赏的电影采用了以几十万G数据为基础的计算机图形图像技术 ·你光顾的商店在对顾客行为进行数据挖掘的基础上获取最大化的利润 ·用算法预测人们购票需求，航空公司以不可预知的方式调整价格 ·智能手机的应用识别到你的位置，因此你收到附近餐厅的服务信息 大数据在看着你吗？ 除了安全和商业，大数据和数据挖掘在科研领域也正在风起云涌。越来越多的 设备带着更加精密的传感器，传回愈发难以驾驭的数据流，于是人们需要日益强大的分 析能力。在气象学、石油勘探和天文学等领域，数据量的井喷式增长对更高层次的分析 和洞察提供了支持，甚至提出了要求。 这幅2005年6月至2007年12月海洋表面洋流的示意图集成了带有数值模型的卫星 数据。漩涡和窄洋流在海洋中传送热量和碳。海洋环流和气候评估项目提供了所有深度 的洋流，但这里仅仅使用了表层洋流。这些示意图用来测量海洋在全球碳循环中的作用 ，并监测地球系统的不同部分内部及之间的热量、水和化学交换。 在医学领域，2003年算是大数据涌现过程中的一个里程碑。那一年第一例人类 基因组完成了测序。那次突破性的进展之后，数以千计人类、灵长类、老鼠和细菌的基 因组扩充着人们所掌握的数据。每个基因组上有几十亿个"字母"，计算时出现纰漏的危 险，催生了生物信息学。这一学科借助软件、硬件以及复杂算法之力，支撑着新的科学 类型。 另一例生物信息学的应用来自美国国家癌症研究所。该所的苏珊·霍尔贝克（S usan Holbeck）在60种细胞系上测试了5000对美国食品和药品管理局批准的抗癌药品。经过3 0万次试验之后，霍尔贝克说："我们知道每种细胞系里面每一条基因的RNA表达水平。我 们掌握了序列数据、蛋白质数据，以及微观RNA表达的数据。我们可以取用所有这些数据 进行数据挖掘，看一看为什么一种细胞系对混合药剂有良好的反应，而另一种没有。我 们可以抽取一对观察结果，开发出合适的靶向药品，并在临床测试。" 互联网上的火眼金睛 当医学家忙于应对癌症、细菌和病毒之时，互联网上的政治言论已呈燎原之势 。整个推特圈上每天要出现超过5亿条推文，其政治影响力与日俱增，使廉洁政府团体面 临着数据挖掘技术带来的巨大挑战。 印第安纳大学Truthy（意：可信）项目的目标是从这种每日的信息泛滥中发掘 出深层意义，博士后研究员埃米利奥·费拉拉（Emilio Ferrara）说。"Truthy是一种能让研究者研究推特上信息扩散的工具。通过识别关键词 以及追踪在线用户的活动，我们研究正在进行的讨论。" Truthy是由印第安纳研究者菲尔·孟泽（Fil Menczer）和亚力桑德罗·弗拉米尼（Ale- ssandro Flammini）开发的。每一天，该项目的计算机过滤多达5千万条推文，试图找出其中蕴含 的模式。 一个主要的兴趣点是"水军"，费拉拉说：协调一致的造势运动本应来自草根阶 层，但实际上是由"热衷传播虚假信息的个人和组织"发起的。 2012年美国大选期间，一系列推文声称共和党总统候选人米特·罗姆尼（Mitt Romney）在脸谱网上获得了可疑的大批粉丝。"调查者发现共和党人和民主党人皆与此
