大数据与我们的生活 2013年被称为"大数据元年",这一年几乎所有的世界级互联网企业,都将业务触角延伸至大数据产业;无论社交平台逐鹿、电商价格大战还是门户网站的竞争,都有它的影子。如今,一个大规模生产、分享和应用数据的时代正在开启。《大数据时代》的作者维克托教授曾说,大数据的真实价值就像漂浮在海洋中的冰山,第一眼只能看到冰山的一角,绝大部分都隐藏在表面之下。互联网的出现使得我们身边的社交网络,电子商务与移动通信把人类社会带入了一个以"PB"(1024TB)为单位的结构与非结构数据的新时代。而发掘数据价值、征服数据海洋的"动力"就是云计算。云计算出现之前,传统的计算机是无法处理如此量大并且不规则的"非结构数据"的。而以云计算为基础的信息存储、分享和挖掘手段,可以便宜、有效地将这些大量、高速、多变化的终端数据存储下来,并随时进行分析与计算。大数据与云计算是一个问题的两个方面:一个是问题,一个是解决问题的方法。那么在这里普及一下云计算的概念。云计算(Cloud Computing)是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展,或者说是这些计算机科学概念的商业实现。云计算的基本原理是,通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。最大的不同在于,它是通过互联网进行传输的。 这里我们没有必要将云计算的概念搞得十分透彻,因为它本身就像云一样,我们只需要知道它可以为我们提供本地主机无法提供的超强计算能力和各种服务,可以用云计算的方式解决许多在原本看来无法解决的问题。 我们回到正题,什么是大数据? 大数据与我们的生活全文共7页,当前为第1页。对于"大数据"(Big data)研究机构Gartner给出了这样的定义。"大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据与我们的生活全文共7页,当前为第1页。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中,大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。 而IBM则提出了大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Veracity(精确)、Value(价值)。大量是指数据量的规模可以从数百TB到数十百TB甚至EB。高速是指大数据需要在一定的时间限度下得到及时的处理。多样是指大数据包括各种格式和形态的数据。精确是指大数据的处理结果要保证一定的准确性。价值则是大数据的根本所在。 数据的收集方式有很多方法,通过浏览器可以获取用户上网的浏览记录,搜索引擎可以轻而易举地获取全球每天发出的数十亿条搜索指令,购物网站可以得到顾客的购买记录,也可以根据人们在社交软件上面的聊天记录来收集有用的信息,还可以通过让别人做网页上面的答卷来收集信息,知道人们对于一种东西的看法和态度。 这些收集起来的数据就会全部都储藏在一起,然后有用的时候就会用特殊的软件来分析处理这些数据,国家有国家的数据,很多的公司也有自己的数据库,一个公司的数据库越大就代表了这个公司的实力越强,未来发展的可能性也就越大越好。 大数据与我们的生活全文共7页,当前为第2页。当然这些数据最主要的并不是绝对的大,而是有用的信息比较多,覆盖的范围比较广,是一种相对的大。这样分析出来的结果也就越准确,这些数据可以准确的反映现在社会上面发生的事情和现在人们的心理状态,可以预测到很多事情的未来的发展方向,有的公司可以根据这些数据发现自己的不足和管理漏洞,及时的改变和处理,延长企业的寿命,增加企业的资产和竞争能力。通过数据,也可以知道现在社会上面主流的东西是什么,只有抓住主流的社会,才能跟上时代的步伐,顺应历史的潮流,抓住机遇,发展自己的公司和事业。 大数据与我们的生活全文共7页,当前为第2页。 大数据时代的三个转变 大数据的精髓在于我们分析信息时的三个转变,这些转变将改变我们理解和组建社会的方法。 第一个转变就是,在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样。19世纪以来,当面临大量数据时,社会都依赖于采样分析,但采样分析是信息缺乏时代和信息流受限制的模拟数据时代的产物。为了让分析变得简单,我们会把数据量缩减到最小,潜意识里认为我们与大量数据的交流困难是自然现象,而没有意识到这只是当时技术条件下的一种人为限制。与局限在小数据范围相比,使用一
- 粉丝: 167
- 资源: 3万+
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助