大数据的四大特点.pdf

⼤数据的四⼤特点 　　说起⼤数据，估计⼤家都觉得只听过概念，但是具体是什么东西，怎么定义，没有⼀个标准的东西，因为在我们的印象中好像很多公司 都叫⼤数据公司，业务形态则有⼏百种，感觉不是很好理解，所以我建议还是从字⾯上来理解⼤数据，在维克托迈尔-舍恩伯格及肯尼斯库 克耶编写的《⼤数据时代》提到了⼤数据的4个特征： 　　1.⼤量 　　⼤数据的特征⾸先就体现为"⼤"，从先Map3时代，⼀个⼩⼩的MB级别的Map3就可以满⾜很多⼈的需求，然⽽随着时间的推移，存 储单位从过去的GB到TB，乃⾄现在的PB、EB级别。只有数据体量达到了PB级别以上，才能被称为⼤数据。1PB等于1024TB，1TB等于 1024G，那么1PB等于1024*1024个G的数据。随着信息技术的⾼速发展，数据开始爆发性增长。社交⽹络(微博、推特、脸书)、移动⽹ 络、各种智能⼯具，服务⼯具等，都成为数据的来源。淘宝⽹近4亿的会员每天产⽣的商品交易数据约20TB;脸书约10亿的⽤户每天产⽣的 ⽇志数据超过300TB。迫切需要智能的算法、强⼤的数据处理平台和新的数据处理技术，来统计、分析、预测和实时处理如此⼤规模的数 据。 　　2.⾼速 　　就是通过算法对数据的逻辑处理速度⾮常快，1秒定律，可从各种类型的数据中快速获得⾼价值的信息，这⼀点也是和传统的数据挖掘 技术有着本质的不同。⼤数据的产⽣⾮常迅速，主要通过互联⽹传输。⽣活中每个⼈都离不开互联⽹，也就是说每天个⼈每天都在向⼤数据 提供⼤量的资料。并且这些数据是需要及时处理的，因为花费⼤量资本去存储作⽤较⼩的历史数据是⾮常不划算的，对于⼀个平台⽽⾔，也 许保存的数据只有过去⼏天或者⼀个⽉之内，再远的数据就要及时清理，不然代价太⼤。基于这种情况，⼤数据对处理速度有⾮常严格的要 求，服务器中⼤量的资源都⽤于处理和计算数据，很多平台都需要做到实时分析。数据⽆时⽆刻不在产⽣，谁的速度更快，谁就有优势。 　　3.多样 　　如果只有单⼀的数据，那么这些数据就没有了价值，⽐如只有单⼀的个⼈数据，或者单⼀的⽤户提交数据，这些数据还不能称为⼤数 据。⼴泛的数据来源，决定了⼤数据形式的多样性。⽐如当前的上⽹⽤户中，年龄，学历，爱好，性格等等每个⼈的特征都不⼀样，这个也 就是⼤数据的多样性，当然了如果扩展到全国，那么数据的多样性会更强，每个地区，每个时间段，都会存在各种各样的数据多样性。任何 形式的数据都可以产⽣作⽤，⽬前应⽤最⼴泛的就是推荐系统，如淘宝，⽹易云⾳乐、今⽇头条等，这些平台都会通过对⽤户的⽇志数据进 ⾏分析，从⽽进⼀步推荐⽤户喜欢的东西。⽇志数据是结构化明显的数据，还有⼀些数据结构化不明显，例如图⽚、⾳频、视频等，这些数 据因果关系弱，就需要⼈⼯对其进⾏标注。 　　4.价值 　　这也是⼤数据的核⼼特征。据羿戓产品设计所了解，现实世界所产⽣的数据中，有价值的数据所占⽐例很⼩。相⽐于传统的⼩数据，⼤ 数据最⼤的价值在于通过从⼤量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习⽅法、⼈⼯ 智能⽅法或数据挖掘⽅法深度分析，发现新规律和新知识。你如果有1PB以上的全国所有20-35年轻⼈的上⽹数据的时候，那么它⾃然就有 了商业价值，⽐如通过分析这些数据，我们就知道这些⼈的爱好，进⽽指导产品的发展⽅向等等。如果有了全国⼏百万病⼈的数据，根据这 些数据进⾏分析就能预测疾病的发⽣，这些都是⼤数据的价值。⼤数据运⽤之⼴泛，如运⽤于农业、⾦融、医疗等各个领域，从⽽最终达到 改善社会治理、提⾼⽣产效率、推进科学研究的效果。 对⼤数据以及⼈⼯智能概念都是模糊不清的，该按照什么线路去学习，学完往哪⽅⾯发展，想深⼊了解，想学习的同学欢迎加⼊⼤数据学 习qq群：458345782，有⼤量⼲货（零基础以及进阶的经典实战）分享给⼤家，并且有清华⼤学毕业的资深⼤数据讲师给⼤家免费授 课，给⼤家分享⽬前国内最完整的⼤数据⾼端实战实⽤学习流程体系 。从java和linux⼊⼿，其后逐步的深⼊到HADOOP-hive-oozie-web- flume-python-hbase-kafka-scala-SPARK等相关知识⼀⼀分享！ 　　⼤数据已经成为过去⼏年中⼤部分⾏业的游戏规则，⾏业领袖，学者和其他知名的利益相关者都同意这⼀点，随着⼤数据继续渗透到我 们的⽇常⽣活中，围绕⼤数据的炒作正在转向实际使⽤中的真正价值。