大数据的内涵理解.pdf

⼤数据的内涵理解 ⼤数据内涵： ⼤数据是未来的钻⽯矿和新⽯油，⼀个国家拥有数据的规模和运⽤数据的能⼒成为综合国⼒的重要 组成部分， 对数据的占有和控制也成为国家间和企业间新的争夺点。 ⼤数据并不是指⼤规模数据，⽽是海量数据和⼤数据处理技术的结合。 ⼤数据是融合物理世界、信息空间和⼈类社会三元 世界的 纽带。 ⼤数据的出现依赖集成电路技术和⽹络技术的发展，前者为⼤数据的产⽣和处理提供计算能⼒， 后者为⼤数据的⽹络传输提供可能。 特点：规模性（Volume：体量⼤，TB以上）、⾼速性（Velocity：分析和处理速度块）、 多样性（Variety：数据类型多样）、价值性（Value：⾼价值低密度）、 真实性（Veracity：客观反映事实）、易变性（Variability：多层结构） 简单概括4V： 要解决的问题：挖掘有价值的信息 数据的计量：信息的最⼩单位是bit(⽐特)，⼀个0或者⼀个1就是⼀个⽐特， 8⽐特就是⼀个字节（Byte）,例如：00010100就是 ⼀个字节， ⽤⼀个B表⽰⼀个Byte,信息的计量⼀般以2的10次⽅为⼀个进制，如1024Byte=1KB 数据存储单位之间的换算 单位名称 换算关系 Byte(字节) 1Byte=8bit KB(千字节) 1KB=1024 Byte MB（兆字节） 1MB=2014 KB GB（吉字节） 1GB=2014 MB TB(太⼦字节) 1TB=2014 GB PB（拍字节） 1PB=2014 TB EB（艾字节） 1EB=2014 PB ZB(泽字节) 1ZB=2014 EB YB(尧字节) 1YB=2014 ZB BB（珀字节） 1BB=2014 YB NB(诺字节) 1NB=2014 BB DB(⼑字节) 1DB=2014 NB 科学研究的四种范式： 1.观测与实验科学：⼈类的认识由感性经验上升到理性理论 2.理论科学：⽤理论科学分析、预测师姐 3.计算与仿真科学：通过计算和仿真发现新的规律 4.数据密集型科学:利⽤⼤规模数据发现新的规律 常见的⼤数据的计算模式：分析计算、批处理计算、流计算（具有很强的实时性）、迭代计算、图计算、内存计算。 ⼤数据涉及的技术：数据采集，数据存储，数据处理分析挖掘，数据可视化 ⼤数据技术的挑战：现有数据库管理技术的挑战 经典数据库没有考虑多类别的数据存储 实时数据的处理 ⽹络架构，存储 数据隐私安全 ⼤数据与机器学习的关系： 看到吴恩达教授的⼀句话很好，下图概括的⾮常⽣动。⼤数据是⼈⼯智能的基础。 ⼤数据是当今各种前沿科学的基⽯。 ⼤数据的⽣态圈： Hadoop⽣态圈，Spark⽣态圈......