大数据--第一章大数据概述笔记分享.pdf

⼤数据--第⼀章⼤数据概述笔记分享 ⼤数据--第⼀章 ⼤数据概述笔记分享 ⼀、⼤数据时代 1.三次信息化浪潮 信息化浪潮 信息化浪潮 发⽣时间 发⽣时间 标志 标志 解决问题 解决问题 代表企业 代表企业 第⼀次浪潮 1980年前后 个⼈计算机 信息处理 Intel、AMD、IBM、苹果、微软、戴尔、惠普等 第⼆次浪潮 1995年前后 互联⽹ 信息传输 雅虎、⾕歌、阿⾥巴巴、百度、腾讯等 第三次浪潮 2010年前后 物联⽹、云计算、⼤数据 信息爆炸 将涌现出⼀批新的市场标杆企业 2.第三次信息化浪潮的⽀持 技术⽀撑 § 存储：存储设备容量不断增加 § 计算：CPU处理能⼒⼤幅度提升 § ⽹络：⽹络带宽不断增加 数据产⽣⽅式发⽣变化 3.数据产⽣⽅式的变⾰促成⼤数据时代的来临 运营式系统阶段——数据产⽣⽅式是被动的 ⽤户原创内容阶段——数据产⽣⽅式是主动的 感知式系统阶段——⼤数据的产⽣（物联⽹、云计算和⼤数据） 物联⽹底层是感知层，如：摄像头、传感器、⼀卡通 4.⼤数据发展的三个阶段 萌芽期 成熟期 ⼤规模应⽤期 ⼆、⼤数据概念 4V特性： § 数据量⼤（Volume） § 处理速度快（Velocity） § 数据类型繁多（Variety） § 价值密度低（value） 三、⼤数据的影响 1、图灵获奖者、著名数据库专家Jim Gray博⼠观察并总结⼈类⾃古以来，在科学研究上，先后历经了实验、理论、计算和数据四种范式。 2、在思维⽅式⽅⾯，⼤数据完全颠覆了传统的思维⽅式： § 全样⽽⾮抽象 § 效率⽽⾮精确 § 相关⽽⾮因果 四、⼤数据的应⽤ 1、⼤数据⽆处不在 2、典型的⼤数据应⽤实例 1.影视剧拍摄 2.⾕歌流感趋势 五、⼤数据的关键技术 1、⼤数据的关键技术 2、⼤数据的两⼤核⼼技术 数据的存储和数据的处理 3、两⼤核⼼技术 数据的存储 数据的存储 分布式存储 分布式存储 GFS\HDFS 、Big Table\Hbase、NoSQL、NewSQL GFS\HDFS 、Big Table\Hbase、NoSQL、NewSQL 数据的处理 分布式处理 MapReduce 六、⼤数据计算模式 1、MapReuce是基于磁盘的离线计算，需要进⾏批处理，不能满⾜实时需求，它是⼀批⼀批处理的，不能实现秒级响应。Spark是基于内存的迭代计算，Spark 处理速度⽐MapReuce快。 2、批处理是对数据批量处理，流计算是实时计算。 3、图计算针对⼤规模图结构数据的处理。 4、查询分析计算是⼤规模数据的存储管理和查询分析。 七、⼤数据与云计算、物联⽹的关系 1、⼤数据、云计算和物联⽹代表了IT领域最新的计算发展趋势，三者相辅相成，既有联系⼜有区别。 2、云计算 云计算概念：云计算实现了通过⽹络与服务的⽅式为⽤户提供可伸缩的、廉价的分布式计算能⼒，⽤户只需要在具备⽹络接⼊条件的地⽅，就可以随时随地 获得所需的各种廉价的IT资源。 云计算关键技术：虚拟化、分布式存储、分布式计算、多租户等。 云计算数据中⼼是云计算的重要载体，为云计算提供计算、存储、带宽等各种硬件资源，为各种平台和应⽤提供运⾏⽀撑环境。 3、物联⽹ 物联⽹是物物相连的互联⽹，是互联⽹的延伸，它利⽤局部⽹络或互联⽹等通信技术把传感器、控制器、机器、⼈员和物等通过新的⽅式联在⼀起，形成⼈ 与物、物与物相联，实现信息化和远程管理控制。 应⽤层：包括很多应⽤，⽐如智能交通 处理层：包括各种数据处理的应⽤，将数据处理好后传给上⼀层 ⽹络层：在物联⽹中起到数据传输的作⽤ 感知层：物联⽹的最底层 物联⽹应⽤举例——智能交通 物联⽹关键技术 物联⽹中的关键技术包括识别和感知技术（⼆维码、RFID芯⽚、传感器等）、⽹络与通信技术、数据挖掘与融合技术等。 物联⽹应⽤ 物联⽹已经⼴泛应⽤于智能交通、智慧医疗、智能家居等领域。 4、云计算、⼤数据、物联⽹三者的关系，既有区别⼜有联系