大数据--第一章大数据概述笔记分享.pdf

⼤数据--第⼀章⼤数据概述笔记分享 ⼤数据--第⼀章 ⼤数据概述笔记分享 ⼀、⼤数据时代 1.三次信息化浪潮 信息化浪潮 信息化浪潮 发⽣时间 发⽣时间 标志 标志 解决问题 解决问题 代表企业 代表企业 第⼀次浪潮 1980年前后 个⼈计算机 信息处理 Intel、AMD、IBM、苹果、微软、戴尔、惠普等 第⼆次浪潮 1995年前后 互联⽹ 信息传输 雅虎、⾕歌、阿⾥巴巴、百度、腾讯等 第三次浪潮 2010年前后 物联⽹、云计算、⼤数据 信息爆炸 将涌现出⼀批新的市场标杆企业 2.第三次信息化浪潮的⽀持 技术⽀撑 § 存储：存储设备容量不断增加 § 计算：CPU处理能⼒⼤幅度提升 § ⽹络：⽹络带宽不断增加 数据产⽣⽅式发⽣变化 3.数据产⽣⽅式的变⾰促成⼤数据时代的来临 运营式系统阶段——数据产⽣⽅式是被动的 ⽤户原创内容阶段——数据产⽣⽅式是主动的 感知式系统阶段——⼤数据的产⽣（物联⽹、云计算和⼤数据） 物联⽹底层是感知层，如：摄像头、传感器、⼀卡通 4.⼤数据发展的三个阶段 萌芽期 成熟期 ⼤规模应⽤期 ⼆、⼤数据概念 4V特性： § 数据量⼤（Volume） § 处理速度快（Velocity） § 数据类型繁多（Variety） § 价值密度低（value） 三、⼤数据的影响 1、图灵获奖者、著名数据库专家Jim Gray博⼠观察并总结⼈类⾃古以来，在科学研究上，先后历经了实验、理论、计算和数据四种范式。 2、在思维⽅式⽅⾯，⼤数据完全颠覆了传统的思维⽅式： § 全样⽽⾮抽象 § 效率⽽⾮精确 § 相关⽽⾮因果 四、⼤数据的应⽤ 1、⼤数据⽆处不在 2、典型的⼤数据应⽤实例 1.影视剧拍摄 2.⾕歌流感趋势 五、⼤数据的关键技术 1、⼤数据的关键技术 2、⼤数据的两⼤核⼼技术 数据的存储和数据的处理 3、两⼤核⼼技术 数据的存储 数据的存储 分布式存储 分布式存储 GFS\HDFS 、Big Table\Hbase、NoSQL、NewSQL GFS\HDFS 、Big Table\Hbase、NoSQL、NewSQL 数据的处理 分布式处理 MapReduce 六、⼤数据计算模式 1、MapReuce是基于磁盘的离线计算，需要进⾏批处理，不能满⾜实时需求，它是⼀批⼀批处理的，不能实现秒级响应。Spark是基于内存的迭代计算，Spark 处理速度⽐MapReuce快。 2、批处理是对数据批量处理，流计算是实时计算。 3、图计算针对⼤规模图结构数据的处理。 4、查询分析计算是⼤规模数据的存储管理和查询分析。 七、⼤数据与云计算、物联⽹的关系 1、⼤数据、云计算和物联⽹代表了IT领域最新的计算发展趋势，三者相辅相成，既有联系⼜有区别。 2、云计算 云计算概念：云计算实现了通过⽹络与服务的⽅式为⽤户提供可伸缩的、廉价的分布式计算能⼒，⽤户只需要在具备⽹络接⼊条件的地⽅，就可以随时随地 获得所需的各种廉价的IT资源。 云计算关键技术：虚拟化、分布式存储、分布式计算、多租户等。 云计算数据中⼼是云计算的重要载体，为云计算提供计算、存储、带宽等各种硬件资源，为各种平台和应⽤提供运⾏⽀撑环境。 3、物联⽹ 物联⽹是物物相连的互联⽹，是互联⽹的延伸，它利⽤局部⽹络或互联⽹等通信技术把传感器、控制器、机器、⼈员和物等通过新的⽅式联在⼀起，形成⼈ 与物、物与物相联，实现信息化和远程管理控制。 应⽤层：包括很多应⽤，⽐如智能交通 处理层：包括各种数据处理的应⽤，将数据处理好后传给上⼀层 ⽹络层：在物联⽹中起到数据传输的作⽤ 感知层：物联⽹的最底层 物联⽹应⽤举例——智能交通 物联⽹关键技术 物联⽹中的关键技术包括识别和感知技术（⼆维码、RFID芯⽚、传感器等）、⽹络与通信技术、数据挖掘与融合技术等。 物联⽹应⽤ 物联⽹已经⼴泛应⽤于智能交通、智慧医疗、智能家居等领域。 4、云计算、⼤数据、物联⽹三者的关系，既有区别⼜有联系 【大数据概述】 大数据，顾名思义，是指数据量巨大、处理速度快、种类多样且价值密度低的数据集合。这一概念的出现与三次信息化浪潮密切相关。第一次信息化浪潮始于1980年前后，由个人计算机引领，主要解决了信息处理的问题；第二次浪潮在1995年前后，以互联网为核心，实现了信息的快速传输；第三次浪潮则发生在2010年前后，以物联网、云计算和大数据为主导，应对信息爆炸性增长带来的挑战。 大数据的产生方式经历了从运营式系统到用户原创内容，再到感知式系统的转变。物联网作为感知层的基础，通过摄像头、传感器等设备大量收集数据，推动了大数据时代的发展。大数据的发展历程可以分为萌芽期、成熟期和大规模应用期。 大数据的特征通常概括为4V：Volume（数据量大）、Velocity（处理速度快）、Variety（数据类型繁多）和Value（价值密度低）。这些特性对传统数据处理方式提出了新挑战，同时也催生了新的思维模式，即全样而非抽象、效率而非精确、相关而非因果的思维方式。 大数据的应用广泛，例如在影视剧拍摄中，通过分析观众喜好来定制剧情；谷歌流感趋势则利用搜索数据预测流感爆发。这些例子表明大数据已经渗透到生活的各个领域。 【大数据关键技术】 大数据处理的核心技术主要包括数据存储和数据处理。数据存储方面，分布式存储如GFS\HDFS、Big Table\Hbase、NoSQL和NewSQL等提供了海量数据的存储解决方案。数据处理则有MapReduce和Spark等，其中Spark通过内存计算提升了处理速度，更适合实时需求。 【大数据计算模式】 大数据计算模式包括MapReduce、Spark等。MapReduce适合离线批处理，而Spark则支持迭代计算，处理速度更快。此外，还有批处理、流计算、图计算和查询分析计算等多种计算模式，满足不同场景的需求。 【大数据与云计算、物联网关系】 大数据、云计算和物联网是IT领域的最新趋势，它们相互补充。云计算通过虚拟化、分布式存储和计算等技术，提供弹性、低成本的计算能力。云计算数据中心为这些服务提供硬件支撑。物联网则通过传感器等设备连接万物，实现信息的采集和远程管理。物联网的关键技术涉及识别、感知、通信和数据处理等。 大数据、云计算和物联网之间存在紧密联系，但也有各自的特点。大数据是云计算服务的重要数据来源，而物联网则是数据的生产者。三者共同推动了信息技术的革新与发展，成为当今数字化世界的关键组成部分。