Hadoop基本概念与架构.ppt

"Hadoop基本概念与架构" Hadoop 是一整套大数据存储和处理方案，包括数据收集、数据存储（离线存储，在线存储）、数据分析与挖掘等。Hadoop 是一个生态系统，每个系统解决一类问题，系统间相互配合。Hadoop 生态系统特点包括源代码开源（免费）、社区活跃、参与者众多、涉及分布式存储和计算的方方面面，已经得到企业界验证。 Hadoop 发行版本包括 Apache Hadoop、HDP 和 CDH 等。Apache Hadoop 是最原始版本，所有其他发行版均基于该发行版实现的。HDP 是 Hortonworks 公司的发行版，而 CDH 是 Cloudera 公司的 Hadoop 发行版。不同的发行版在架构、部署和使用方法上是一致的，不同之处仅在若干内部实现。 Hadoop 内核包括分布式存储系统 HDFS、资源管理系统 YARN 和分布式计算框架 MapReduce。HDFS 是一个易于扩展的分布式文件系统，运行在大量普通廉价机器上，提供容错机制，为大量用户提供性能不错的文件存取服务。HDFS 的优点包括高容错性、适合批处理、大数据处理、流式文件访问、可构建在廉价机器上等。然而，HDFS 也存在一些缺点，如低延迟数据访问、小文件存取、并发写入、文件随机修改等。 HDFS 的设计思想是将文件分块存储在多个节点上，每个块副本都存储在不同的节点上，以提高可靠性和性能。然而，这种设计思想也存在一些问题，如难以实现负载均衡、不利于并行处理等。 YARN 是负责集群资源的统一管理和调度的资源管理系统，包括三个组件：ResourceManager、ApplicationMaster 和 NodeManager。ResourceManager 负责集群资源的统一管理，ApplicationMaster 负责应用程序的运行，而 NodeManager 负责节点的管理。 MapReduce 是一个分布式计算框架，易于编程、高容错性、高扩展性等特点。MapReduce 的工作流程包括 Map 阶段、Shuffle 阶段和 Reduce 阶段。Map 阶段将输入数据切分成小块，然后并行处理这些小块。Shuffle 阶段将 Map 阶段的输出结果重新分配给 Reduce 阶段。Reduce 阶段将 Shuffle 阶段的输出结果聚合成最终结果。 Hadoop 是一个功能强大的大数据处理方案，包括数据收集、数据存储、数据分析与挖掘等多个方面。Hadoop 生态系统包括多个组件，如 HDFS、YARN 和 MapReduce 等，每个组件都有其特点和缺点。了解 Hadoop 的基本概念和架构对于大数据处理和分析非常重要。