Hadoop期末学习重点.pdf

### Hadoop大数据技术与应用学习重点 #### 一、Hadoop生态圈的常用组件及其功能 Hadoop是一个开源软件框架，用于分布式存储和处理大规模数据集。Hadoop生态圈由多个组件构成，每个组件都有其特定的功能。 1. **HDFS (Hadoop Distributed File System)**：是一个高度容错性的分布式文件系统，设计用来部署在商用硬件上。它能够提供高吞吐量的数据访问，适合处理大量数据的应用程序。 2. **YARN (Yet Another Resource Negotiator)**：是一种通用的资源管理系统，最初设计用于Hadoop MapReduce v2。YARN允许用户高效地运行MapReduce任务以及其他类型的分布式计算任务。 3. **MapReduce**：是一个分布式并行编程模型，用于处理大规模数据集。它将处理过程分为两个阶段：Map（映射）和Reduce（归纳），能够简化开发人员的工作。 4. **HBase**：是一个分布式的、面向列的数据库系统，构建于HDFS之上。它支持随机读取/写入，并且是可扩展的，能够存储非常大的数据集。 5. **Hive**：是一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，使不熟悉MapReduce的用户也能进行数据查询。 6. **Pig**：是一个基于Hadoop的高级数据分析工具，它提供了一种名为Pig Latin的语言来编写数据分析脚本，简化了MapReduce编程。 7. **Flume**：是一个高可靠、高性能的服务，用于收集、聚合和移动大量日志数据。它具有简单灵活的架构，易于定制各种数据发送方和接收方。 8. **Sqoop**：是一个工具，用于在Hadoop和关系型数据库之间高效地传输数据。它可以将数据导入到Hadoop的HDFS中，也可以从Hadoop导出数据到关系型数据库。 9. **ZooKeeper**：是一个分布式协调服务，用于解决分布式环境中的一致性问题。它为分布式应用提供了关键的基础服务，如配置维护、域名服务、分布式同步等。 10. **Ambari**：是一个开源项目，用于提供Apache Hadoop集群的供应、管理和监控功能。它提供了一个简洁的Web界面来帮助管理员部署和管理Hadoop集群。 11. **Mahout**：是一个可扩展的机器学习库，包含了多种机器学习算法的实现，如分类、聚类、推荐引擎等。 #### 二、Hadoop安装 Hadoop的安装可以根据不同的需求选择不同的模式。主要包括单机模式、伪分布式模式和完全分布式模式。 1. **安装单机模式**：适用于初学者了解Hadoop的基本功能。 - **步骤**：安装前准备、设置Hadoop配置文件`hadoop-env.sh`、测试Hadoop。 - 创建输入文件，运行示例程序来验证Hadoop是否安装成功。 2. **安装伪分布式模式**：适用于开发和测试环境，模拟多台机器的效果。 - **步骤**：安装前准备、使用root账户登录、修改IP、修改host主机名、配置ssh免密登录、关闭防火墙、安装JDK并配置环境变量、解压Hadoop安装包、配置Hadoop的核心文件、配置Hadoop环境变量、格式化Hadoop namenode、启动节点。 - 免密设置的原因是为了方便启动和停止Hadoop集群，特别是在大规模集群中，避免重复输入密码的繁琐。 #### 三、HDFS的组成与各组成作用 HDFS是Hadoop的核心组件之一，主要用于存储大量的数据。 1. **Client**：代表用户与HDFS交互，提供了类似于POSIX的文件系统接口。 2. **NameNode**：作为HDFS的管理者，负责管理文件系统的命名空间和数据块信息。 - **功能**： - **管理和维护HDFS的命名空间**：包括文件系统树及文件和文件夹的元数据。 - **管理DataNode上的数据块**：确保数据的冗余和完整性。 - **接收客户端的请求**：处理来自客户端的读写请求。 3. **SecondaryNameNode**：虽然不直接参与HDFS的日常运作，但它定期与NameNode通信，合并fsimage和edits文件，减轻NameNode的压力。 - **合并过程**： - SecondaryNameNode定期与NameNode通信，暂停当前的edits文件，并将fsimage和edits文件下载到本地进行合并。 - 合并后的fsimage文件再传回给NameNode，替换旧的fsimage文件。 - 这个过程有助于保持NameNode的高效运行，并减少内存占用。 通过以上介绍，我们可以看到Hadoop生态圈中的各个组件相互协作，共同实现了对大规模数据的有效管理和处理。无论是单机模式还是分布式模式的安装，都能够帮助我们更好地理解和使用Hadoop。同时，深入了解HDFS的内部机制也有助于优化Hadoop集群的性能。