Hadoop汇总整理.docx

【Hadoop 概述】 Hadoop 是一个开源的分布式计算框架，主要由 Apache 软件基金会维护。它设计的初衷是为了处理和存储大规模的数据集，尤其适合在廉价硬件上运行。Hadoop 的核心组件包括两个关键部分： 1. **HDFS (Hadoop Distributed File System)**：这是一个分布式文件系统，能够将大型数据文件分割成块，并在多台机器上存储这些数据块，以提高容错性和性能。NameNode 是 HDFS 的主节点，负责管理文件系统的命名空间和块信息，而 DataNodes 是工作节点，实际存储数据块。 2. **MapReduce**：这是一种编程模型，用于处理和生成大数据集。它将复杂的计算任务分解为两个阶段——Map 阶段和 Reduce 阶段，使得并行处理成为可能。Map 阶段将数据分片并进行局部处理，Reduce 阶段则汇总 Map 阶段的结果，生成最终输出。 Hadoop 提供了三种运行模式： - **独立模式**：单机模式，用于测试和开发。 - **伪分布模式**：在单机上模拟分布式环境，适合学习和测试。 - **完全分布模式**：在多台机器组成的集群上运行，用于生产环境。 【Hadoop 在 Windows 上的安装】 在 Windows 上安装 Hadoop 主要用于个人测试和学习，通常采用伪分布模式。安装步骤包括： 1. 安装 Java Development Kit (JDK) 并配置 `JAVA_HOME` 环境变量。 2. 将 Hadoop 添加到系统路径中，包括 `HADOOP_INSTALL/bin` 和 `HADOOP_INSTALL/sbin` 目录。 3. 配置 Hadoop 相关的配置文件，如 `core-site.xml`, `hdfs-site.xml`, `mapred-site.xml`, 和 `yarn-site.xml`。 4. 解决可能出现的异常，例如文件位置错误、命令行脚本格式问题、版本不匹配等。 【Windows 上的常见异常及解决方法】 1. 异常一：缺少 hadoop-common-2.2.0-bin-master 中的文件，需要将这些文件移动到 Hadoop 的 bin 目录。 2. 异常二：创建多级目录时出现问题，需要检查并修正 bin/*.cmd 文件中的 call 命令格式。 3. 异常三：进程无法正常关闭，可能是由于不同版本的 Hadoop 组件冲突，应确保所有组件版本一致。 4. 异常四：JDK 安装路径包含空格，建议更换无空格的路径重新安装 JDK。 【Hadoop 在 Linux 上的安装】 在 Linux 环境下安装 Hadoop，步骤与 Windows 类似，但需要额外考虑集群环境的设置： 1. 安装 JDK 并配置环境变量。 2. 解压并配置 Hadoop，同样更新系统路径。 3. 配置 Hadoop 配置文件，以及 slaves 文件以指定 DataNode 节点。 4. 设置 SSH 免密登录，便于在集群中进行无密码操作。 【SSH 免密登录配置】 1. 安装并配置 ssh 客户端和服务器。 2. 生成 SSH 密钥对，私钥保存在本地，公钥添加到 authorized_keys 文件中。 3. 复制相关软件和配置到其他节点，并设置 SSH 免密登录。 在所有配置完成后，需要在 NameNode 节点上执行格式化 HDFS 的命令 `hadoop namenode -format`，然后启动 Hadoop 集群服务，即可开始使用 Hadoop 进行大数据处理。