hadoop搭建.docx

【Hadoop 搭建完全分布式】 在大数据处理领域，Hadoop 是一个广泛使用的开源框架，主要用于分布式存储和计算。本教程将详细介绍如何在Linux环境下搭建一个高可用(HA)的Hadoop完全分布式集群，主要涉及到HDFS(Hadoop Distributed File System)的HA以及YARN(Yet Another Resource Negotiator)的高可用设置。 1. **HDFS HA**: HDFS HA的核心是通过设置两个NameNode，一个为主(Active)，另一个为备用(Standby)。Active NameNode负责处理客户端的请求，而Standby NameNode则时刻同步Active的状态，以便在Active故障时能立即接管服务。在Hadoop 2.0中，有两种实现HDFS HA的方法：NFS和Quorum Journal Manager(QJM)。QJM更常用，因为它无需额外的硬件支持。在QJM方案中，NameNode通过JournalNode集群同步元数据，多数JournalNode确认即视为写入成功。同时，Zookeeper集群用于故障检测和转移，确保在Active NameNode失败时，能自动将Standby提升为Active。 2. **ResourceManager HA**: YARN的ResourceManager同样存在单点故障问题，但在hadoop-2.4.1及以上版本，引入了ResourceManager的HA机制。两个ResourceManager，一个Active，一个Standby，Zookeeper负责协调其状态切换，确保高可用性。 3. **JobHistoryServer**: YARN框架下的MapReduce可通过开启JobHistoryServer来记录并持久化任务的历史信息，以便后续查询和分析。 4. **Zookeeper的角色**: Zookeeper在HDFS和YARN HA中都起到关键作用，它负责NameNode和ResourceManager的选举，确保在节点故障时能够快速切换。 5. **环境和软件版本**: - 环境：VirtualBox 6.0.24，CentOS 7，Windows 10 - 软件：JDK 1.8_131，Hadoop 2.6.0-cdh5.7.0，Zookeeper 3.4.5-cdh5.7.0 - 工具：XShell6 (远程连接)，FileZilla 3.33.0 (SFTP) 6. **集群规划**: - 集群由3台主机组成，包括1个Master，2个Slave，每个节点根据需求配置不同的服务（例如，Master运行NameNode，ResourceManager等，Slave运行DataNode，NodeManager等）。 7. **操作步骤**: - **集群初始化**：确保所有节点上的Hadoop配置已清空，如删除`/opt/hdfs/tmp`下的文件。 - **安装插件**：为了允许NameNode的热切换，需要在Master和Slave01上安装psmisc。 - **配置Core-Site.xml**：在Master节点上编辑`core-site.xml`，设置`fs.defaultFS`为HDFS的nameservice（如`hdfs://ns`），`hadoop.tmp.dir`为HDFS临时目录，`io.file.buffer.size`为缓冲大小，`ha.zookeeper.quorum`为Zookeeper集群地址。 - **配置HDFS-Site.xml**：在Master节点上编辑`hdfs-site.xml`，设定HDFS的配置，如`dfs.nameservices`，`dfs.ha.namenodes.ns`，`dfs.namenode.rpc-address.ns`，`dfs.namenode.http-address.ns`等，并配置JournalNode和Zookeeper相关信息。 - **配置YARN-Site.xml**：设置YARN的ResourceManager HA，包括`yarn.resourcemanager.cluster-id`，`yarn.resourcemanager.ha.enabled`，`yarn.resourcemanager.ha.rm-ids`，`yarn.resourcemanager.address`等。 - **配置Mapred-Site.xml**：设定MapReduce作业历史服务器的相关配置。 - **启动与测试**：启动所有Hadoop服务，并进行基本的健康检查和测试，如`hdfs dfsadmin -report`，`jps`等，确保所有服务正常运行，且可以进行NameNode和ResourceManager的故障切换。 8. **注意事项**: - 在配置过程中，确保所有节点的配置一致。 - 关注防火墙设置，确保所有必要的端口开放。 - 使用脚本自动化部署可以提高效率和一致性。 以上是构建HA Hadoop完全分布式集群的详细步骤和相关知识，通过这些配置，可以创建一个可靠的、具有高可用性的Hadoop集群，有效地避免单点故障，提升系统整体的稳定性和可靠性。