hadoop on demand安装指南

【Hadoop On Demand (HOD) 安装指南】 Hadoop On Demand (HOD) 是一个工具，允许用户在已有的Hadoop集群上快速启动和管理Hadoop作业，而无需直接管理和配置完整的Hadoop集群。它主要依赖于Torque资源管理系统，通过提供一个灵活的接口，使得用户可以按需启动和关闭Hadoop实例。以下是一份详细的HOD安装步骤： 1. **环境准备**： 在4台相同的虚拟机上进行实验，每台机器都有特定的IP地址和主机名。确保所有节点之间的网络通信畅通，并且可以在`/etc/hosts`文件中配置IP与主机名的映射，以便无密码SSH访问。 2. **设置SSH无密码访问**： 使用`ssh-keygen`生成DSA密钥，然后将公钥复制到其他节点的`~/.ssh/authorized_keys`文件中，以实现从服务器到其他节点的无密码登录。 3. **安装Torque**： - 下载Torque的软件包，例如版本2.5.1。 - 解压缩并编译安装，Torque默认安装在`/var/spool/torque`目录下。 - 生成客户端安装包，并通过SCP将它们分发到所有节点。 - 配置服务器端的`nodes`和`mom_priv/config`文件，指定集群中的节点和PBS服务器。 - 在每个节点上安装客户端，更新`pbs_mom`配置并启动服务。 4. **验证Torque安装**： 运行`pbsnodes`命令检查所有节点是否正确注册。 5. **创建HOD队列**： 使用`qmgr`创建名为"hadoop_q"的队列，并设置其类型为Execution，分配给"hadoop_cluster"。 6. **安装Hadoop**： - 下载Hadoop，例如版本0.20.2。 - 解压缩到指定目录，如`/opt`。 - 配置Hadoop的`conf`文件，包括`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`等，以适应HOD和Torque环境。 7. **配置HOD**： - 安装HOD，通常包含修改HOD配置文件，例如`hodrc`，定义队列参数，资源限制等。 - 创建必要的Hadoop目录结构，并设置权限，以便HOD可以管理和运行作业。 8. **测试和运行HOD**： 启动HOD，提交一个测试作业，通过检查日志和作业状态确认HOD是否正常工作。 9. **故障排查**： 在安装和运行过程中可能会遇到各种问题，如网络问题、权限问题或配置错误。解决这些问题通常涉及检查系统日志、网络连接、配置文件和Hadoop/Torque的相关文档。 10. **优化和维护**： 根据实际需求，可能需要调整队列设置，优化资源分配，或者监控集群性能以保持高效运行。 总结来说，Hadoop On Demand的安装涉及多个步骤，包括环境配置、资源管理系统的安装（如Torque）、Hadoop的部署以及HOD本身的配置。这个过程旨在使非专业管理员也能方便地在现有Hadoop集群上按需启动和管理Hadoop作业，提高了集群的利用率和灵活性。在整个安装过程中，确保每个步骤的正确执行至关重要，因为任何小错误都可能导致整个系统无法正常工作。