hadoop 单机安装和集群安装总结

### Hadoop单机安装与集群安装相关知识点 #### 一、文档概述 本文档主要针对Hadoop的安装和配置过程进行了详细的说明，旨在简化Hadoop的部署流程。它覆盖了Hadoop单机安装以及集群安装的过程，并且适用于CentOS 5/RedHat 5.2（32位/64位）及Ubuntu等操作系统。 #### 二、Hadoop单机安装配置 ##### 1. Linux基础环境搭建 - **Linux安装**：通常推荐使用VMware等虚拟化工具搭建Linux环境，设置网络为桥接模式以便与宿主机网络保持一致。 - **配置时间同步**：通过`crontab -e`编辑定时任务，使用`ntpdate`命令来实现与NTP服务器的时间同步。 - **配置主机名**：编辑`/etc/sysconfig/network`文件中的`HOSTNAME`字段，并使用`hostname`命令进行验证。 - **配置网络环境**：编辑`/etc/sysconfig/network-scripts/ifcfg-eth0`文件，配置静态IP地址等信息。 - **重启网络服务**：使用`/sbin/service network restart`命令重启网络服务。 ##### 2. Hadoop安装配置 - **下载与解压**：从官方网站下载Hadoop压缩包，并解压至指定目录。 - **配置Core-Site.xml**：该文件位于`$HADOOP_HOME/etc/hadoop/core-site.xml`，用于定义Hadoop集群的全局配置。 - **配置HDFS-Site.xml**：该文件位于`$HADOOP_HOME/etc/hadoop/hdfs-site.xml`，主要用于HDFS的配置。 - **配置MapReduce相关文件**：如`mapred-site.xml`，用于MapReduce任务的配置。 - **启动与检查**：通过`start-dfs.sh`和`start-yarn.sh`命令启动Hadoop服务，并通过`jps`命令检查进程状态。 #### 三、Hadoop集群安装配置 ##### 1. 检查节点环境 - 在进行集群安装之前，需要确保所有节点的基础环境配置正确，包括时间同步、网络配置等。 ##### 2. SSH免密码登录配置 - 使用`ssh-keygen`在Master节点生成公钥私钥对。 - 将公钥复制到所有从节点，可以通过`ssh-copy-id`命令或手动复制`~/.ssh/id_rsa.pub`文件。 - 测试Master节点到各个从节点的SSH连接是否成功。 ##### 3. 配置Hadoop环境变量 - 编辑`/etc/profile`文件，添加Hadoop相关的环境变量，如`HADOOP_HOME`等。 - 使用`source /etc/profile`使配置生效。 ##### 4. 配置Hadoop相关文件 - 根据集群需求配置`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml`等文件。 - 特别注意`dfs.replication`、`dfs.namenode.name.dir`等关键参数的设置。 ##### 5. 启动Hadoop服务 - 使用`start-dfs.sh`和`start-yarn.sh`命令启动HDFS和YARN服务。 - 通过`jps`命令检查各节点上的守护进程状态。 #### 四、自动化安装脚本 对于大型集群，可以编写自动化脚本来简化安装过程。这些脚本通常包括： - 自动化配置Hadoop环境变量。 - 自动化配置SSH免密码登录。 - 自动化配置Hadoop配置文件。 - 自动化启动Hadoop服务。 #### 五、注意事项 - 在配置过程中，需确保所有节点的时间同步，避免因时间差异导致的数据不一致性问题。 - 对于HDFS的配置，要注意`dfs.replication`参数的设置，以确保数据冗余。 - 在集群环境中，必须正确配置从Master节点到各个从节点的SSH免密码登录，这是集群管理的基础。 - 确保所有节点上都安装了正确的Java JDK版本，这通常是Hadoop运行的前提条件之一。 通过以上步骤，您可以顺利完成Hadoop的单机安装与集群安装，并且能够理解Hadoop的基本配置流程。这对于进一步学习大数据处理和分布式计算具有重要的意义。