安装Hadoop（单机版和集群）步骤

【安装Hadoop（单机版和集群）步骤】 在IT领域，Hadoop是一个分布式计算框架，主要用于处理和存储海量数据。本教程将详细介绍如何在Ubuntu 12.10操作系统上安装Hadoop的单机版和集群版。确保你已经在VMware虚拟机上安装了Ubuntu 12.10系统，并准备安装Hadoop稳定版1.0.4。 **单机版安装步骤：** 1. **下载与解压Hadoop**：从Hadoop官方网站（http://hadoop.apache.org/）下载Hadoop 1.0.4的安装包，例如`hadoop-1.0.4-bin.tar.gz`，然后在Ubuntu终端使用`tar -xvf hadoop-1.0.4-bin.tar.gz`命令将其解压到当前目录。 2. **安装SSH**：SSH（Secure SHell）是用于远程登录的安全协议。在Ubuntu中，通过运行`sudo apt-get install ssh`命令来安装SSH服务。 3. **安装rsync**：rsync是一个用于文件同步的工具，对于Hadoop集群配置非常重要。使用`sudo apt-get install rsync`命令进行安装。 4. **配置SSH免密码登录**： - 检查`.ssh`目录是否存在，如果不存在，使用`mkdir /home/XXX/.ssh`命令创建。 - 使用`ssh-keygen -t dsa -p '' -f ~/.ssh/id_dsa`生成DSA密钥对。 - 将公钥追加到`authorized_keys`文件中，执行`cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys`。 - 验证SSH安装成功，输入`ssh -version`。 - 测试本地SSH免密码登录，运行`ssh localhost`。 5. **安装JDK**：Hadoop需要Java运行环境。使用`sudo apt-get install openjdk-6-jre`安装OpenJDK 6，然后通过`java -version`检查安装是否成功。 6. **配置JDK环境变量**：编辑`/etc/profile`文件，添加如下内容： ``` #set java environment JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-i386 JRE_HOME=/usr/lib/jvm/java-1.6.0-openjdk-i386/jre CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH export JAVA_HOME JRE_HOME CLASSPATH PATH ``` 7. **修改Hadoop配置**：编辑`hadoop-1.0.4/conf/hadoop-env.sh`文件，添加`JAVA_HOME`设置： ``` export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-i386 ``` 8. **配置Hadoop核心参数**：编辑`core-site.xml`，设置HDFS的默认名称节点和端口： ``` <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> ``` 9. **配置HDFS参数**：编辑`hdfs-site.xml`，设置副本因子为1： ``` <property> <name>dfs.replication</name> <value>1</value> </property> ``` 10. **配置MapReduce参数**：编辑`mapred-site.xml`，设置JobTracker地址和端口，集群模式下需改为其他节点IP： ``` <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> ``` 11. **格式化NameNode**：启动Hadoop前，需要对NameNode进行格式化，运行`hadoop namenode -format`。 12. **启动Hadoop**：通过以下命令启动Hadoop的各个服务： ``` start-dfs.sh start-mapred.sh ``` 现在，你已经成功安装并配置了Hadoop的单机版。如果你想构建Hadoop集群，你需要在多台虚拟机上重复以上步骤，并修改`mapred-site.xml`中的`mapred.job.tracker`属性为其中一个节点的IP，同时确保所有节点之间的SSH免密码登录。 在集群环境中，还需配置Hadoop的 slaves 文件，列出所有的数据节点（DataNode）和任务跟踪器（TaskTracker），以便Hadoop知道哪些机器可以用于数据存储和任务执行。此外，确保网络通信无障碍，集群内的节点之间能够互相访问。 请注意，由于Hadoop版本不断更新，上述配置可能与最新版本有所不同。建议参考Hadoop官方文档或最新的社区指南进行安装。