在Linux环境下搭建Hadoop环境是大数据处理初学者和专业开发者经常进行的一项工作。Hadoop是一个开源的分布式计算框架，它允许高效地存储和处理大量数据。以下是一个详细的步骤指南，帮助你在Linux系统中安装和配置Hadoop。
1. **下载Hadoop**：
你需要访问Apache官网（http://apache.freelamp.com）下载Hadoop的tarball文件。例如，这里使用的版本是`hadoop-0.20.2.tar.gz`，你可以使用`wget`命令来下载：
```
wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz
```
2. **解压Hadoop**：
下载完成后，使用`tar`命令解压缩文件：
```
tar xvzf hadoop-0.20.2.tar.gz
```
3. **安装JDK**：
Hadoop需要Java Development Kit (JDK)的支持。你可以从Oracle官方网站（http://www.oracle.com/technetwork/java/javase/downloads/index.html）下载适合你的操作系统的JDK版本。下载后，执行如下命令进行安装：
```
chmod +x jdk-6u21-linux-i586.bin
./jdk-6u21-linux-i586.bin
```
4. **配置Java环境变量**：
使用`vi`编辑器打开`/etc/profile`文件，并添加以下内容来设置JAVA_HOME，CLASSPATH和PATH：
```
export JAVA_HOME=/root/src/hadoop/jdk1.6.0_21
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin
```
保存并关闭文件后，执行`source /etc/profile`使配置生效。
5. **验证Java安装**：
通过以下命令检查Java版本是否正确设置：
```
java -version
echo $JAVA_HOME
which java
echo $PATH
echo $CLASSPATH
```
6. **配置Hadoop环境变量**：
类似于Java，你需要设置Hadoop的相关环境变量。再次编辑`/etc/profile`，添加以下内容：
```
export HADOOP_INSTALL=/root/src/hadoop/hadoop-0.20.2
export PATH=$PATH:$HADOOP_INSTALL/bin
```
之后执行`source /etc/profile`使配置生效。
7. **测试Hadoop安装**：
安装完成后，运行`hadoop version`命令检查Hadoop版本，如果显示正确，表明安装成功。
8. **配置Hadoop XML文件**：
Hadoop的核心配置文件位于`conf`目录下，包括`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`。在这些文件中，你需要根据实际的集群配置进行调整。例如，`core-site.xml`用于设置Hadoop的核心属性，`hdfs-site.xml`用于HDFS的配置，而`mapred-site.xml`则针对MapReduce框架。
9. **Hadoop运行模式**：
默认情况下，Hadoop运行在本地模式，即所有组件都在单一JVM上运行。为了实现分布式环境，你需要将Hadoop配置为伪分布式或完全分布式模式。在`hadoop-env.sh`文件中，修改`HADOOP_OPTS`以启动守护进程。
10. **格式化NameNode**：
在首次启动Hadoop时，需要对NameNode进行格式化：
```
hadoop namenode -format
```
11. **启动Hadoop服务**：
启动Hadoop的各个服务，如DataNode、NameNode、Secondary NameNode和JobTracker等。具体命令取决于你的Hadoop版本，一般包括`start-dfs.sh`和`start-mapred.sh`。
12. **验证Hadoop运行**：
通过浏览器访问`http://localhost:50070`和`http://localhost:50030`，检查NameNode和JobTracker的Web UI，确认服务是否正常运行。
13. **运行WordCount示例**：
你可以通过运行Hadoop自带的WordCount示例程序来测试你的Hadoop环境是否正常工作。
以上就是在Linux环境下搭建Hadoop环境的基本步骤，确保每个环节都按要求完成，才能保证Hadoop能够顺利运行。在整个过程中，注意根据自己的系统环境调整配置，尤其是路径和版本信息。记住，耐心和细致是成功的关键。
