Linux下Hadoop单机配置文档
### Linux下Hadoop单机配置知识点详解 #### 一、环境搭建 1. **操作系统**: - 使用的系统为Red Hat Linux 9。 2. **JDK版本**: - 采用JDK 1.6,这符合Hadoop 0.20.1的要求,因为早期版本的Hadoop对JDK版本有特定要求。 3. **Hadoop版本**: - Hadoop版本为0.20.1,这是一个较早的版本,但从学习角度出发仍然具有一定的参考价值。 #### 二、JDK安装与配置 1. **JDK下载**: - 下载`jdk-6u13-linux-i586.bin`,并将其放置于指定目录下。 2. **JDK安装**: - 赋予安装文件可执行权限:`chmod +x jdk-6u13-linux-i586.bin`。 - 执行安装命令:`./jdk-6u13-linux-i586.bin`。 - 安装完成后会在当前目录下生成名为`jdk1.6.0_13`的目录。 3. **配置JAVA环境变量**: - 修改`/etc/profile`文件添加以下内容: ``` export JAVA_HOME=/home/zkl/zkl-software/jdk1.6.0_13/ export JRE_HOME=/home/zkl/zkl-software/jdk1.6.0_13/jre export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH ``` - 使环境变量生效:`source /etc/profile`。 4. **验证安装**: - 使用`java -version`命令检查是否正确安装并配置了JDK。 #### 三、Hadoop安装与配置 1. **Hadoop下载**: - 下载`hadoop-0.20.1.tar.gz`,并解压至指定位置,例如`/usr/hadoop`。 2. **配置`hadoop-env.sh`文件**: - 修改`/usr/hadoop/hadoop-0.20.1/conf/hadoop-env.sh`中的`JAVA_HOME`路径为JDK安装路径: ``` export JAVA_HOME=/home/zkl/zkl-software/jdk1.6.0_13/ ``` 3. **单机模式测试**: - 在Hadoop单机模式下进行测试时,Hadoop使用的是本地文件系统。 - 使用`hadoop-0.20.1-examples.jar`中的WordCount程序作为测试案例。 - 创建测试输入文件夹`test-in`,并在该文件夹中创建两个文本文件`file1.txt`和`file2.txt`。 - 运行WordCount程序: ``` $ bin/hadoop jar hadoop-0.20.1-examples.jar wordcount test-in test-out ``` - 注意事项: - 在运行WordCount程序之前,确保输出目录(本例中为`test-out`)不存在或为空。 4. **结果查看**: - 查看`test-out`目录下的`part-00000`文件,即可看到统计结果。 #### 四、总结 本文档介绍了如何在Linux环境下搭建Hadoop单机模式的基本配置。通过本教程的学习,读者可以了解Hadoop单机模式的配置流程,并能够通过一个简单的WordCount程序来验证Hadoop的安装是否成功。需要注意的是,本文档使用的Hadoop版本较为陈旧,对于实际生产环境中Hadoop的配置和使用可能会有所不同,但对于初学者来说,依然是一个很好的入门教程。
- 粉丝: 2
- 资源: 8
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助