基于ubuntu安装Hadoop详细过程

### 基于Ubuntu安装Hadoop的详细过程 #### 实验背景与目标 随着大数据时代的到来，处理海量数据的需求越来越迫切。Hadoop作为一款开源的大数据处理框架，因其分布式存储和计算能力而受到广泛欢迎。本次实验的目标是在Mac虚拟机上使用Ubuntu系统安装配置Hadoop环境，并运行一个简单的WordCount示例程序，旨在熟悉Hadoop的安装配置流程及基本使用方法。 #### 实验环境 - **操作系统**: Ubuntu (推荐最新稳定版) - **虚拟化平台**: VMware Fusion 8.5.3 (或更高版本) - **Hadoop版本**: 3.1.0 - **JDK版本**: 1.8.0_171 - **开发工具**: 终端命令行、文本编辑器（如vi） #### 安装与配置步骤 **步骤一：JDK的安装与配置** 1. **下载JDK**: 访问Oracle官网下载对应版本的JDK压缩包。 2. **安装JDK**: - 使用`mkdir`命令在`/usr/local`目录下创建名为`java`的文件夹。 - 将下载好的JDK压缩包移动至`/usr/local/java`目录下。 - 解压压缩包: `tar zxvf jdk-8u171-linux-x64.tar.gz` 3. **配置环境变量**: - 编辑`~/.bashrc`文件，在文件末尾添加以下内容: ```bash export JAVA_HOME=/usr/local/java/jdk1.8.0_171 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH ``` - 使用`source ~/.bashrc`命令使修改生效。 - 验证JDK安装: `java -version` **步骤二：SSH免密码登录配置** 1. **安装SSH服务**: 使用`sudo apt-get install ssh`命令安装。 2. **生成密钥对**: - 执行`ssh-keygen -t rsa`命令，按照提示操作。 3. **配置免密码登录**: - 进入`.ssh`目录。 - 将生成的公钥`id_rsa.pub`复制到`authorized_keys`文件中。 - 测试免密码登录: `ssh localhost` **步骤三：Hadoop的安装与配置** 1. **下载Hadoop**: 访问Apache Hadoop官网下载Hadoop 3.1.0压缩包。 2. **解压Hadoop**: `tar xzvf hadoop-3.1.0.tar.gz` 3. **配置Hadoop环境**: - 修改`etc/hadoop/hadoop-env.sh`文件，添加JDK路径。 - 配置`core-site.xml`: ```xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/jin/hadoop/Hadoop-3.1.0/hadoop_tmp</value> <description>A base for other temporary directories.</description> </property> </configuration> ``` - 配置`mapred-site.xml`: ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.job.tracker</name> <value>localhost:9001</value> </property> </configuration> ``` - 配置`hdfs-site.xml`: ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` **步骤四：启动Hadoop集群** 1. **格式化HDFS**: 在Hadoop安装目录下执行`bin/hdfs namenode -format`。 2. **启动HDFS**: 执行`sbin/start-dfs.sh`。 3. **启动YARN**: 执行`sbin/start-yarn.sh`。 **步骤五：运行WordCount示例** 1. **编译WordCount程序**: `bin/hadoop com.sun.tools.javac.Main WordCount.java` 2. **打包WordCount程序**: `jar cf WordCount.jar WordCount.class` 3. **上传测试文件**: 创建测试文件`input.txt`，并使用`bin/hadoop fs -put input.txt /`命令上传至HDFS。 4. **运行WordCount任务**: `bin/hadoop jar WordCount.jar WordCount /input /output` 5. **查看结果**: 使用`bin/hadoop fs -cat /output/part-r-00000`命令查看输出结果。 #### 结论 通过上述步骤，我们不仅完成了在Ubuntu系统上安装配置Hadoop的过程，还成功运行了一个WordCount示例程序，验证了Hadoop集群的正确性。这一过程中涉及到的关键技术点包括JDK的安装与环境配置、SSH免密码登录配置、Hadoop的安装与配置等。这些步骤为后续进行更复杂的大数据处理奠定了基础。