Unbuntu16.04中Hadoop环境配置.doc

Hadoop环境配置在Ubuntu 16.04中的安装和配置 Hadoop是一个大数据处理和分析的开源框架，广泛应用于数据挖掘、数据分析、机器学习等领域。为在Ubuntu 16.04中安装和配置Hadoop环境，需要经过多个步骤，以下是详细的配置过程： 一、安装Hadoop 1. 下载Hadoop安装包hadop-2.8.5.tar.gz，并将其存放在/usr/local/softwares目录下。 2. 将Hadoop安装包hadop-2.8.5.tar.gz拷贝到/usr/local/hadoop目录下。 3. 解压Hadoop安装包hadop-2.8.5.tar.gz，生成hadoop-2.8.5目录。 二、配置Hadoop环境变量 1. 查询Hadoop解压后的根路径，使用cd命令切换到/usr/local/hadoop/hadoop-2.8.5目录下，使用pwd命令获取当前目录路径。 2. 修改/etc/bash.bashrc文件，添加Hadoop环境变量。使用sudo vim /etc/bash.bashrc命令打开文件，添加以下内容： ``` #set Hadoop environment configuration export HADOOP_HOME=/usr/local/hadoop/hadoop-2.8.5 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 然后使用wq命令保存退出。 3. 使添加的Hadoop环境变量生效，使用source /etc/bash.bashrc命令。 三、验证Hadoop环境配置 1. 验证Hadoop环境配置是否正确，使用hadoop命令验证。 四、SSH免密码登录安装与配置 1. SSH相关包检查与安装，使用sudo rpm -qa | grep openssh命令检查openssh包是否安装，如果没有安装，使用sudo apt-get install openssh-client命令安装。 2. SSH安装与配置，使用hadoop用户身份安装和配置SSH。 3. 开启系统SSH服务，使用sudo vim /etc/ssh/sshd_config命令打开sshd_config文件，添加以下内容： ``` RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysFile %h/.ssh/authorized_keys ``` 然后wq保存退出。 4. 生成机器间通信密钥，使用ssh-keygen -t rsa命令生成密钥，然后一直回车直到结束。 5. 将生成的密钥写入sshd_config指定公钥文件路径“~/.ssh/authorized_keys”中，使用cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys命令。 6. 验证SSH免密码登录是否成功，使用ssh localhost命令。 五、Hadoop环境验证 1. cd切换到Hadoop安装目录下，使用cd /usr/local/hadoop/hadoop-2.8.5/命令。 2. core-site.xml配置编辑core-site.xml文件，使用vim etc/hadoop/core-site.xml命令，添加以下内容： ``` <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/hadoop-2.8.5/tmp</value> <description>Hadoop Desc</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 3. hdfs-site.xml配置编辑hdfs-site.xml文件，使用vim etc/hadoop/hdfs-site.xml命令，添加以下内容： ``` <configuration> <!-- Add your configuration here --> </configuration> ``` 通过以上步骤，可以成功安装和配置Hadoop环境在Ubuntu 16.04中。