Hadoop安装，内容详细

### Hadoop单节点安装详解 #### 一、前言 Hadoop是一款开源的大数据处理框架，主要用于处理海量数据。为了确保Hadoop能够正常运行，首先需要安装必要的软件环境，并进行相应的配置。本文将详细介绍Hadoop单节点安装的过程，主要包括安装JDK、设置SSH无密码登录、下载安装Hadoop以及配置环境变量等关键步骤。 #### 二、安装JDK Hadoop基于Java语言开发，因此安装Java环境是必不可少的一步。以下为具体操作步骤： 1. **查看Java版本**： - 执行命令`java -version`检查系统是否已安装Java。 - 如果未安装，则执行以下步骤。 2. **安装JDK**： - 更新软件包列表：`sudo apt-get update` - 安装JDK：`sudo apt-get install default-jdk` 3. **验证Java安装**： - 再次执行`java -version`确认Java是否正确安装。 4. **查询Java安装位置**： - 使用命令`update-alternatives --display java`获取Java安装路径，用于后续环境变量配置。 #### 三、设定SSH无密码登录 为确保Hadoop集群中的节点间可以无障碍地相互访问，需要通过设置SSH免密码登录来实现自动化通信。 1. **安装SSH及相关工具**： - `sudo apt-get install ssh` - `sudo apt-get install rsync` 2. **生成SSH密钥**： - 执行命令`ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa`生成私钥和公钥对。 3. **查看密钥文件**： - 使用`ll ~/.ssh`命令查看密钥文件。 4. **添加公钥至授权文件**： - 将生成的公钥`id_dsa.pub`内容追加到`.ssh/authorized_keys`文件中： ``` cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys ``` #### 四、下载安装Hadoop Hadoop的安装主要涉及下载、解压及移动安装文件等步骤。 1. **下载Hadoop**： - 使用命令`wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz`下载指定版本的Hadoop。 2. **解压文件**： - 执行`sudo tar -zxvf hadoop-2.6.0.tar.gz`解压文件。 3. **移动文件夹**： - 使用命令`sudo mv hadoop-2.6.0 /usr/local/hadoop`将解压后的文件夹移动至指定位置。 #### 五、设置Hadoop环境变量 为了方便使用Hadoop，需将相关路径添加至环境变量中。 1. **编辑.bashrc文件**： - 执行`sudo gedit ~/.bashrc`打开并编辑该文件。 2. **添加环境变量**： - 在文件末尾添加以下内容： ``` export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH ``` 3. **使配置生效**： - 执行命令`source ~/.bashrc`使新添加的环境变量立即生效。 #### 六、修改Hadoop配置文件 完成上述步骤后，还需要对Hadoop的相关配置文件进行调整，以便适配当前环境。 1. **修改hadoop-env.sh**： - 使用命令`sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh`打开并编辑该文件。 - 确保`JAVA_HOME`变量指向正确的路径。 2. **修改core-site.xml**： - 使用命令`sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml`编辑该文件。 - 配置HDFS的默认FS路径以及其他必要参数。 3. **修改yarn-site.xml**： - 使用命令`sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml`编辑该文件。 - 设置YARN相关的配置项，如ResourceManager的地址等。 4. **修改mapred-site.xml**： - 使用命令`sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml`编辑该文件。 - 配置MapReduce的相关参数。 5. **修改hdfs-site.xml**： - 使用命令`sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml`编辑该文件。 - 配置HDFS的具体参数，如副本数量等。 #### 七、总结 以上便是Hadoop单节点安装的详细步骤，包括JDK安装、SSH无密码登录配置、Hadoop安装与环境变量设置以及Hadoop配置文件的修改等。通过这些步骤，用户可以成功在单个节点上部署并使用Hadoop，为后续进行大数据处理打下坚实的基础。