hadoop安装配置及入门

### Hadoop 安装配置详解 #### 一、Hadoop 安装前的环境准备 在开始 Hadoop 的安装配置之前，确保您的 CentOS 系统已经具备了支持 Hadoop 运行的基础环境。这里主要涉及 JDK 的配置以及其他必要的辅助工具如 Maven、Ant 和 FindBugs 的安装。 ##### 1. 配置 JDK JDK 是 Java 开发工具包，它是运行 Hadoop 必不可少的一部分。首先需要将 JDK 复制或解压到 `/usr/local` 目录，并重命名以便管理和识别。例如，如果下载的是 Java 1.8 版本，则可以命名为 `jdk18`。接下来，需要配置 JDK 的环境变量： ```bash vi /etc/profile ``` 在文件末尾添加以下内容： ```bash export JAVA_HOME=/usr/local/jdk18 export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar export PATH=$PATH:${JAVA_HOME}/bin ``` 保存并退出编辑器后，通过执行以下命令使配置生效： ```bash source /etc/profile ``` 验证 JDK 是否正确安装： ```bash java -version ``` 如果输出 JDK 的版本信息，则表示安装成功。 ##### 2. 配置 Maven、Ant 和 FindBugs Maven 和 Ant 是 Java 项目构建工具，而 FindBugs 则是一个静态分析工具，用于发现 Java 代码中的潜在错误。这些工具虽然不是运行 Hadoop 所必需的，但在某些场景下可能会用到。同样地，将它们解压到 `/usr/local` 目录下，并设置环境变量： ```bash vi /etc/profile ``` 添加以下内容： ```bash export MAVEN_HOME=/usr/local/maven export ANT_HOME=/usr/local/ant export FINDBUGS_HOME=/usr/local/findbugs export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin:$ANT_HOME/bin:$FINDBUGS_HOME/bin ``` 再次使配置生效： ```bash source /etc/profile ``` 验证是否正确安装： ```bash mvn -version ant -version findbugs -version ``` 如果输出各自的版本信息，则表示安装成功。 ##### 3. 安装 Protobuf 编译器 Protobuf 编译器主要用于编译 Hadoop 的相关组件。为了安装它，首先需要安装 C 语言环境： ```bash yum -y install gcc-c++ ``` 接着，上传并解压 Protobuf 文件至 `/usr/local/protobuf` 目录下，然后按照以下步骤进行编译安装： ```bash cd /usr/local/protobuf ./configure make make install protoc --version ``` 如果输出版本信息则表示安装成功。 此外，还需要安装一些其他必要的环境，例如 CMake、OpenSSL-devel 和 ncurses-devel： ```bash yum install cmake yum install openssl-devel yum install ncurses-devel ``` #### 二、Hadoop 的配置与安装 一旦完成了上述基础环境的配置，就可以开始安装 Hadoop 并进行相应的配置了。 ##### 1. 上传 Hadoop 压缩包 将 Hadoop 的压缩包上传至服务器上，通常将其解压后放置在 `/usr/local` 目录下，并重命名为 `hadoop` 以便于管理。 ##### 2. 配置 Hadoop Hadoop 的核心配置文件主要包括 `core-site.xml`、`hdfs-site.xml` 和 `mapred-site.xml`。 **`core-site.xml`** 文件用于配置 HDFS 的默认文件系统和临时文件目录： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://maltose01:9000</value> <!-- 将 maltose01 替换为实际的主机名 --> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hdpdata</value> <!-- 可以自定义路径 --> </property> </configuration> ``` **`hdfs-site.xml`** 文件用于配置数据块的副本数量： ```xml <configuration> <property> <name>dfs.replication</name> <value>2</value> <!-- 指定副本数量 --> </property> </configuration> ``` **`mapred-site.xml`** 文件用于配置 MapReduce 的运行平台： ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> <!-- 指定使用 YARN 运行 MapReduce --> </property> </configuration> ``` 完成以上步骤后，Hadoop 就基本配置完成了。最后一步是启动 Hadoop 服务并测试其是否能够正常运行。这通常涉及到启动 HDFS 和 YARN 服务，具体命令取决于具体的 Hadoop 版本。例如，在大多数情况下，可以通过以下命令启动 Hadoop 服务： ```bash sbin/start-dfs.sh sbin/start-yarn.sh ``` 启动完成后，可以通过访问 NameNode 的 Web UI (通常是 `http://maltose01:50070`) 来检查 HDFS 的状态。 至此，Hadoop 在 CentOS 下的安装和配置就完成了。通过上述步骤，您应该能够在本地环境中成功搭建并运行 Hadoop 集群，为后续的大数据处理任务做好准备。