Hadoop搭建教程.docx

### Hadoop搭建教程知识点解析 #### 一、Hadoop简介与应用场景 Hadoop是一个开源的分布式计算框架，它能够高效地处理大规模数据集。通过利用简单的编程模型，Hadoop可以在集群上并行处理大量数据。它主要由两个部分组成：**Hadoop Distributed File System (HDFS)** 和 **MapReduce**。HDFS 是一个分布式文件系统，用于存储大量数据；而 MapReduce 是一种编程模型，用于处理这些数据。 Hadoop 的应用场景非常广泛，包括但不限于： - **大数据分析**：例如用户行为分析、日志分析等。 - **搜索索引构建**：如搜索引擎的网页索引构建。 - **机器学习与数据挖掘**：训练大规模机器学习模型或执行复杂的数据挖掘任务。 - **实时数据分析**：虽然 Hadoop 主要针对批量处理，但结合其他工具（如 Spark）也可以实现近实时的数据分析。 #### 二、Hadoop搭建步骤详解 ##### 1. 虚拟机网络配置 - **网络模式选择**：为了确保虚拟机能够访问互联网，同时保持与主机间的通信畅通，建议使用 NAT 模式。 - **IP配置**：确保虚拟机的 IP 地址与主机 VMware 的 NAT 模式下的网卡 VMnet8 在同一网段内。可以通过查看主机的 IP 地址来确定虚拟机的 IP 配置范围。例如，如果主机 IP 为 `192.168.137.10`，那么虚拟机的 IP 可以设置为 `192.168.137.x`，其中 x 不与主机 IP 冲突即可。 - **测试网络连接**：使用 `ping` 命令测试虚拟机与外部网络的连通性，例如 `ping 192.168.137.130` 或者 `ping www.baidu.com`。 ##### 2. 安装 Hadoop 和 JDK - **创建安装目录**：在 CentOS 7 虚拟机的主文件夹下创建名为 `apps` 的文件夹，用于存放 Hadoop 和其他软件。 - **下载 Hadoop 和 JDK**：从官方网站下载 Hadoop 和 JDK 的压缩包，并将其复制粘贴到 `apps` 文件夹中。 - **解压缩文件**：使用 `tar -xvf` 命令解压缩 Hadoop 和 JDK 的压缩包。 - **配置环境变量**：编辑 `/etc/profile` 文件，添加 Hadoop 和 JDK 的环境变量。示例配置如下： ```bash export HADOOP_HOME=/home/egg/apps/hadoop-3.2.0 export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export JAVA_HOME=/home/egg/apps/jdk-12 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH export ZOOKEEPER_HOME=/home/egg/apps/zookeeper-3.4.14 export PATH=$PATH:$ZOOKEEPER_HOME/bin ``` - **验证环境变量**：使用 `echo $JAVA_HOME` 和 `echo $HADOOP_HOME` 命令来验证环境变量是否正确配置。 ##### 3. Hadoop 配置文件详解 - **hadoop-env.sh**：该文件用于配置 Hadoop 运行所需的 Java 环境。具体配置如下： ```bash export JAVA_HOME=/home/egg/apps/jdk-12 ``` - **core-site.xml**：该文件用于指定 Hadoop 使用的文件系统及临时文件存储位置。配置示例： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://centos00:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/egg/hadoopdata</value> </property> </configuration> ``` - **hdfs-site.xml**：该文件用于设置 HDFS 的副本数量，这是 HDFS 的一个重要特性，可以提高数据的可靠性和容错能力。配置示例： ```xml <configuration> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration> ``` - **mapred-site.xml**：该文件用于指定 MapReduce 运行的框架，此处配置为 YARN。示例配置： ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` - **yarn-site.xml**：此文件用于指定 ResourceManager 服务所在的节点。示例配置： ```xml <configuration> <property> <name>yarn.resourcemanger.hostname</name> <value>centos00</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` - **workers**：该文件用于指定哪些节点可以作为 Worker 节点。示例配置： ```plaintext centos00 centos01 centos02 ``` 以上步骤涵盖了从环境搭建到 Hadoop 配置的全过程，按照这些步骤操作可以顺利搭建出一个基本可用的 Hadoop 集群。需要注意的是，在实际操作过程中可能还会遇到各种问题，如权限问题、依赖缺失等，这些问题都需要逐一排查解决。