在Hadoop生态系统中，单机伪分布式模式是学习和测试Hadoop功能的一种常见方式。它允许用户在一台机器上模拟多节点集群环境，无需实际的网络连接或额外硬件。在这个配置中，所有的Hadoop进程（如NameNode、DataNode、ResourceManager、NodeManager等）都在同一台计算机上运行。下面我们将详细探讨如何配置单机伪分布式Hadoop。
1. **环境准备**：首先确保你的系统安装了Java Development Kit (JDK)，因为Hadoop是用Java编写的，运行时需要JRE。你可以通过`java -version`命令检查是否已安装并设置好JAVA_HOME环境变量。
2. **下载Hadoop**：从Apache官方网站下载最新稳定版的Hadoop，解压到你选择的目录，例如 `/usr/local/hadoop`。
3. **配置环境变量**：编辑`~/.bashrc`或`~/.bash_profile`文件，添加Hadoop的路径到`PATH`和`JAVA_HOME`。例如：
```
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```
4. **配置Hadoop**：进入Hadoop的配置目录`/etc/hadoop`，主要需要修改以下两个核心配置文件：
- **core-site.xml**：配置HDFS的默认文件系统，以及临时目录。例如：
```xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop-${user.name}</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>
```
- **hdfs-site.xml**：配置NameNode和DataNode的相关参数，如副本数量。例如：
```xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/data/nn</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/data/dn</value>
</property>
</configuration>
```
5. **配置MapReduce**：在`mapred-site.xml`文件中指定MapReduce的运行模式，通常是YARN：
```xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
```
6. **配置YARN**：在`yarn-site.xml`文件中配置YARN相关参数，如内存分配：
```xml
<configuration>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>512</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>1024</value>
</property>
</configuration>
```
7. **格式化NameNode**：首次启动Hadoop前，需要对NameNode进行格式化，创建HDFS的元数据：
```
hdfs namenode -format
```
8. **启动Hadoop**：依次启动DataNode、NameNode、ResourceManager和NodeManager：
```
sbin/start-dfs.sh
sbin/start-yarn.sh
```
9. **验证运行**：可以通过Hadoop提供的命令检查服务状态，如`jps`查看各进程是否正常运行，或者在浏览器中访问`http://localhost:50070` 和 `http://localhost:8088` 查看NameNode和ResourceManager的Web界面。
10. **运行示例程序**：可以尝试运行Hadoop自带的WordCount示例来测试集群是否正常工作：
```
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-<version>.jar wordcount input output
```
以上就是配置单机伪分布式Hadoop的基本步骤，这将帮助你理解Hadoop的工作原理，并为更复杂的分布式环境打下基础。在实际生产环境中，可能还需要考虑其他因素，如安全性、性能优化等，但这个配置足够满足初学者的需求。
【配置】单机伪分布式hadoop.zip （34个子文件） 
hadoop 
core-site.xml~ 774B
