在Ubuntu上搭建Hadoop是一个常见的任务，特别是在学习和实验分布式计算环境时。本文将详细讲解在Ubuntu 12.04上安装Hadoop伪分布式模式的过程，这将帮助你理解Hadoop的基础设置，并为日后扩展到完全分布式环境打下基础。
我们需要了解Hadoop是什么。Hadoop是一个开源的框架，主要用于处理和存储大量数据。它基于分布式文件系统HDFS，通过MapReduce编程模型处理数据，允许在廉价硬件上进行大数据分析。
**步骤1：安装Java运行环境**
Hadoop是用Java编写的，因此首先确保系统已安装Java。在Ubuntu上，可以使用以下命令安装：
```bash
sudo apt-get update
sudo apt-get install default-jdk
```
**步骤2：下载Hadoop**
访问Apache官网下载Hadoop的最新稳定版本，例如Hadoop 2.x系列。下载后解压到指定目录，例如 `/usr/local/hadoop`。
**步骤3：配置Hadoop**
编辑`etc/hadoop/hadoop-env.sh`，设置`JAVA_HOME`指向Java安装路径。然后，配置`etc/hadoop/core-site.xml`，设置HDFS默认名称节点和临时目录：
```xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
</configuration>
```
接着配置`etc/hadoop/hdfs-site.xml`，设置HDFS副本数量和其他参数：
```xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/data/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/data/datanode</value>
</property>
</configuration>
```
**步骤4：初始化HDFS**
创建HDFS的数据目录，并格式化NameNode：
```bash
sudo mkdir -p /usr/local/hadoop/data/namenode
sudo mkdir -p /usr/local/hadoop/data/datanode
sudo chown -R username:hadoop /usr/local/hadoop/*
hdfs namenode -format
```
这里，`username`是你的用户名。
**步骤5：启动Hadoop**
设置Hadoop环境变量，并启动Hadoop服务：
```bash
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
start-dfs.sh
start-yarn.sh
```
现在，Hadoop伪分布式环境已经准备好了。可以通过Web界面（http://localhost:50070）查看NameNode状态，50030端口用于ResourceManager。
**步骤6：测试Hadoop**
创建一个测试文件并上传到HDFS，然后使用MapReduce程序检查是否正常工作：
```bash
echo "Hello, Hadoop" > test.txt
hadoop fs -put test.txt input
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.x.x.jar wordcount input output
hadoop fs -cat output/*
```
以上就是在Ubuntu 12.04上搭建Hadoop伪分布式环境的详细步骤。在这个过程中，你将学习到Hadoop的配置、启动和测试方法。这只是一个基础起点，深入学习Hadoop还需要理解其背后的分布式原理和MapReduce编程模型。随着Hadoop生态系统的不断发展，如YARN、Spark等，持续学习和实践是至关重要的。
搭建hadoop总结.zip （3个子文件） 
搭建hadoop总结 
2 安装ssh.txt 876B
