【Hadoop开发环境搭建】
Hadoop是一个开源的分布式计算框架，用于处理和存储大量数据。在搭建Hadoop开发环境时，通常需要准备操作系统、Java开发环境（JDK）以及Hadoop本身。以下是一个详细的步骤指南，以CentOS6.5为操作系统的环境为例：
一、**安装VMware虚拟机**
你需要下载并安装VMware虚拟机软件。虚拟机的选择是为了在本地计算机上模拟运行Linux操作系统。在本例中，选择了CentOS6.5作为Hadoop的运行平台。
二、**安装CentOS6**
在VMware中，选择"Install or upgrade an existing system"选项来安装CentOS6.5。安装过程中，注意配置如内存大小（至少512MB）、网络连接方式（推荐桥接模式）以及存储设置。
三、**CentOS6基本设置**
1. 创建普通用户：为了安全起见，创建一个非root用户进行日常操作，必要时通过`su -`切换到root权限。
2. 关闭防火墙和SELinux：这一步是为了避免不必要的安全限制，便于Hadoop集群间的通信。
3. 关闭不需要的服务：减少不必要的系统资源消耗。
四、**节点IP设置与分配**
在所有参与Hadoop集群的节点上，进行以下配置：
1. 修改主机名：使用`vi /etc/sysconfig/network`编辑HOSTNAME。
2. 修改IP地址：编辑`/etc/sysconfig/network-scripts/ifcfg-eth0`文件，设置BOOTPROTO为none，ONBOOT为yes，IPADDR为分配的IP地址。
3. 配置hosts文件：在所有节点上，通过`vi /etc/hosts`添加所有节点的IP和主机名映射。
五、**SSH无密码验证配置**
1. 确保所有节点上已安装SSH，如果没有，使用`yum install ssh`进行安装。
2. 在Master节点上生成SSH公钥：`ssh-keygen`，然后将公钥复制到所有Slave节点的authorized_keys文件中：`ssh-copy-id user@slave_ip`，其中user是Slave上的用户名。
六、**安装JDK**
JDK是Hadoop运行的必备组件，因为Hadoop是用Java编写的。下载并安装JDK1.6，解压后配置环境变量，例如：
```bash
export JAVA_HOME=/path/to/jdk1.6
export PATH=$JAVA_HOME/bin:$PATH
```
将以上内容添加到`~/.bashrc`或`/etc/profile`，使设置生效。
七、**安装Hadoop**
1. 下载Hadoop的相应版本，解压缩至合适的位置，例如 `/usr/local/hadoop`。
2. 配置Hadoop的环境变量，添加到`~/.bashrc`或`/etc/profile`：
```bash
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
```
3. 修改Hadoop配置文件，如`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`，以设定HDFS和MapReduce的相关参数，如 Namenode 和 Datanode 的地址、端口等。
4. 初始化HDFS：`hadoop namenode -format`
5. 启动Hadoop服务：`start-all.sh`
八、**测试Hadoop集群**
1. 通过`jps`命令检查Hadoop守护进程是否正常运行。
2. 使用`hadoop fs -ls hdfs://namenode:port/`命令测试HDFS是否可访问。
3. 执行一个简单的MapReduce任务，如WordCount，验证Hadoop集群功能。
通过以上步骤，你就成功地搭建了一个基于CentOS6.5、JDK1.6和Hadoop的基础开发环境。接下来，你可以开始进行Hadoop相关的开发和测试工作。记得在实际环境中，可能还需要考虑其他因素，如网络配置、安全性增强、性能优化等。
