win7+eclipse+hadoop开发环境搭建[收集].pdf

在Windows 7操作系统中搭建Hadoop开发环境，通常需要借助Eclipse IDE和虚拟机软件，如Ubuntu，来实现。以下是一步步的详细步骤： 1. **安装虚拟机和Ubuntu操作系统**： - 你需要下载并安装虚拟机软件，如VirtualBox或VMware。这里使用的是Ubuntu 14作为Hadoop的运行环境。 - 在虚拟机中安装Ubuntu 14.04 LTS，确保在安装时创建一个用户，例如`zjp`。 2. **配置Ubuntu**： - 使用快捷键`Ctrl+Alt+t`打开终端。 - 通过`sudo passwd root`激活root用户。 - 确保Ubuntu能够联网。如果网络适配器设置为NAT模式，检查VMware的服务（VMware NAT Service和VMware DHCP Service）是否已启动。如果需要，恢复虚拟网络编辑器的默认设置。 3. **安装Samba**： - 在终端中运行`apt-get install samba`来安装Samba服务器。如果`apt-get`不可用，先运行`apt-get update`来更新包列表。 - 创建共享文件夹，如`/home/zjp/share`，用于存放从Windows共享到Ubuntu的文件。 4. **配置Samba**： - 用`sudo gedit /etc/samba/smb.conf`编辑Samba配置文件，在文件末尾添加共享目录的配置。 - 关闭防火墙：`ufw disable`。 - 重启Samba服务：`service samba restart`。 - 创建Samba用户，例如`sudo smbpasswd -a zjp`。 5. **共享文件**： - 在Windows中，通过网络地址`\\192.168.30.128`访问Ubuntu，使用刚创建的Samba用户登录，将JDK和Hadoop安装文件复制到Ubuntu中。 6. **安装JDK**： - 在`/home/zjp/mysoftware`目录下解压JDK安装文件，例如`tar -zxvf jdk-7u55-linux-x64.gz`。 - 配置环境变量：编辑`/etc/profile`，添加`JAVA_HOME`和`PATH`设置，指向JDK的安装路径。 7. **验证JDK安装**： - 重新登录Ubuntu或执行`source /etc/profile`使环境变量生效，然后运行`java -version`检查JDK是否正确安装。 8. **安装Hadoop**： - 将Hadoop解压到`/home/zjp/mysoftware`，然后进入`hadoop-1.2.1/conf`目录。 - 修改配置文件： - `hadoop-env.sh`：取消`JAVA_HOME`的注释，并设置正确的JDK路径。 - `core-site.xml`：添加`hadoop.tmp.dir`和`fs.default.name`属性，指定本地路径和HDFS名称节点地址。 - `hdfs-site.xml`：设置`dfs.replication`属性为1。 - `mapred-site.xml`：根据需要配置MapReduce相关的属性。 9. **启动Hadoop**： - 初始化HDFS：`hadoop namenode -format`。 - 启动Hadoop服务：`start-dfs.sh`和`start-mapred.sh`。 - 通过浏览器访问`http://localhost:50070`和`http://localhost:8088`检查Hadoop NameNode和ResourceManager是否正常运行。 至此，你已经在Win7+Eclipse+Ubuntu的环境中搭建起了Hadoop的单机开发环境。你可以使用Eclipse的Hadoop插件（如Hadoop Eclipse Plugin）来编写、调试和运行Hadoop MapReduce程序。记住，这只是一个基本的配置，实际生产环境中可能还需要考虑集群部署、安全性、性能优化等多个方面。