没有合适的资源？快使用搜索试试~ 我知道了~

文库首页前端Node.jshadoop搭建与eclipse开发环境设置.pdf

hadoop搭建与eclipse开发环境设置.pdf

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

0 下载量 170 浏览量 2022-10-16 19:56:09 上传评论收藏 974KB PDF 举报

温馨提示

试读

19页

。。。

资源推荐

资源详情

资源评论

hadoop 搭建与 eclipse 开发环境设置

――罗利辉

1. 前言

1.1 目标

目的很简单，为进行研究与学习，部署一个 hadoop 运行环境，并搭建一个 hadoop 开

发与测试环境。

具体目标是：

 在 ubuntu 系统上部署 hadoop

 在 windows 上能够使用 eclipse 连接 ubuntu 系统上部署的 hadoop 进行开发与测试

1.2 软硬件要求

硬件要求：三台普通 PC。当然使用虚拟机也可以，本环境搭

建也是 VMWare6.5 虚拟机上进行

的。

软件要求：操作系统：ubuntu 11.04 server。

Hadoop 版本: hadoop-0.20.2

Eclipse 版本:3.3.2

Java 版本：1.6.0_26（必须 1.6 以上）

注意：

Hadoop 版本和 Eclipse 版本请严格按照要求。

现在的 hadoop 最新版本是 hadoop-0.20.203，我在 windows 上使用 eclipse（包括 3.6 版

本和 3.3.2 版本）连接 ubuntu 上的 hadoop-0.20.203 环境一直没有成功。但是开发测试程序

是没有问题的，不过需要注意权限问题。

如果要减少权限问题的发生，可以这样做：ubuntu 上运行 hadoop 的用户与 windows

上的用户一样。

1.3 环境拓扑图

ubuntu

192.168.69.231

ubuntu1

192.168.69.232

ubuntu2

192.168.69.233

Windows

eclipse 3.3.2

192.168.69.241

主机名

ubuntu

Hadoop 角色

Master

slaves

Hadoop jps 命令结果

NameNode

DataNode

JobTracker

TaskTracker

SecondaryNameNode

DataNode

TaskTracker

DataNode

TaskTracker

Hadoop 用户

创建相同的用户的

组名：hadoop。

安装 hadoop-0.20.2

时使用 hadoop 用

户，并且 hadoop 的

文件夹归属也是

hadoop：hadoop

Hadoop 安装目录

/opt/hadoop

Ubuntu1

Ubuntu2

slaves

Windows 开发测试环

境

安装了 jdk 与 eclipse，本身不需要安装 hadoop，但是需要 hadoop

安装包下面的 jar 包。

注意：ubuntu 既是 NameNode 又是 DataNode，同时也是 JobTracker。

2. Ubuntu 安装

安装 ubuntu11.04 server 系统，具体略。

我是先在虚拟机上安装一个操作系统，然后把 hadoop 也安装配置好了，再克隆二份，

然后把主机名与 IP 修改，再进行主机之间的 SSH 配置。

如果仅作为 hadoop 的运行与开发环境，不需要安装太多的系统与网络服务，或者在需

要的时候通过 apt-get install 进行安装。不过 SSH 服务是必须的。

3. Hadoop 安装

以下的 hadoop 安装以主机 ubuntu 下进行安装为例。

3.1 下载安装 jdk1.6

安装版本是：jdk-6u26-linux-i586.bin，我把它安装拷贝到：/opt/jdk1.6.0_26

3.2 下载解压 hadoop

安装包是：hadoop-0.20.2.tar.gz。

$ tar –zxvf hadoop-0.20.2.tar.gz

$ mv hadoop-0.20.2 /opt/hadoop

3.3 修改系统环境配置文件



切换为根用户。

修改环境配置文件/etc/profile，加入：

export JAVA_HOME=/opt/jdk1.6.0_26

export JRE_HOME=/opt/jdk1.6.0_26/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

export HADOOP_HOME=/opt/hadoop

export PATH=$HADOOP_HOME/bin:$PATH

 修改地址解析文件/etc/hosts，加入

192.168.69.231 ubuntu

192.168.69.232 ubuntu1

192.168.69.233 ubuntu2

3.4 修改 hadoop 的配置文件

切换为 hadoop 用户。

 修改 hadoop 目录下的 conf/hadoop-env.sh文件

加入 java 的安装根路径：

export JAVA_HOME=/opt/jdk1.6.0_26

 把 hadoop 目录下的 conf/core-site.xml 文件修改成如下：

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>hadoop.tmp.dir</name>

<value>/hadoop</value>

<description>A base for other temporary directories.</description>

</property>

<name>fs.default.name</name>

<value>hdfs://ubuntu:9000</value>

<description>The name of the default file system. A URI whose

scheme and authority determine the FileSystem implementation. The

uri's scheme determines the config property (fs.SCHEME.impl) naming

the FileSystem implementation class. The uri's authority is used to

determine the host, port, etc. for a filesystem.</description>

</property>

<name>dfs.hosts.exclude</name>

<value>excludes</value>

</property>

剩余18页未读，继续阅读

评论收藏

内容反馈

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

春哥111

粉丝: 1w+
资源: 5万+

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

hadoop搭建与eclipse开发环境设置.pdf

hadoop搭建与eclipse开发环境设置

hadoop环境设置.pdf

超详细hadoop与eclipse开发环境设置.docx

hadoop搭建与eclipse开发环境设置.docx

hadoop-eclipse-plugin-2.10.0.jar

大数据云计算技术系列 hadoop搭建与eclipse开发环境设置-已验证通过（共13页）.pdf

hadoop搭建与eclipse开发环境设置--已验证通过

hadoop-eclipse-plugin-3.1.1.tar.gz

hadoop开发环境搭建

win7+eclipse+hadoop开发环境搭建[收集].pdf

hadoop搭建与eclipse开发环境设置_hadoop_

hadoop环境搭建和eclipse开发

在windows上建立hadoop+eclipse开发环境

hadoop-eclipse-plugin-2.7.0.jar

hadoop-eclipse-plugin-2.2.0.jar

《Hadoop系统搭建及项目实践》课件10Hadoop 与RDMS数据迁移工具Sqoop.pdf

hadoop-eclipse-plugin-2.7.4.jar

大数据云计算技术系列 hadoop搭建与eclipse开发环境设置-已验证通过（共13页）.rar

hadoop开发环境搭建教程

cassandra-hadoop环境搭建文档.pdf

windows下搭建hadoop开发环境(Eclipse)

在windows上eclipse搭建hadoop环境

windows下搭建hadoop开发环境

hadoop-eclipse-plugin-3.1.3.jar

hadoop-eclipse-plugin-2.6.0.jar 和 hadoop-eclipse-plugin-2.7.3.jar

hadoop-eclipse-plugin-3.2.1.jar

好用的hadoop-eclipse-plugin-2.6.4.jar

hadoop-eclipse-plugin-3.1.0.jar

最新资源