没有合适的资源？快使用搜索试试~ 我知道了~

文库首页考试认证其它hadoop搭建与eclipse开发环境设置.pdf

hadoop搭建与eclipse开发环境设置.pdf

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

0 下载量 37 浏览量 2022-07-14 07:22:59 上传评论收藏 667KB PDF 举报

温馨提示

试读

19页

hadoop搭建与eclipse开发环境设置.pdf

资源推荐

资源详情

资源评论

hadoop 搭建与 eclipse开发环境设置

――罗利辉

1. 前言

1.1 目标

目的很简单，为进行研究与学习，部署一个 hadoop 运行环境，并搭建一个 hadoop 开

发与测试环境。

具体目标是：

在 ubuntu 系统上部署 hadoop

在 windows 上能够使用 eclipse 连接 ubuntu 系统上部署的 hadoop 进行开发与测试

1.2 软硬件要求

硬件要求：三台普通 PC。当然使用虚拟机也可以，本环境搭

建也是 VMWare6.5 虚拟机上进行

的。

软件要求：操作系统： ubuntu 11.04 server 。

Hadoop 版本 : hadoop-0.20.2

Eclipse 版本 :3.3.2

Java 版本： 1.6.0_26（必须 1.6 以上）

注意：

Hadoop 版本和 Eclipse 版本请严格按照要求。

现在的 hadoop 最新版本是 hadoop-0.20.203 ，我在 windows 上使用 eclipse（包括 3.6 版

本和 3.3.2 版本）连接 ubuntu 上的 hadoop-0.20.203 环境一直没有成功。但是开发测试程序

是没有问题的，不过需要注意权限问题。

如果要减少权限问题的发生，可以这样做： ubuntu 上运行 hadoop 的用户与 windows

上的用户一样。

1.3 环境拓扑图

ubuntu

192.168.69.231

ubuntu2

192.168.69.233

ubuntu1

192.168.69.232

Windows

eclipse 3.3.2

192.168.69.241

主机名 Hadoop 角色 Hadoop jps 命令结果 Hadoop 用户 Hadoop 安装目录

ubuntu Master

slaves

NameNode

DataNode

JobTracker

TaskTracker

SecondaryNameNode

创建相同的用户的

组名： hadoop。

安装 hadoop-0.20.2

时使用 hadoop 用

户，并且 hadoop 的

文件夹归属也是

hadoop：hadoop

/opt/hadoop

Ubuntu1 slaves DataNode

TaskTracker

Ubuntu2 slaves DataNode

TaskTracker

Windows 开发测试环

境

安装了 jdk 与 eclipse，本身不需要安装 hadoop，但是需要 hadoop

安装包下面的 jar 包。

注意： ubuntu 既是 NameNode 又是 DataNode ，同时也是 JobTracker。

2. Ubuntu 安装

安装 ubuntu11.04 server 系统，具体略。

我是先在虚拟机上安装一个操作系统，然后把 hadoop 也安装配置好了，再克隆二份，

然后把主机名与 IP 修改，再进行主机之间的 SSH配置。

如果仅作为 hadoop 的运行与开发环境，不需要安装太多的系统与网络服务，或者在需

要的时候通过 apt-get install 进行安装。不过 SSH服务是必须的。

3. Hadoop 安装

以下的 hadoop 安装以主机 ubuntu 下进行安装为例。

3.1 下载安装 jdk1.6

安装版本是： jdk-6u26-linux-i586.bin ，我把它安装拷贝到： /opt/jdk1.6.0_26

3.2 下载解压 hadoop

安装包是： hadoop-0.20.2.tar.gz 。

$ tar –zxvf hadoop-0.20.2.tar.gz

$ mv hadoop-0.20.2 /opt/hadoop

3.3 修改系统环境配置文件

切换为根用户。

修改环境配置文件 /etc/profile ，加入：

export JAVA_HOME=/opt/jdk1.6.0_26

export JRE_HOME=/opt/jdk1.6.0_26/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

export HADOOP_HOME=/opt/hadoop

export PATH=$HADOOP_HOME/bin:$PATH

修改地址解析文件 /etc/hosts ，加入

192.168.69.231 ubuntu

192.168.69.232 ubuntu1

192.168.69.233 ubuntu2

3.4 修改 hadoop 的配置文件

切换为 hadoop 用户。

修改 hadoop 目录下的 conf/hadoop-env.sh 文件

加入 java 的安装根路径：

export JAVA_HOME=/opt/jdk1.6.0_26

把 hadoop 目录下的 conf/core-site.xml 文件修改成如下：

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>hadoop.tmp.dir</name>

<value>/hadoop</value>

<description>A base for other temporary directories.</description>

</property>

<name>fs.default.name</name>

<value>hdfs://ubuntu:9000</value>

<description>The name of the default file system. A URI whose

scheme and authority determine the FileSystem implementation. The

uri's scheme determines the config property (fs.SCHEME.impl) naming

the FileSystem implementation class. The uri's authority is used to

determine the host, port, etc. for a filesystem.</description>

</property>

<name>dfs.hosts.exclude</name>

<value>excludes</value>

</property>

剩余18页未读，继续阅读

评论收藏

内容反馈

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

ll17770603473

粉丝: 0
资源: 6万+

下载权益

C知道特权

VIP文章

课程特权

VIP享7折，此内容立减4.47元

开通VIP

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

hadoop搭建与eclipse开发环境设置.pdf

大数据云计算技术系列 hadoop搭建与eclipse开发环境设置-已验证通过（共13页）.pdf

hadoop搭建与eclipse开发环境设置

超详细hadoop与eclipse开发环境设置.docx

hadoop搭建与eclipse开发环境设置.docx

hadoop搭建与eclipse开发环境设置--已验证通过

hadoop环境设置.pdf

hadoop开发环境搭建

win7+eclipse+hadoop开发环境搭建[收集].pdf

hadoop-eclipse-plugin-2.10.0.jar

hadoop-eclipse-plugin-3.1.1.tar.gz

hadoop-eclipse-plugin-2.7.0.jar

hadoop-eclipse-plugin-2.2.0.jar

hadoop搭建与eclipse开发环境设置_hadoop_

hadoop环境搭建和eclipse开发

在windows上建立hadoop+eclipse开发环境

hadoop开发环境搭建教程

windows下搭建hadoop开发环境(Eclipse)

《Hadoop系统搭建及项目实践》课件10Hadoop 与RDMS数据迁移工具Sqoop.pdf

hadoop-eclipse-plugin-2.7.4.jar

大数据云计算技术系列 hadoop搭建与eclipse开发环境设置-已验证通过（共13页）.rar

hadoop-eclipse-plugin-3.1.3.jar

hadoop-eclipse-plugin-2.6.0.jar 和 hadoop-eclipse-plugin-2.7.3.jar

在windows上eclipse搭建hadoop环境

windows下搭建hadoop开发环境

hadoop学习笔记(一、hadoop集群环境搭建).pdf

hadoop与spark环境搭建.pdf

最新资源