Hadoop环境搭建与WordCount实例浅析.pdf资源-CSDN文库

版权申诉

105 浏览量 2021-10-02 11:36:45 上传评论收藏 14KB PDF 举报

资源推荐

资源详情

资源评论

Hadoop 环境搭建与 WordCount 实例浅析

一、 hadoop 环境的搭建

1、必备资源

（1）linux 操作系统环境，如果你是初学者的话，我建议你用虚拟机装操作

系统，可以避免很多问题，从而最快的进入正题。至于版本的选择无所谓了，像

redhat,suse, 或者是 fedora 都可以，我用的是比较旧的 fedora8 ，自我感觉相

当好使，也就没用更新的 .

(2) hadoop 资源包，现在最新的是 0.21 版本，我用的也是这个，它要求 jdk

必须的是 6.0 或以上，至于下载我就不说了，一搜结果太多

（3）jdk1.6 下载：可以去官方网站上下载 linux 版本的 jdk6, 大概是 70M左

右。

（4）ftp 服务器：主要是用它来向 linux 上上传一些必要的资源，毕竟是虚

拟机，往往咱们要运行命令行方式下的，所以需要从 window平台上上传一些资

源，这时 ftp 服务器必不可少。可以选用 vsftp ，这是个最常用且流行的，可以

通过 linux 中自带的在线安装工具包在线安装也好，可以省去很多事。当然为了

linux 和 windows 下文件的共享你也可以采用 samba等方式，但 ftp 是相对较简

单的。

（5）ssh 服务安装：它是 namenode和 datanode 通信的桥梁，必须安装它，当

然也可以通过在线安装的方式，简单且版本较新。

2、安装步骤

（1）linux 安装完成之后，应该首先安装 vsftp ，这样的话，才能将 jdk 安装

包上传至 linux 当中，在 fedora8 下在线安装 vsftp 的命令是

yum install vsftpd 就可以了，只要网速可以，安装是相当快速的。安装完成

之后，你的首次登陆多数会出现这样或那样的问题，只要在网上搜一下应该就可

以搞定，我就不多说了。

（2）你可以用手工抒写命令的方式将 windows下的 linux jdk6.0 版本通过 vsftp

上传至 linux 平台，也可以用 ftp 软件，比如 flash ftp 或 cute ftp 等，当然

用软件的话会相对容易一些。然后根据 jdk 格式安装之，然后需要配置环境变量，

JAVA_HOME,JRE_HOME,PATH,CLASSPATH等，这些因不同的 linux 版而不同，都可

以通过网上搜解决。最后要通命令 java -version 或 javac -version 看一下是

不是你安装的那个 jdk 版本。从而测试出你的 jdk 安装是否正确。

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余5页未读，立即下载

内容反馈

版权申诉

资料大全

粉丝: 14
资源: 26万+

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip