没有合适的资源？快使用搜索试试~ 我知道了~

文库首页大数据Hadoop阿里云上搭建hadoop分布式平台

阿里云上搭建hadoop分布式平台

hadoop

需积分: 30 9 下载量 109 浏览量 2018-11-20 12:50:13 上传评论 3 收藏 1.47MB PDF 举报

温馨提示

试读

20页

hadoop；hive；json数据分析；网页日志处理；阿里云上搭建hadoop分布式平台

资源推荐

资源详情

资源评论

4 Hadoop 云搭建

4 Cloud building of Hadoop

4.1 阿里云服务器配置（The configuration of Alibaba Cloud Server）

4.1.1 设置阿里云服务器主机名

因为阿里云默认主机名比较复杂，为了容易区分，在阿里云的控制台中将其中一台服

务器的主机名修改为 master 作为 hadoop 集群的主节点，另一台服务器的主机名修改为

slave 作为 hadoop 集群的从节点。

4.1.2 设置阿里云服务器安全组

阿里云默认只开放 22 和 3389 端口，在后面的搭建过程中，网页访问 hadoop 时会用

到 50070、50075 和 8088 端口，eclipse 远程连接会用到 50020 和 9000 端口。根据阿里

云的安全组配置规则，开放上述端口权限。

4.2 集群配置（The configuration of cluster）

4.2.1 配置主机名和 ip 地址的映射

通过 vim /etc/hosts 命令修改 etc 目录下的 hosts 文件，在 hosts 文件中添加主机

和 ip 的映射关系。

127.0.0.1 localhost

172.31.15.122 master

172.31.15.121 slave

4.2.2 创建 hadoop 用户

（1）为了方便系统资源的管理，创建 hadoop 用户。首先，通过 useradd hadoop 命

令创建 hadoop 用户。

（2）通过 passwd hadoop 命令来设置 hadoop 用户的密码。

（3）在 hadoop 用户的 home 目录下通过 mkdir bd 新建 bd 目录作为后续软件的安装

目录。

4.2.3 hadoop 用户配置 sudo 权限

为方便操作，通过 vim /etc/sudoers 命令修改 sudoers 文件赋予 hadoop 用户 sudo

权限，在 sudoers 中添加 hadoop ALL=(ALL) ALL，如图 4-1 所示。

4 Hadoop 云搭建

图 4-1 sudo 权限配置

Figure 4-1 sudo permission configuration

4.2.3 关闭防火墙

如果防火墙处于运行状态，hadoop 的一些功能将受到限制，所以我们先执行 sudo

service iptables stop 命令，并通过 chkconfig –list 命令查看防火墙运行状态，如

图 4-2 所示。我们会发现防火墙并未完全关闭，然后通过 sudo chkconfig iptables off

命令完全关闭防火墙，并再次通过 chkconfig –list 命令查看防火墙运行状态，如图 4-3

所示，此时我们发现防火墙已经完全关闭。

图 4-2 防火墙状态

Figure 4-2 Firewall Status Table

图 4-3 防火墙状态

Figure 4-3 Firewall Status

4.2.4 安装 JDK

（1）首先通过 java -version 查看本机是否已经安装 JDK，如果未显示任何信息，表明

本地并未安装 JDK。如果已经安装了 JDK，会显示安装的版本信息，可以直接开始下一步

操作。

（2）本人电脑上已经下载好了 JDK 的版本，所以直接通过 WinSCP 上传至 hadoop 用户的

bd 目录下。

（3）通过 tar -zxf jdk-7u7-linux-i586.tar.gz 命令将 JDK 解压到 hadoop 用户的 bd

目录下。

（4）首先需要进入解压 JDK 的位置，通过 pwd 命令得到 JDK 的安装路径为

/home/hadoop/bd/jdk1.7.0_07

（5）通过 vim ~/.bashrc 命令，在.bashrc 文件中添加

export JAVA_HOME=/home/hadoop/bd/jdk1.7.0_07

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

PATH=$JAVA_HOME/bin:$PATH

export PATH

4 Hadoop 云搭建

（6）通过 source ~/.bashrc 命令，使修改的环境变量生效。最后再次通过 Java

-version 命令查看是否安装成功，如图 4-4，我们可以看到安装 JDK 版本的信息，此时表

示安装成功。

图 4-4 JDK 版本信息

Figure 4-4 JDK Version Information

4.2.5 配置 ssh 免秘钥登录

（1）设置 hadoop 用户登录 localhost 的免密钥

a. 通过 sudo vim /etc/ssh/sshd_config 命令修改 sshd_config 服务端的配置文件，

如图 4-5 和 4-6 所示。

图 4-5 sshd 配置前图 4-6 sshd 配置后

Figure 4-5 Before sshd configuration Figure 4-6 After sshd configuration

b. 修改成功后，通过 sudo service sshd restart 命令重启 sshd 服务。

c. 通过 ssh-keygen -t rsa 命令生成公钥和私钥。

d. 通过 cat id_rsa.pub >> authorized_keys 重定向命令将公钥写入

到.ssh/authorized_keys 文件，同时为防止因权限过大导致免密钥登录失败，通

过 chmod 600 authorized_keys 命令修改 authorized_keys 的权限。

e. 通过 ssh 登录 localhost，如果不需要输入密码，则配置成功。如图 4-7 所示。

图 4-7 Localhost 免秘钥登录

Figure 4-7 Localhost Keyless login

（2）设置服务器之间 hadoop 用户远程登录免密钥

a. 将 slave 服务器中的公钥通过 scp 命令拷贝到 master 服务器中并命名为

id_rsa_from_slave

scp id_rsa.pub hadoop@master:~/.ssh/id_rsa_from_slave

4 Hadoop 云搭建

b. 将 slave 的公钥通过重定向命令写入到 master 中的 authorized_keys 文件中，然

后通过 cat 命令查看 authorized_keys 的内容文件是否中存在 master 和 slave

的公钥，如图 4-8 所示。

cat id_rsa_from_slave >> authorized_keys

cat authorized_keys

图 4-8 公钥

Figure 4-8 Public key

c. 用 master 的 authorized_keys 覆盖 slave 的 authorized_keys

scp authorized_keys hadoop@slave:~/.ssh/authorized_keys

d. 验证服务器之间是否可以免密钥登录，如果不需要输入密码，则配置成功，如图

4-9 和 4-10 所示。

图 4-9 服务器免秘钥登录

Figure 4-9 Server keyless login

图 4-10 服务器免秘钥登录

Figure 4-10 Server keyless login

4.3 Hadoop 安装（The installation of Hadoop）

4.3.1hadoop 版本

hadoop 默认是 32 位版本，阿里云服务器选用的是 centous6.8 32 位系统，64 位统下

安装 hadoop 需在 64 位系统下重新编译。本论文安装的是 hadoop2.2.0 版本。

4.3.2 配置 hadoop

（1）通过 tar -zxf hadoop-2.2.0.tar.gz 命令将 hadoop 解压到 hadoop 用户的 bd 目录

下。

（2）配置环境变量

剩余19页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

qq_39347864

粉丝: 0
资源: 1

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

阿里云上搭建hadoop分布式平台

在阿里云服务器上利用 Docker 搭建 Hadoop 集群

阿里云Hadoop在云上的最佳实践

Hadoop云计算平台搭建最详细过程

阿里Hadoop集群架构及服务体系

hadoop分布式搭建

hadoop分布式计算平台搭建

搭建hadoop-完全分布式模式

基于Hadoop的分布式索引构建

hadoop分布式文件系统搭建

基于OPENSTACK私有云平台上的HADOOP完全分布式环境应用研究.pdf

云服务器上搭建大数据伪分布式环境

hadoop分布式配置文档1

Centos7+hadoop2.6.0分布式集群搭建

阿里云大数据Hadoop集群搭建全网最新教程

Hadoop3.0版本分布式搭建

hadoop完全分布式集群搭建

hadoop完全分布式环境搭建.docx

Hadoop分布式搭建配置/Hive/HBase

搭建基于Hadoop的云计算平台.pdf

ubuntu下搭建hadoop

还在为搭建集群的期末作业发愁吗？最简单的搭建hadoop+spark+hive大数据集群搭建文档.docx

Hadoop学习之路（三）Hadoop-2.7.5在CentOS-6.7上的编译

Hadoop集群搭建-完全分布式

hadoop为分布式

hadooop 环境搭建

hadoop搭建

最新资源