没有合适的资源?快使用搜索试试~ 我知道了~
hadoop是anpche软件基金会旗下的一个开源分布式计算平台。对大数据 HDFS感兴趣的筒子搭建实验环境有帮助。
资源推荐
资源详情
资源评论
目录
一、系统环境: 2
集群节点地址: 2
主机名设置: 2
二、JAVA环境安装: 3
2.1配置 JAVA环境变量: 5
三、Hadoop集群安装: 5
配置 Hadoop环境变量: 6
Hadoop配置文件说明: 7
四、Hadoop的配置: 7
1)配置 core-site.xml文件 7
2)配置 core-site.xml文件 8
3)配置 hdfs-site.xml文件 9
4)配置 mapred-site.xml文件 9
5)配置 masters文件 10
(1)第一种 10
(2)第二种 10
6)配置 slaves文件(Master主机特有) 10
(1)第一种 10
(2)第二种 10
五、Slave节点服务器配置: 10
六、启动及验证:——slave节点和 hadoop节点都需要启动、验证 12
1)格式化 HDFS文件系统 12
2)启动 hadoop 13
3)验证 hadoop 13
1)验证方法一:用"jps"命令 13
3)版本查看: 15
Hadoop集群搭建
Hadoop是 Apache软件基金会旗下的一个开源分布式计算平台。以 Hadoop分布式文件系统(HDFS,Hadoop
DistributedFilesystem)和 MapReduce(GoogleMapReduce的开源实现)为核心的 Hadoop为用户提供了系统
底层细节透明的分布式基础架构。
对于 Hadoop的集群来讲,可以分成两大类角色:Master和 Salve。一个 HDFS集群是由一个 NameNode
和若干个 DataNode组成的。其中 NameNode作为主服务器,管理文件系统的命名空间和客户端对文件系统的
访问操作;集群中的 DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的 JobTracker
和运行在每个集群从节点的 TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务,这些任务
分布在不同的从节点上。主节点监控它们的执行情况,并且重新执行之前的失败任务;从节点仅负责由主
节点指派的任务。当一个 Job被提交时,JobTracker接收到提交作业和配置信息之后,就会将配置信息等分
发给从节点,同时调度任务并监控 TaskTracker的执行。
从上面的介绍可以看出,HDFS和 MapReduce共同组成了 Hadoop分布式系统体系结构的核心。HDFS在
集群上实现分布式文件系统,MapReduce在集群上实现了分布式计算和任务处理。HDFS在 MapReduce任务
处理过程中提供了文件操作和存储等支持,MapReduce在 HDFS的基础上实现了任务的分发、跟踪、执行等
工作,并收集结果,二者相互作用,完成了 Hadoop分布式集群的主要任务。
一、系统环境:
[root@Centos7~]#
[root@Centos7~]#cat/etc/redhat-release
CentOSLinuxrelease7.0.1406(Core)
[root@Centos7~]#
[root@Centos7~]#uname -r
3.10.0-123.el7.x86_64
[root@Centos7~]#
集群节点地址:
192.168.111.151 Master.Hadoop
192.168.111.142 Slave01.Hadoop
192.168.111.152 Slave02.Hadoop
主机名设置:
[root@Master~]#hostname
Master.Hadoop
[root@Master~]#
[hadoop@Slave01~]$hostname
Slave01.Hadoop
[hadoop@Slave01~]$
[hadoop@Slave02~]$hostname
Slave02.Hadoop
[root@Master~]#cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=Master.Hadoop
GATEWAY=192.168.111.2
[root@Master~]#
[hadoop@Slave01~]$cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=Slave01.Hadoop
GATEWAY=192.168.111.2
[hadoop@Slave01~]$
[hadoop@Slave02~]$cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=Slave02.Hadoop
GATEWAY=192.168.111.2
[hadoop@Slave02~]$
[root@Master~]#cat /etc/hosts
127.0.0.1 localhostlocalhost.localdomainlocalhost4localhost4.localdomain4
::1 localhostlocalhost.localdomainlocalhost6localhost6.localdomain6
192.168.111.151 Master.Hadoop
192.168.111.142 Slave01.Hadoop
192.168.111.152 Slave02.Hadoop
[root@Master~]#
相关软件下载地址:
wget http://apache.opencas.org/hadoop/core/hadoop-1.2.1/
wgethttp://www.oracle.com/technetwork/java/javase/index.html
二、JAVA环境安装:
首先用 root身份登录"Master.Hadoop"后在"/usr"下创建"java"文件夹,再把用 FTP上传到"/home/hadoop/"
下的"jdk-6u31-linux-i586.bin"复制到"/usr/java"文件夹中。
安装 JDK:2台节点 slave都需要安装 java环境
mkdir/usr/java
cp/home/hadoop/jdk-6u31-linux-i586.bin/usr/java
[root@Master~]#cp/home/hadoop/jdk-6u31-linux-x64-rpm.bin /usr/java
[root@Master~]#cd/usr/java/
[root@Masterjava]#ll
total79172
-rw-r--r--.1rootroot81071431Jun2222:46jdk-6u31-linux-x64-rpm.bin
[root@Masterjava]#chmod +xjdk-6u31-linux-x64-rpm.bin
[root@Masterjava]#./jdk-6u31-linux-x64-rpm.bin
Unpacking...
剩余14页未读,继续阅读
资源评论
tony0236
- 粉丝: 0
- 资源: 3
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功