没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
28页
一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
资源推荐
资源详情
资源评论
下 的分布式配置和使用
下 分布式配置和使用
詹坤林 年 月
目 录
介绍
集群网络环境介绍
文件配置
无密码验证配置
选择一:配置 无密码登录所有
选择二:配置所有节点之间 无密码验证
安装和 环境变量配置
安装
环境变量配置
集群配置
集群启动
使用
客户机与 进行交互
客户机配置
列出 根目录下的文件
列出当前用户主目录下的文件
用户管理
复制本地数据到 中
数据副本说明
!"# 参数说明
中的路径
相关命令
客户机提交作业到集群
客户机配置
一个测试例子 $%&'
编写 应用程序并在集群上运行
三种模式下编译运行 应用程序
提交多个作业到集群
附 程序
下 的分布式配置和使用
介绍
这是本人在完全分布式环境下在 & ( 中配置 ) 时的总结文
档,但该文档也适合其他版本的 *!'" 系统和目前各版本的 +
之后的版本配置文件 !"# 被拆分成了三个 % !"#,, !"#
和 % !"#,这里会说明 后的版本中如何配置这三个文件-。
配置建议所有配置文件中使用主机名进行配置,并且机器上应在防
火墙中开启相应端口,并设置 服务为开机启动,此外 . 环境变量可以在
%/# 中配置。
0 集群网络环境介绍
集群包含三个节点: 个 , 个 ,节点之间局域网
连接,可以相互 通。节点 地址和主机名分布如下:
所有节点均是 系统,防火墙均禁用,sshd 服务均开启并设置为
开机启动。
所有节点上均创建了一个 ! 用户,用户主目录是"!"!。
所有节点上均创建了一个目录"#$"%%"!,并且拥有者是 !
用户。因为该目录用于安装 !,用户对其必须有 $& 权限。(一般做法
是 $ 用 户 在 "#$"%% 下 创 建 ! 目 录 , 并 修 改 该 目 录 拥 有 者 为
下 的分布式配置和使用
!'!&()!*!"#$"%%"!+。
1 /etc/hosts 文件配置
'+ 节点上编辑""!## 文件
将所 有 节 点 的 名 字 和 地址 写 入 其中,写 入 如 下 内 容 , 注 意 注 释 掉
行,保证内容如下:
,#%%!#%%%%!#
'+将 - 上的""!## 文件复制到所有数据节点上,操作步骤
如下*
$ 用户登录 ;
执行命令:#""!##$.*""!##
2 SSH 无密码验证配置
需 要 使 用 协 议 , 将 使 用 协 议 启 动
和 进程, 向 传递心跳信息可能
也是使用 协议,这是我认为的,还没有做深入了解, 之间可能
也需要使用 协议。假若是,则需要配置使得所有节点之间可以相互
无密码登陆验证。下面给出了两种配置方式,用户可以选择第一种,若实验中
出现问题可选择第二种进行尝试。
下 的分布式配置和使用
选择一:配置 - 无密码登录所有 /
'+原理
- 作 为 客 户 端 , 要 实 现 无 密 码 公 钥 认 证 , 连 接 到 服 务 端
上时,需要在 上生成一个密钥对,包括一个公钥和一
个私 钥 , 而 后 将 公 钥 复 制 到 上。 当 通过 ##! 连 接
时, 就会生成一个随机数并用 的公钥对随
机数进行加密,并发送给 。 收到加密数之后再用私钥
进行解密,并将解密数回传给 , 确认解密数无误之后就
允许 进行连接了。这就是一个公钥认证过程,其间不需要用户手
工输入密码。重要过程是将客户端 公钥复制到 上。
所有机器上生成密码对,所有节点上执行以下命令*
##!01$#
2$3%"$$#01$
4$5%&!!#!01'"!"!"##!"6$#+*默认路径
4$##!$#'17$##!$#+*回车,空密码
4$###!$#*
8$5!#3#"!"!"##!"6$#
8$3%01!#3#"!"!"##!"6$#3
这 将 在 "!"!"##!" 目 录 下 生 成 一 个 私 钥 6$# 和 一 个 公 钥
6$#3。
在 节点上做如下配置
6$#3!$9601# 的公钥
使用 协议将 的公钥信息 !$9601# 复制到所有
/- 的##! 目录下。
#!$9601# 节点 地址*"!"!"##!
下 的分布式配置和使用
这样配置过后, 可以无密码登录所有 ,可以通过命
令
:##!节点 地址”来验证。
配置完毕,在 上执行“##!本机,所有数据节点”命令,因为
##! 执行一次之后将不会再询问。
选择二:配置所有节点之间 无密码验证
'+原理
节点 ; 要实现无密码公钥认证连接到节点 < 上时,节点 ; 是客户端,节点
< 是服务端,需要在客户端 ; 上生成一个密钥对,包括一个公钥和一个私钥,
而后将公钥复制到服务端 < 上。当客户端 ; 通过 ##! 连接服务端 < 时,服务端
< 就会生成一个随机数并用客户端 ; 的公钥对随机数进行加密,并发送给客户
端 ;。客户端 ; 收到加密数之后再用私钥进行解密,并将解密数回传给 <,<
确认解密数无误之后就允许 ; 进行连接了。这就是一个公钥认证过程,其间不
需要用户手工输入密码。重要过程是将客户端 ; 公钥复制到 < 上。
因此如果要实现所有节点之间无密码公钥认证,则需要将所有节点的公钥
都复制到所有节点上。
'+所有机器上生成密码对
'+所有节点用 ! 用户登陆,并执行以下命令,生成 $# 密钥对*
##!01$#
这 将 在 "!"!"##!" 目 录 下 生 成 一 个 私 钥 6$# 和 一 个 公 钥
6$#3。
剩余27页未读,继续阅读
资源评论
- shuifeisha2013-08-09很有用的~很有参考价值
- sggz53302013-01-24分布式系统基础架构Hadoop Distributed File System挺不错的!~
- carrie_qianqian13142013-07-09初学者,很不错
gaolloag
- 粉丝: 0
- 资源: 3
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功