没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
Hadoop 0.20.0 集群配置
及 MapReaduce 开发手册
天喻研究院 @ 2009
修订历史记录
序号 日期 修订内容 版本 编制 审核 批准
01 2009-8-19 创建文档 1.0 任猛
02 2009-8-26 增加第 4 部分,hadoop 性能优化 1.1 任猛
03
04
05
06
07
08
09
目 录
1 集群配置说明...............................................................................................................................4
1.1 环境说明...........................................................................................................................4
1.2 目录说明...........................................................................................................................4
2 环境配置与安装...........................................................................................................................5
2.1 硬盘分区配置...................................................................................................................5
2.2 安装配置 JDK....................................................................................................................5
2.2.1 安装 JDK:............................................................................................................5
2.2.2 配置 JDK.................................................................................................................5
2.3 安装配置 Hadoop..............................................................................................................6
2.3.1 安装 Hadoop..........................................................................................................6
2.3.2 配置 Hadoop..........................................................................................................6
2.3.3 配置 master 和 slaves........................................................................................7
2.4 安装配置 SSH....................................................................................................................8
2.4.1 安装 SSH................................................................................................................8
2.4.2 配置 SSH................................................................................................................8
2.5 环境配置检验....................................................................................................................9
3 MapReduce 开发..........................................................................................................................10
3.1 Hadoop Eclipse Plugin 编译......................................................................................10
3.2 Eclipse Plugin 配置....................................................................................................10
3.3 建立 MapReduce 工程.....................................................................................................13
4 Hadoop 性能优化........................................................................................................................15
4.1 配置优化.........................................................................................................................15
4.1.1 内存优化.............................................................................................................15
4.1.2 master 优化........................................................................................................15
4.1.3 文件存储设置.....................................................................................................16
4.1.4 MapReduce 临时存储..........................................................................................16
4.1.5 tasks 配置..........................................................................................................16
4.2 MapReduce 工程优化......................................................................................................17
1 集群配置说明
1.1 环境说明
名称 配置 备注
操作系统
CentOS 5
Sun-java-6
SSH
Eclipse 3.4.2 (Linux 版)
软件
Hadoop 0.20.0
10.8.2.25 (server1) namenode
10.8.2.51(hadoop51)
10.8.2.52(hadoop52)
10.8.2.53(hadoop53)
10.8.2.54(hadoop54)
10.8.2.55(hadoop55)
10.8.2.56(hadoop56)
10.8.2.57(hadoop57)
10.8.2.58(hadoop58)
计算机集群
10.8.2.59(hadoop59)
datanode
1.2 目录说明
名称 配置 备注
用户
hadoop0200
用户目录
/home/hadoop0200
eclipse 工程目录
/home/hadoop0200/workspace
Hadoop 目录
/opt/hadoop0200
Jdk 目录
/opt/jdk1.7.0
剩余16页未读,继续阅读
资源评论
chengscga
- 粉丝: 0
- 资源: 22
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功