文档概述
本文档是Hadoop部署文档,提供了Hadoop单机安装和Hadoop集群安装的方法和步骤,本文档希望让Hadoop安装部署更简单(Easy)。
本安装文档适用于 centos 5 /red hat 5.2 32位,64位版本,ubuntu 等操作系统 需要做部分修改。
EasyHadoop集群部署入门
修订记录
日期 修改原因 描述 作者
2012/02/14 初稿 Hadoop部署文档 向磊
2012/07/14 完善细节 新基础环境配置,修改配置文件,修改架构图。 童小军
2012/07/16 完善细节 完善系统检查方法,完善目录结构和注释,添加封面 童小军
2012/07/16 添加图例 添加生产集群部署图,组件的依赖关系 童小军
2012/08/07 添加EasyHive 添加EasyHive 章节 童小军
2012/09/07 完善内容 添加机器配置详解,和配置文件详解 童小军
2012/09/07 完善内容 添加任务调度,机架感知 童小军
目录
EasyHadoop 让你的Hadoop应用飞起来! 1
EasyHadoop集群部署入门 2
目录 2
1. 文档概述 3
2. 背景 3
3. 名词解释 3
4. 服务器结构 4
#Hadoop试验集群的部署结构 4
#系统和组建的依赖关系 5
#生产环境的部署结构 6
5. Red hat Linux基础环境搭建 6
#linux 安装 (vm虚拟机) 6
#配置机器时间同步 6
#配置机器网络环境 7
#配置集群hosts列表 10
#下载并安装 JAVA JDK系统软件 10
#生成登陆密钥 11
#创建用户账号和Hadoop部署目录和数据目录 11
#检查基础环境 12
6. Hadoop 单机系统 安装配置 12
#Hadoop 文件下载和解压 12
#配置 hadoop-env.sh 环境变量 13
#Hadoop Common组件 配置 core-site.xml 13
#HDFS NameNode,DataNode组建配置 hdfs-site.xml 14
#配置MapReduce - JobTracker TaskTracker 启动配置 15
#Hadoop单机系统,启动执行和异常检查 16
#通过界面查看集群部署部署成功 17
#通过执行 Hadoop pi 运行样例检查集群是否成功 19
#安装调试方法 19
#安装部署 常见错误 20
7. Hadoop 集群系统 配置安装配置 20
#检查node节点linux 基础环境是否正常,参考 [ linux 基础环境搭建]一节。 20
#配置从master 机器到 node 节点无密钥登陆 20
#检查master到每个node节点在hadoop用户下使用密钥登陆是否正常 21
#配置master 集群服务器地址 stop-all.sh start-all.sh 的时候调用 21
#通过界面查看集群部署部署成功 22
#通过执行 Hadoop pi 运行样例检查集群是否成功 24
8. 自动化安装脚本 25
#master 服务器自动安装脚本 25
9. 开启集群LZO 27
#下载相关 LZO 包 27
#安装 LZO 相关包 27
#编译 安装 lzo 包 27
#修改hadoop配置文件core-site.xml 27
#修改hadoop配置文件mapred-site.xml 28
10. 开启任务调度器 28
#修改 mapred-site.xml 28
#修改 capacity-scheduler.xml 添加 hive streaming 等队列。 28
11. 开启机架感知 34
#修改hadoop配置文件core-site.xml 添加机架感知代码 34
#新建 RackAware.py 文件 34
12. 配置详解 34
#Hadoop系统配置详解 34
#机器配置推荐 37
5
32
1.4MB
2013-07-15
10
