EasyHadoop部署实战手册_VM测试版本
文档概述 本文档是Hadoop部署文档,提供了Hadoop单机安装和Hadoop集群安装的方法和步骤,本文档希望让Hadoop安装部署更简单(Easy)。 本安装文档适用于 centos 5 /red hat 5.2 32位,64位版本,ubuntu 等操作系统 需要做部分修改。 EasyHadoop集群部署入门 修订记录 日期 修改原因 描述 作者 2012/02/14 初稿 Hadoop部署文档 向磊 2012/07/14 完善细节 新基础环境配置,修改配置文件,修改架构图。 童小军 2012/07/16 完善细节 完善系统检查方法,完善目录结构和注释,添加封面 童小军 2012/07/16 添加图例 添加生产集群部署图,组件的依赖关系 童小军 2012/08/07 添加EasyHive 添加EasyHive 章节 童小军 2012/09/07 完善内容 添加机器配置详解,和配置文件详解 童小军 2012/09/07 完善内容 添加任务调度,机架感知 童小军 目录 EasyHadoop 让你的Hadoop应用飞起来! 1 EasyHadoop集群部署入门 2 目录 2 1. 文档概述 3 2. 背景 3 3. 名词解释 3 4. 服务器结构 4 #Hadoop试验集群的部署结构 4 #系统和组建的依赖关系 5 #生产环境的部署结构 6 5. Red hat Linux基础环境搭建 6 #linux 安装 (vm虚拟机) 6 #配置机器时间同步 6 #配置机器网络环境 7 #配置集群hosts列表 10 #下载并安装 JAVA JDK系统软件 10 #生成登陆密钥 11 #创建用户账号和Hadoop部署目录和数据目录 11 #检查基础环境 12 6. Hadoop 单机系统 安装配置 12 #Hadoop 文件下载和解压 12 #配置 hadoop-env.sh 环境变量 13 #Hadoop Common组件 配置 core-site.xml 13 #HDFS NameNode,DataNode组建配置 hdfs-site.xml 14 #配置MapReduce - JobTracker TaskTracker 启动配置 15 #Hadoop单机系统,启动执行和异常检查 16 #通过界面查看集群部署部署成功 17 #通过执行 Hadoop pi 运行样例检查集群是否成功 19 #安装调试方法 19 #安装部署 常见错误 20 7. Hadoop 集群系统 配置安装配置 20 #检查node节点linux 基础环境是否正常,参考 [ linux 基础环境搭建]一节。 20 #配置从master 机器到 node 节点无密钥登陆 20 #检查master到每个node节点在hadoop用户下使用密钥登陆是否正常 21 #配置master 集群服务器地址 stop-all.sh start-all.sh 的时候调用 21 #通过界面查看集群部署部署成功 22 #通过执行 Hadoop pi 运行样例检查集群是否成功 24 8. 自动化安装脚本 25 #master 服务器自动安装脚本 25 9. 开启集群LZO 27 #下载相关 LZO 包 27 #安装 LZO 相关包 27 #编译 安装 lzo 包 27 #修改hadoop配置文件core-site.xml 27 #修改hadoop配置文件mapred-site.xml 28 10. 开启任务调度器 28 #修改 mapred-site.xml 28 #修改 capacity-scheduler.xml 添加 hive streaming 等队列。 28 11. 开启机架感知 34 #修改hadoop配置文件core-site.xml 添加机架感知代码 34 #新建 RackAware.py 文件 34 12. 配置详解 34 #Hadoop系统配置详解 34 #机器配置推荐 37
- 粉丝: 27
- 资源: 6
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 基于串口通信的光通信上位机,包括运动控制和通信协议
- 串口与以太网文件传送协议(或自定义控制协议)
- Qt开发windows系统安装教程与代码实例.txt
- QT6实现的附带文件传输协议的串口终端
- 一个串口通讯类和调用Demo 通过设置串口、设置串口自定义协议,可方便对串口发送数据与接收数据
- 华为OD模拟题及参考答案.仅供学习和模拟考试使用
- stm32f103c8t6基于modbus协议和使用串口读取温湿度
- 英雄联盟LOL金克斯4K电脑壁纸
- Microbrain道闸产品上位机,以MahApps库为基础搭建界面,集成了串口(UART)、CAN、WIFI通信,十六进制协议
- Android串口通讯, 支持发送数据回调, 支持并发处理, 自定义协议, CRC校验, 自动粘包, 自动去除冗余的干扰数据
- 1
- 2
前往页