没有合适的资源?快使用搜索试试~ 我知道了~
CDH大数据集群搭建(2019-12-20).docx
需积分: 31 10 下载量 51 浏览量
2019-12-26
15:00:06
上传
评论
收藏 8.66MB DOCX 举报
温馨提示
完全从0到1.从虚拟机搭建开始到集群参数配置,一步一步超级详细,无经验也可搭建。本文档采用完全离线方式搭建,搭建过程轻松,清晰。
资源推荐
资源详情
资源评论
大数据集群搭建
Apach e Hadoop
由 公司开源的 版本。涵盖了最原生的 特性,所有的 发
行版均基于该版本进行改进。
缺点:
----复杂的版本管理。版本管理比较混乱的,各种版本层出不穷,让很多使用者不知所措。
----复杂的集群部署、安装、配置。通常按照集群需要编写大量的配置文件,分发到每一台节点上,容易出错,
效率低下。
----复杂的集群运维。对集群的监控,运维,需要安装第三方的其他软件,如 ganglia,nagois 等,运维难度较
大。
---- 复 杂 的 生 态 环 境 。 在 Hadoop 生 态 圈 中 , 组 件 的 选 择 、 使 用 , 比 如
Hive,Mahout,Sqoop,Flume,Spark,Oozie 等等,需要大量考虑兼容性的问题,版本是否兼容,组件是
否有冲突,编译是否能通过等。经常会浪费大量的时间去编译组件,解决版本冲突问题。
Cloudera CDH (CM cloudera manager)
由 公司发行的 版本,全称(
)。该版本在基于原生 版本进行改进,添加了补丁和自行开发
的组件,更加稳定易用。目前国内使用最多的版本。
Hortonworks Ambari(HDP)
Ambari 是 Hortonworks 开源的 Hadoop 平台的管理软件,具备 Hadoop 组件的安装、管理、运
维等基本功能,提供 Web UI 进行可视化的集群管理,简化了大数据平台的安装、使用难度。
优点:
----基于 Apache 协议,100%开源。
----版本管理清晰。
----比 Apache Hadoop 在兼容性、安全性、稳定性上有增强。第三方发行版通常都经过了大量的测试验证,有
众多部署实例,大量的运行到各种生产环境。
----基于稳定版本 Apache Hadoop,并应用了最新 Bug 修复
----提供了部署、安装、配置工具,大大提高了集群部署的效率,可以在几个小时内部署好集群。
----运维简单。提供了管理、监控、诊断、配置修改的工具,管理配置方便,定位问题快速、准确,使运维工作
简单,有效。
1 软件环境
!"#$
名称 版本
%& '(&)
* +)$
+)$
主机名 内存
CPU IP
网卡 硬盘
hadoop-
11
6g 1 core 192.168.247.20
1
70G
hadoop-
12
3g 1 core 192.168.247.20
2
40G
hadoop-
13
3g 1 core 192.168.247.20
3
40G
规划
hadoop-4 *
*,-.元数据/
hadoop-5
hadoop-6
安装工具包介绍
0+)10 安装包
集群组件安装包
& 安装镜像,方便离线安装服务
)202
0 安装引导文件
2 基础环境准备
2.1虚拟机搭建
文件23新建虚拟机23典型
下一步23浏览 选择镜像文件
剩余63页未读,继续阅读
资源评论
only111
- 粉丝: 14
- 资源: 1
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功