没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论















CDH 离线环境搭建
目 录
简介()
是什么
优点是什么
组件有哪些
版本环境()
版本支持
软件依赖
环境准备()
安装前准备
安装顺序
安装服务()
关闭 (所有机器)
关闭防火墙 (所有机器)
设置 (所有机器)
修改 (所有机器)
配置免密登录 (所有机器)
配置文件 源 (一台主节点)
安装
重新配置 源
安装 !""、、(所有机器)
安装 #$(%"&版本 % 安装,所有机器)
安装 '&(任意一台节点)
通过 安装 "&%("(%)%
登录页面配置
系统文件存储结构
硬件选择
角色及节点分配
(*+ 安装
安装前准备
安装服务
测试是否安装成功
与 (*+ 使用和注意事项

1. 简介(CDH)
2. CDH 是什么
是 ," 和相关项目最完整、最受测试和最受欢迎的发行版。 提供了
的核心元素—可扩展的存储和分布式计算—以及基于 -+ 的用户界面和重要的企业功能。
是 ," 许可的开放源码,是唯一提供统一批处理、交互式 . 和交互式搜索以及基于角色
的访问控制的 解决方案。
3. CDH 优点是什么
灵活性:可以存储任何类型的数据,并使用各种不同的计算框架对其进行操作,包括批处理、
交互式 .、自由文本搜索、机器学习和统计计算。
整合:集成在一个完整的 平台上快速启动和运行,该平台与广泛的硬件和软件解决
方案一起工作。
安全:过程控制敏感数据。
可扩展性:使应用程序和扩展范围更广,并扩展它们以满足您的需求。
高可用性:信任并执行关键业务任务。
兼容性:可以利用现有的 / 基础架构和资源。

4.CDH 组件有哪些
,",)%、,"%"、,"0&、,"、,"
1、,")、、2、,"/&、,"34、,"
5%'、,"5!、,"%、,"&%、,"%$、,"
'、,"62% 等。
5. 版本环境(CDH)
1. TLS 版本支持
和 &%7!% 支持的传输层安全版本
指定的传输层安全性()版本支持以下组件:
组件 角色 名称 端口 版本号
Cloudera
Manager
&%
7!%%)%
Cloudera
Manager
&% 7!%
%)%
Flume
Flume ,)%%"8$
Flume 0&5%"8$
HBase 7% 17%-+9/5%
HDFS ::
"% :: -+ 9/
5%
HDFS
"%
::
"% "%
::-+9/5%
HDFS 0 ;<5%
=
Hive )%)% )%)%5%
Hue %)% 55%
Impala /&
/& 1*
5%
Impala /&
/& )%)%
5%
Impala /& /&1"$5%
Impala /&% %%)"5%
Impala /&
/&5%)%
5%
Impala /&% %5%)%5%

Impala
/& &!
%)%
&! %)% 5 %)%
5%
Impala
/& &!
%)%
&!%)%%)"5%
Oozie 34%)% 3455%
=
Solr &%%)% &%55%
=
Solr &%%)% &%55%
=
Spark %%)%
YARN ;%"7!%
;%"7!% -+
,&"55%
YARN >+%%)%
7;) >+% -+
,&"55%
硬件支持
Cloudera Manager Server存储需求
位置 存储大小 备注
/usr ?1
/var
?1至
1
根据管理的节点数进行缩放
/opt
大于 ?1 使用率随着下载的包裹数量的增加而增加
Cloudera
Manager
Database Server
?1
如果 &%7!% 数据库与服务监视器和主机监视
器共享,则需要更多的存储空间来满足这些组件的要求。
基于主机的 Cloudera Manager 服务器要求
群集主机数 数 据 库 主 机
配置
堆大小 逻 辑 处 理 器
个数
Cloudera Manager Server
/var目录大小
非常小集群 (≤10) 共享
?1 ?1
小集群 (≤20) 共享
?1 @A?1
中等集群 (≤200) 专用
?1 @A?1
大型集群 (≤500) 专用
?1
@A?1
超大集群 (>500) 专用
?1
@A1
带有 HDFS, YARN, or Impala的集群
监控的实体对象个数 主机数量
Java Heap
Size
推 荐 Non-Java Heap
Size
0-2,000 ( ?1 ?1
2,000-4,000 ( ?1 ?1
4,000-8,000 ( ?1 ?1
8,000-16,000 ( ?1 ?1
16,000-20,000 (
=
?1 ?1

Flume
名称
Java Heap CPU
磁盘
Flume
最小 ?1 最大 ?1
>) 堆大小应该大于最大
信道容量。
使用代理的 >) 堆大小
设置该值,以字节为单位
的 0& 配置属性。
使用以下公
式计算芯
数:(源数
量B0&
数量)8
建议将多个磁盘用于文件通道,既可以是
>13 设置,也可以是 ;,/(由于可靠性
提高,因此首选)。
HDFS
名称
Memory CPU
磁盘数
Journal
Node
?1C默认D使用 >)
的 >) 堆大小设置该值,以
字节为 0 配置属性。
最 小
"%
个专用 磁盘
NameN
ode
最小: ?1C用于概念验证
部署D
为每增加 个块添加
一个额外的 ?1
快照和加密可以增加所需的
堆内存。
使用名为 0 配置属性的
:,7<:3< 的 >) 堆大小
设置此值。
至 少 个
专 用 核
心 ; 对 于
较 大 的 集
群 , 可 能
需要更多
至少 个元数据专用磁盘
个日志文件专用磁盘(此磁盘可以与操
作系统共享)
最大 个磁盘
DataNo
de
最少E?1
增加内存 以获得更高的
副本计数或每个数据节点的
块 数 。 当 增 加 内 存
时 , &% 建 议 每
万个复制副本(在数据节点
上超过 万个)增加 ?1
内存。例如, 万个副本
需要 ?1 的内存。
使用 ,/3: 的 >) 堆大小
设置 此值 , 以 字节 为 0
配置属性。
最小E
核为高
度 活 跃 的
集 群 添 加
更 多 的 核
心
最小E
最大E
最大可接受大小将根据平均块大小的
大小而变化。: 的可伸缩性限制主要是
每个 : 的副本数量的函数,而不是存储
的总字节数。也就是说,如果机器或机架
发生故障,拥有超密集的 : 将影响恢
复时间。&% 不支持每个数据节点
超过 1。您可以使用 1 主
轴或 1 主轴。&% 不支持
大于 1 的驱动器。
Hbase
名称
Java Heap CPU
磁盘
Master
(= 个 %!
需要 ?1
拥 有 个 或 更 多
;! %)% 的
个 或 更 多
;!E?1
拥 有 个 或 更 多
;! %)% 的
个 或 更 多
;!E?1
使 用 1,< 主 控 器 的
>) 堆大小设置此值,
以字节为基础配置属性。
至少 个专用核心。
在使用复制或批量加
载时,可以为较大的
群 集 添 加 更 多 的 核
心。
个本地日志磁盘,可与操作系
统和8或其他 日志共享
剩余38页未读,继续阅读
资源评论

- 查理捡钢镚2023-07-25文档提供了步骤清晰、顺序合理的安装指导,让人感到安心和信任。
- RandyRhoads2023-07-25该文件中使用的语言简单明了,易于理解,适合各种水平的读者。
- 艾法2023-07-25文档中提供了很多实用的技巧和注意事项,对安装过程非常有帮助。
- 周林深2023-07-25文件中的内容详尽而清晰,能够帮助初学者轻松进行安装。
- 马克love2023-07-25这个文档提供了丰富的CDH和datax-web离线安装信息,非常实用。

小小码农如此不堪
- 粉丝: 2
- 资源: 7
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助


安全验证
文档复制为VIP权益,开通VIP直接复制
