基于CDH的spark集群搭建
需积分: 10 23 浏览量
2022-09-15
19:06:12
上传
评论
收藏 2.71MB DOCX 举报
环境要求:
准备 3 台以上，64G 内存的机器
节点名称分别为
hadoop1
hadoop2
hadoop3
资源准备:
Cdh 和 cm 6.3.2 下载地址:https://learningfriend.cn:8081/test/cdh6/
Cdh 和 cm 6.3.1 下载地址：https://pan.baidu.com/s/16VWfnKRSFHPuOTBEhDB9lw
提取码: 8vn7
系统 Centos7
cdh6.3.2
Mysql5.7
安装步骤介绍
免密登录
hdfs 和其他通信是通过 ssh，如果不配置，则每次心跳感应，需要你输入密码
关闭 selinux 和 swap
关闭 selinux(cdh 官方等都建议关闭它，它的作用是限制资源访问，比如给你的 impala 限制
了资源，由于 impala 用户权限低，查询就会很慢，失去了它的作用）
关闭 swap（避免交换内存，默认是开启，如果你内存不够，那么他就会先写到磁盘上，然
后释放的时候，会将磁盘中的内存，加载了内存中，如果磁盘中的消耗的资源大于内存，结
果就是宕机，关闭后，相当于是一种保护策略）
httpd 安装与 yum.repo 配置(含 cdh 服务安装）
通过本地 yum，访问 httpd 源，进行安装，全部都是本地环境进行下载，所以快，cdh 安装
剩余23页未读，继续阅读
资源评论
会发paper的学渣
- 粉丝: 137
- 资源: 7
