没有合适的资源?快使用搜索试试~ 我知道了~
基于CDH的spark集群搭建,包括了httpd等服务的部署过程
资源推荐
资源详情
资源评论
环境要求:
准备 3 台以上,64G 内存的机器
节点名称分别为
hadoop1
hadoop2
hadoop3
资源准备:
Cdh 和 cm 6.3.2 下载地址:https://learningfriend.cn:8081/test/cdh6/
Cdh 和 cm 6.3.1 下载地址:https://pan.baidu.com/s/16VWfnKRSFHPuOTBEhDB9lw
提取码: 8vn7
系统 Centos7
cdh6.3.2
Mysql5.7
安装步骤介绍
免密登录
hdfs 和其他通信是通过 ssh,如果不配置,则每次心跳感应,需要你输入密码
关闭 selinux 和 swap
关闭 selinux(cdh 官方等都建议关闭它,它的作用是限制资源访问,比如给你的 impala 限制
了资源,由于 impala 用户权限低,查询就会很慢,失去了它的作用)
关闭 swap(避免交换内存,默认是开启,如果你内存不够,那么他就会先写到磁盘上,然
后释放的时候,会将磁盘中的内存,加载了内存中,如果磁盘中的消耗的资源大于内存,结
果就是宕机,关闭后,相当于是一种保护策略)
httpd 安装与 yum.repo 配置(含 cdh 服务安装)
通过本地 yum,访问 httpd 源,进行安装,全部都是本地环境进行下载,所以快,cdh 安装
自定义源也是 httpd,这一步也会对 cdh 进行安装,包含关闭防火墙,关闭后,所有端口都
可以访问,就可以通过我的 windows 访问服务端的 httpd,cdh 页面,服务端也能访问 mysql
hostname、network、host 同步
不配置的话,在 cdh 页面安装时会出现 agent 心跳接收不到,而且 hosts 必须是 faq 写法(就
是 ip 域名 别名),如果域名和别名名字不一样,会出现警告
mysql 安装与 scm 脚本执行
这步会提前创建好,各个大数据组件的 mysql 库,并且会执行 scm 脚本,检测方式是,如果
成功,启动 cm-server 后,则会在 scm 库下出现各种 cdh 的日志监控表,这个成功了,才能
通过 7180 接口,进入到 cdh 界面
cdh 启动
启动 cm-server 还有 cm-agent
页面组件安装
如果上面步骤都成功了,则可以进入可视化的网页进行部署了
开始安装
免密登录
账户 root
通过 ssh 生成密钥(所有节点)
ssh-keygen
遇到提示全部按 enter
发送密钥到其他节点
在 hadoop1(主节点) 执行,他问你问题,你就 yes,过程中需要输入其他节点的密码
ssh-copy-id 192.168.30.102
ssh-copy-id 192.168.30.103
这样从 hadoop1 通过 ssh 到 hadoop2 和 hadoop3 就不需要密码
同样在 hadoop2 执行
ssh-copy-id 192.168.30.101
ssh-copy-id 192.168.30.103
在 hadoop3 执行
ssh-copy-id 192.168.30.101
ssh-copy-id 192.168.30.102
关闭 selinux 和 swap(所有节点)
关闭 selinux
先临时关闭
setenforce 0
在永久关闭
vi /etc/selinux/config
修改 SELINUX 为 disabled,并且注释掉之前的 enforcing
这里我自己编写了同步脚本(ssync,作用就是将文件,复制到其他节点),他是依赖于 rsync
ssync
ssync说明.txt
关闭 swap(所有节点)
临时关闭
swapoff -a
永久关闭
vi /etc/fstab
注释掉 swap 这一行
登录到其他节点,执行临时关闭,并注释掉这一行(不能使用同步脚本,因为每个节点的 uuid
剩余23页未读,继续阅读
资源评论
会发paper的学渣
- 粉丝: 160
- 资源: 7
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功