没有合适的资源？快使用搜索试试~ 我知道了~

文库首页大数据spark基于CDH的spark集群搭建

基于CDH的spark集群搭建

spark

需积分: 10 0 下载量 46 浏览量 2022-09-15 19:06:12 上传评论收藏 2.71MB DOCX 举报

温馨提示

试读

24页

基于CDH的spark集群搭建，包括了httpd等服务的部署过程

资源推荐

资源详情

资源评论

环境要求:

准备 3 台以上，64G 内存的机器

节点名称分别为

hadoop1

hadoop2

hadoop3

资源准备:

Cdh 和 cm 6.3.2 下载地址:https://learningfriend.cn:8081/test/cdh6/

Cdh 和 cm 6.3.1 下载地址：https://pan.baidu.com/s/16VWfnKRSFHPuOTBEhDB9lw

提取码: 8vn7

系统 Centos7

cdh6.3.2

Mysql5.7

安装步骤介绍

免密登录

hdfs 和其他通信是通过 ssh，如果不配置，则每次心跳感应，需要你输入密码

关闭 selinux 和 swap

关闭 selinux(cdh 官方等都建议关闭它，它的作用是限制资源访问，比如给你的 impala 限制

了资源，由于 impala 用户权限低，查询就会很慢，失去了它的作用）

关闭 swap（避免交换内存，默认是开启，如果你内存不够，那么他就会先写到磁盘上，然

后释放的时候，会将磁盘中的内存，加载了内存中，如果磁盘中的消耗的资源大于内存，结

果就是宕机，关闭后，相当于是一种保护策略）

httpd 安装与 yum.repo 配置(含 cdh 服务安装）

通过本地 yum，访问 httpd 源，进行安装，全部都是本地环境进行下载，所以快，cdh 安装

自定义源也是 httpd，这一步也会对 cdh 进行安装，包含关闭防火墙，关闭后，所有端口都

可以访问，就可以通过我的 windows 访问服务端的 httpd，cdh 页面，服务端也能访问 mysql

hostname、network、host 同步

不配置的话，在 cdh 页面安装时会出现 agent 心跳接收不到，而且 hosts 必须是 faq 写法（就

是 ip 域名别名)，如果域名和别名名字不一样，会出现警告

mysql 安装与 scm 脚本执行

这步会提前创建好，各个大数据组件的 mysql 库，并且会执行 scm 脚本，检测方式是，如果

成功，启动 cm-server 后，则会在 scm 库下出现各种 cdh 的日志监控表，这个成功了，才能

通过 7180 接口，进入到 cdh 界面

cdh 启动

启动 cm-server 还有 cm-agent

页面组件安装

如果上面步骤都成功了，则可以进入可视化的网页进行部署了

开始安装

免密登录

账户 root

通过 ssh 生成密钥（所有节点)

ssh-keygen

遇到提示全部按 enter

发送密钥到其他节点

在 hadoop1（主节点）执行，他问你问题，你就 yes，过程中需要输入其他节点的密码

ssh-copy-id 192.168.30.102

ssh-copy-id 192.168.30.103

这样从 hadoop1 通过 ssh 到 hadoop2 和 hadoop3 就不需要密码

同样在 hadoop2 执行

ssh-copy-id 192.168.30.101

ssh-copy-id 192.168.30.103

在 hadoop3 执行

ssh-copy-id 192.168.30.101

ssh-copy-id 192.168.30.102

关闭 selinux 和 swap（所有节点）

关闭 selinux

先临时关闭

setenforce 0

在永久关闭

vi /etc/selinux/config

修改 SELINUX 为 disabled,并且注释掉之前的 enforcing

这里我自己编写了同步脚本(ssync，作用就是将文件，复制到其他节点),他是依赖于 rsync

ssync

ssync说明.txt

关闭 swap（所有节点）

临时关闭

swapoff -a

永久关闭

vi /etc/fstab

注释掉 swap 这一行

登录到其他节点，执行临时关闭，并注释掉这一行（不能使用同步脚本，因为每个节点的 uuid

剩余23页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

会发paper的学渣

粉丝: 163
资源: 7

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

基于CDH的spark集群搭建

cdh5.5.4 集群搭建 【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】

基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优

CDH集群搭建手册

CDH5.11集群搭建文档

spark-3.2.2-bin-3.0.0-cdh6.3.2

spark集群搭建

spark 分布式集群搭建

Linux上CentOS 7 安装CDH 5.12.1进行集群搭建

CDH搭建Hadoop集群

Spark 搭建

CM_CDH大数据集群搭建总结.zip

企业级大数据平台CDH详细搭建过程

基于Spark的电商用户分析系统-开题报告.pdf

CDH-5.10.2集群的搭建.pdf

CDH安装手册.rar_cdH_hadoop_hadoop安装手册_大数据_安装部署

CDH集群史无前例详细版搭建方式

CDH大数据集群搭建(2019-12-20).docx

适配CDH6.3.2的Spark3.2.2

ubuntu完全分布式搭建CDH集群（Cloudera Manager）

基于cdh5.7.5集群的solr(4.10.3-cdh5.7.5)+hbase(1.2.0-cdh5.7.5)构建二级索引方案

spark集群搭建超详细

3.环境搭建-Hadoop（CDH）集群搭建-附件资源

(word完整版)windows下非submit-方式运行spark-on-yarn(CDH集群).doc

整套大数据搭建配置文件

基于AWS和CDH的大数据处理平台企业级架构的研究.pdf

CDH搭建hadoop环境文档指南

基于Spark的电商用户分析系统-开题报告.docx

最新资源

cdh5.5.4 集群搭建【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】