Spark集群环境搭建
89 浏览量
2023-06-15
17:20:37
上传
评论
收藏 355KB PDF 举报
一、集群规划
二、前置条件
三、Spark集群搭建
3.1 下载解压
3.2 配置环境变量
3.3 集群配置
3.4 安装包分发
四、启动集群
4.1 启动ZooKeeper集群
4.2 启动Hadoop集群
4.3 启动Spark集群
4.4 查看服务
五、验证集群高可用
六、提交作业
基于ZooKeeper搭建Spark高可用集群
一、集群规划
这里搭建一个 3 节点的 Spark 集群，其中三台主机上均部署 Worker 服务。同时为了保证高可用，除了
在 hadoop001 上部署主 Master 服务外，还在 hadoop002 和 hadoop003 上分别部署备用的
Master 服务，Master 服务由 Zookeeper 集群进行协调管理，如果主 Master 不可用，则备用
Master 会成为新的主 Master 。
二、前置条件
搭建 Spark 集群前，需要保证 JDK 环境、Zookeeper 集群和 Hadoop 集群已经搭建，相关步骤可以参
阅：
Linux 环境下 JDK 安装
Zookeeper 单机环境和集群环境搭建
资源评论
