Spark的安装（Standalone模式，高可用模式，基于Yarn模式）_spark的完全分布式搭建需要先搭建好Scala吗资源-CSDN文库

87 浏览量 2021-01-20 12:47:00 上传评论 1 收藏 300KB PDF 举报

资源详情

资源评论

资源推荐

Spark的安装（的安装（Standalone模式，高可用模式，基于模式，高可用模式，基于Yarn模式）模式）

目录目录

spark的Standalone模式安装

一、安装流程

1、将spark-2.2.0-bin-hadoop2.7.tgz 上传到 /usr/local/spark/ 下，然后解压

2、进入到conf中修改名字改为 .sh 结尾的

3、编辑 spark-env.sh

4、修改slaves 的名字并且编辑他

5、发送到其他两台虚拟机上

6、修改ect/proflie下面的配置环境

7、到spark的sbin目录下修改启动命令

8、启动之后的jps数目

二、检测是否安装成功

1、进谷歌浏览器看看（端口号是8080 和tomcat端口号是一样的，注意后期一块启动的冲突问题）

2、按装完之后执行Spark程序进行迭代计算Spark上的PI示例

三、进入spark的shell界面操作算子

Spark高可用（先启动zookeeper再启动spark）

一、安装流程

二、高可用安装注意事项

1、先把Standalone模式注释掉

2、在后面添加配置注意其中的间隔

3. 在node1节点上修改slaves配置文件内容指定worker节点

4.把配置好的spark 拷贝到其他节点

5.在node1上执行sbin/start-all.sh脚本，然后在node2上执行sbin/start-master.sh启动第二个Master。

三、spark高可用启动

四、高可用模式提交任务：

Spark基于yarn调度的模式 Spark on yarn

一、Yarn集群模式安装流程：

1、需要的配置项三台都需要配

2、配置好hadoop环境变量

3.在hadoop的yarn-site中添加如下配置三台都需要配

二、通过往spark集群上运行jar包，测试安装效果，看是否安装成功

2.1、spark-shell –master yarn-client 进yarn spark shell界面的

2.2、测试基于yarn模式能否在集群上计算π

2.3、基于yarn的两种模式（client模式和cluster模式）

三、进入shell界面操作算子

spark的的Standalone模式安装模式安装

一、一、安装流程安装流程

1、将、将spark-2.2.0-bin-hadoop2.7.tgz 上传到上传到 /usr/local/spark/ 下，然后解压下，然后解压

-C 是用大写C解压到指定目录

2、进入到、进入到conf中修改名字中修改名字改为改为 .sh 结尾的结尾的

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余4页未读，立即下载

评论0

内容反馈

weixin_38635449

粉丝: 5
资源: 971

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip