Spark Standalone 单机版部署
需积分: 50 16 浏览量
2015-10-17
21:35:23
上传
评论 1
收藏 277KB DOC 举报
Spark 单机版部署
官 方 文 档 ： （ https://spark.apache.org/docs/latest/spark-
standalone.html）
关于 spark 单机版部署，网上有很多教程，试了那么多没有一个成功的！
也正应了老师说的那句话，网上的教程都是错的。只有自己试过，才知道对与
不对。所以网上的部署教程只能作为参考，切不可死搬过来！下面就介绍一下
本人部署成功的步骤。
1.环境准备
操作系统要求：Ubuntu 或 Linux 或 Centos，具体系统安装步骤这里不再细
说。
1.1.安装 Oracle 版本的 JDK。
1.2.安装 maven。
1.3.安装 Scala。
2.机器要求
2.1.spark 单机版部署顾名思义就是一台机器就可以完成部署，当然如果你
要构成 spark 集群的话最好三台机器。我这里以三台机器为例，当然一台机器
也可以按照以下步骤进行部署，只不过省略集群部署以后的步骤！
2.2.三台机器上均创建用户：spark，创建完以后最好给 spark 用户 root 权
限。
2.3.三台机器修改主机名在这里我的是
Master.spark
Slave1.spark
Slave2.spark
2.4.配置三台机器实现 ssh 免登陆。
参 考 ： （ http://www.cnblogs.com/xia520pi/archive/
2012/05/16/2503949.html）
这篇文章是配置 hadoop 集群的，你只需要参考里面的 ssh 免登陆步骤就
行了。
3.安装 spark
评论0
最新资源