centOS7下Spark安装配置教程详解
173 浏览量
2020-09-15
03:20:26
上传
评论 2
收藏 79KB PDF 举报
centOS7下下Spark安装配置教程详解安装配置教程详解
主要介绍了centOS7下Spark安装配置教程详解,非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下
环境说明：环境说明：
操作系统： centos7 64位 3台
centos7-1 192.168.190.130 master
centos7-2 192.168.190.129 slave1
centos7-3 192.168.190.131 slave2
安装spark需要同时安装如下内容：
jdk scale
1.安装jdk，配置jdk环境变量
这里不讲如何安装配置jdk，自行百度。
2.安装scala
下载scala安装包，https://www.scala-lang.org/download/选择符合要求的版本进行下载，使用客户端工具上传到服务器上。
解压：
#tar -zxvf scala-2.13.0-M4.tgz
再次修改/etc/profile文件，添加如下内容：
export SCALA_HOME=$WORK_SPACE/scala-2.13.0-M4
export PATH=$PATH:$SCALA_HOME/bin
#source /etc/profile // 让其立即生效
#scala -version //查看scala是否安装完成
3.安装安装spark
spark下载地址：http://spark.apache.org/downloads.html
说明：有不同的版本包下载，选则你需要的下载安装即可
Source code: Spark 源码，需要编译才能使用，另外 Scala 2.11 需要使用源码编译才可使用
Pre-build with user-provided Hadoop: “Hadoop free” 版，可应用到任意 Hadoop 版本
Pre-build for Hadoop 2.7 and later: 基于 Hadoop 2.7 的预先编译版，需要与本机安装的 Hadoop 版本对应。可选的还有
Hadoop 2.6。我这里因为装的hadoop是3.1.0，所以直接安装for hadoop 2.7 and later的版本。
注：hadoop的安装请查看我的上一篇博客，不在重复描述。
centOS7下Spark安装配置
#mkdir spark
#cd /usr/spark
#tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz
#vim /etc/profile
资源评论
