Spark集群配置1
需积分: 0 145 浏览量
2022-08-08
21:32:42
上传
评论
收藏 1.99MB DOCX 举报
Spark 配置
1.所需环境：
1. Ubuntu
2. Hadoop
3. Scala 下载地址：http://www.scala-lang.org/download/2.10.4.html
4. JDK
5. ssh
2.前期准备工作
确保 spark 集群中所有机器能够互相访问，都在同一个网段内，直接修改六台机器的 hosts
文件
sudo gedit /etc/hosts
实际 IP 根据实际情况修改（第二列要与下面所述的 slaves 文件相同）
3.修改环境变量
修 改 环 境 变 量 打 开 终 端 输 入 命 令 sudo gedit /etc/profile 添 加
JDK,HADOOP,SCALA,SPARK 环境变量进去
export JAVA_HOME=/usr/java/jdk
export HADOOP_HOME=/opt/Hadoop
export SPARK_HOME=/usr/spark
export SCALA_HOME=/usr/scala-2.11.4
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export
评论0