没有合适的资源?快使用搜索试试~ 我知道了~
Spark实验报告 (2).docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 36 浏览量
2022-11-27
22:51:28
上传
评论
收藏 1.79MB DOCX 举报
温馨提示
试读
12页
Spark实验报告 (2).docxSpark实验报告 (2).docx
资源推荐
资源详情
资源评论
Spark 报
告
金航
1510122526
精选文档
Spark 实验报告
环境搭建
一、
1、下 载 scala2.11.4版本 下载地址为:http://www.scala-lang.org/download/2.11.4.html
2、解压和安装:
3、编辑 ~/.bash_profil文e 件 增加 SCALA_HOME
环境变量配置,
export JAVA_HOME=/home/spark/opt/java/jdk1.6.0_37
export
CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.j
ar
export SCALA_HOME=/home/spark/opt/scala-2.11.4
export HADOOP_HOME=/home/spark/opt/hadoop-2.6.0
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:${SCALA_HOME}/bin
立即生效 source ~/.bash_profile
5、copy 到 slave机器 scp ~/[email protected]:~/.bash_profile
6、下载 spark,wget
http://d3kbcqa49mib13.cloudfront.net/spark-1.2.0-bin-hadoop2.4.tgz
7、在 master主机配置 spark :
export JAVA_HOME=/home/spark/opt/java/jdk1.6.0_37
export
CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
export SCALA_HOME=/home/spark/opt/scala-2.11.4
export HADOOP_HOME=/home/spark/opt/hadoop-2.6.0
export SPARK_HOME=/home/spark/opt/spark-1.2.0-bin-hadoop2.4
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:${SCALA_HOME}/bin:${SPARK_HO
ME}/bin:${HADOOP_HOME}/bin
配置完成后使用 source命令使配置生效
—
2
精选文档
进入 spark conf目录:
[spark@S1PA11 opt]$ cd spark-1.2.0-bin-hadoop2.4/
[spark@S1PA11 spark-1.2.0-bin-hadoop2.4]$ ls
[spark@S1PA11 spark-1.2.0-bin-hadoop2.4]$ cd conf/
[spark@S1PA11 conf]$ ls
fairscheduler.xml.templatemetrics.properties.templatselaves.template
spark-env.sh
spark-defaults.conf.template
second:配置 spark-env.sh
首先把 spark-env.sh.template copy spark-env.sh
vi spark-env.s文h 件 在最下面增加:
export JAVA_HOME=/home/spark/opt/java/jdk1.6.0_37
export SCALA_HOME=/home/spark/opt/scala-2.11.4
export SPARK_MASTER_IP=10.58.44.47
export SPARK_WORKER_MEMORY=2g
主机 IP地址,
[spark@S1PA11 sbin]$ ./start-all.sh
查看:
[spark@S1PA11 sbin]$ jps
31233 ResourceManager
27201 Jps
30733 SecondaryNameNode
—
3
剩余11页未读,继续阅读
资源评论
不吃鸳鸯锅
- 粉丝: 8299
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功