没有合适的资源?快使用搜索试试~ 我知道了~
spark-optimization:Rock with Scala的Rock the JVM Spark Optimizati...
共49个文件
scala:23个
json:6个
sh:6个
需积分: 9 0 下载量 13 浏览量
2021-05-09
17:01:48
上传
评论
收藏 1.05MB ZIP 举报
温馨提示
Rock with Scala的Rock the JVM Spark Optimization官方库 由 该存储库包含我们在课程期间编写的代码。 除非明确提及,否则此存储库中的代码就是在相机上捕获的代码。 安装和设置 安装 安装 克隆仓库或以zip格式下载 与IntelliJ一起作为SBT项目打开 当您打开项目时,IDE将注意下载并应用适当的库依赖项。 要设置我们将在本课程中使用的Docker化Spark集群,请执行以下操作: 打开一个终端并导航到spark-cluster 运行build-images.sh (如果没有bash终端,只需打开文件并逐行运行每一行) 运行docker-compose up 为了与Spark集群进行交互, spark-cluster文件夹中的文件夹data和apps分别安装在Docker容器的/opt/spark-data和/opt/spark-
资源推荐
资源详情
资源评论
收起资源包目录
spark-optimization-master.zip (49个子文件)
spark-optimization-master
docker-clean.sh 41B
spark-cluster
build-images.sh 242B
docker
spark-master
Dockerfile 317B
start-master.sh 438B
base
Dockerfile 2KB
spark-worker
Dockerfile 211B
start-worker.sh 346B
spark-submit
Dockerfile 308B
spark-submit.sh 254B
docker-compose.yml 626B
env
spark-worker.sh 262B
README.md 8KB
src
META-INF
MANIFEST.MF 4KB
main
resources
data
guitarPlayers
guitarPlayers.json 215B
bands
bands.json 249B
lipsum
words.txt 1KB
guitars
guitars.json 340B
cars
cars.json 73KB
flights
flights.json 8.15MB
movies
movies.json 1.22MB
employees_headers
employees_headers.csv 3KB
employees
employees.csv 3KB
scala
part3dfjoins
Bucketing.scala 7KB
SkewedJoins.scala 4KB
PrePartitioning.scala 6KB
ColumnPruning.scala 6KB
JoinsRecap.scala 2KB
BroadcastJoins.scala 1KB
part2foundations
ReadingQueryPlans.scala 4KB
TestDeployApp.scala 1KB
SparkAPIs.scala 5KB
SparkJobAnatomy.scala 2KB
ReadingDAGs.scala 2KB
part5rddtransformations
ByKeyFunctions.scala 4KB
I2ITransformations.scala 4KB
ReusingObjects.scala 5KB
generator
LaptopsDomain.scala 249B
DataGenerator.scala 8KB
part4rddjoins
RDDBroadcastJoins.scala 2KB
SimpleRDDJoins.scala 3KB
RDDSkewedJoins.scala 3KB
CogroupingRDDs.scala 2KB
part1recap
SparkRecap.scala 2KB
ScalaRecap.scala 2KB
playground
Playground.scala 830B
build.sbt 635B
.gitignore 4KB
project
build.properties 20B
README.md 3KB
共 49 条
- 1
资源评论
chsqi
- 粉丝: 19
- 资源: 4655
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功