没有合适的资源?快使用搜索试试~ 我知道了~
DockerSpark245:带有示例培训Jupyter笔记本的Docker容器中的Spark集群
共32个文件
trashinfo:6个
csv:6个
dockerfile:5个
需积分: 9 0 下载量 16 浏览量
2021-03-12
17:01:51
上传
评论
收藏 282KB ZIP 举报
温馨提示
Docker集群中的Spark和Kafka 此构建基于以下文章: : 由编写,然后进行了调整和扩展以包括Spark Streaming和PySpark兼容性。 两个节点的群集和一个spark主节点被构建为Docker映像以及单独的JupyterLab环境。 每个服务器都在单独的容器中运行,并共享一个网络和共享的文件系统。 Spark和Hadoop配置和发布信息 Spark版本2.4.5用于确保与PySpark和Kafka的兼容性,并启用与PySpark兼容的Spark流。 Hadoop版本是2.7 这些是在build.sh脚本的开头设置的,并作为环境变量传递到每个Docker构建阶段。 Apache Spark在独立模式下运行,并控制其自己的主节点和工作节点,而不是由Yarn管理它们。 带有Apache Hadoop支持的Apache Spark用于允许集群使用在docker-
资源推荐
资源详情
资源评论
收起资源包目录
DockerSpark245-master.zip (32个子文件)
DockerSpark245-master
.gitignore 57B
images
WindowsDockerFileshare.png 56KB
DockerDesktopResources.png 45KB
cluster.png 29KB
master-jobs.png 144KB
cluster-base.Dockerfile 536B
spark-defaults.conf 134B
spark-master.Dockerfile 485B
docker-compose.yml 1KB
jupyterlab.Dockerfile 586B
notebooks
spark_tutor2.ipynb 11KB
spark-tutor3-scala-dataset.ipynb 3KB
spark_tutor1.ipynb 2KB
data_download.ipynb 2KB
.Trash-0
info
2015-summary.csv.trashinfo 68B
2010-summary.csv.trashinfo 68B
2014-summary.csv.trashinfo 68B
2011-summary.csv.trashinfo 68B
2012-summary.csv.trashinfo 68B
2013-summary.csv.trashinfo 68B
files
2015-summary.csv 7KB
2011-summary.csv 7KB
2012-summary.csv 7KB
2014-summary.csv 7KB
2013-summary.csv 7KB
2010-summary.csv 7KB
jobs
spark-submit.sh 414B
pi.py 1KB
spark-base.Dockerfile 727B
README.md 9KB
build.sh 631B
spark-worker.Dockerfile 335B
共 32 条
- 1
资源评论
汪纪霞
- 粉丝: 42
- 资源: 4699
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 光储并网VSG系统Matlab simulink仿真模型,附参考文献 系统前级直流部分包括光伏阵列、变器、储能系统和双向dcdc变器,后级交流子系统包括逆变器LC滤波器,交流负载 光储并网VSG系
- file_241223_024438_84523.pdf
- 质子交膜燃料电池PEMFC Matlab simulink滑模控制模型,过氧比控制,温度控制,阴,阳极气压控制
- IMG20241223015444.jpg
- 模块化多电平变器(MMC),本模型为三相MMC整流器 控制策略:双闭环控制、桥臂电压均衡控制、模块电压均衡控制、环流抑制控制策略、载波移相调制,可供参考学习使用,默认发2020b版本及以上
- Delphi 12 控件之FlashAV FFMPEG VCL Player For Delphi v7.0 for D10-D11 Full Source.7z
- Delphi 12 控件之DevExpressVCLProducts-24.2.3.exe.zip
- Mysql配置文件优化内容 my.cnf
- 中国地级市CO2排放数据(2000-2023年).zip
- smart200光栅报警程序
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功