java连接sqoop源码-Spark-on-Docker:关于如何在Docker上运行ApacheSpark的教程

java连接sqoop源码 Docker 上的火花 这是一个关于如何使用 Docker 使用 Apache Spark 设置可扩展集群的示例教程。 目前，这个项目可以可靠地支持多达 3 个 worker，超过这个集群有点不稳定，即 worker 成功创建并连接到 master，但 spark 工作可能会挂起。 无论如何，3 是大多数学生要求的一个不错的数字。 随着我的进步，我会继续更新。 docker-compose.yml 引用了两个重要的属性，即端口和暴露： 提到的端口将在 docker-compose 启动的不同服务之间共享。 端口将暴露给主机到随机端口或给定端口。 激活容器以侦听来自 docker 外部世界的指定端口（可以是同一主机或不同机器）以及 docker 内部可访问的世界。 公开基本上是“公开”端口而不将它们发布到主机——它们只能被链接的服务访问。 只能指定内部端口。 激活容器以仅从 docker 内部的世界和无法访问的 docker 外部世界侦听特定端口。 Spark Master 是一个从工作器协调资源分配的应用程序。 Master 不执行任何计算。 Master