火花
这是在单个节点上运行的spark / hdfs集群的开始。
根据工作
使用 :
docker-compose up
SparkUI将在http://${YOUR_DOCKER_HOST}:8080 ,列出了一个工作http://${YOUR_DOCKER_HOST}:8080 。 要将spark-shell ,exec运行到容器中:
docker exec -it dockerspark_master_1 /bin/bash
/usr/spark/bin/spark-shell --master spark://master:7077
要将SparkPi ,exec运行到容器中:
docker exec -it dockerspark_master_1 /bin/bash
MASTER=spark://master:7077 /usr/spark/bin/run-examp