Spark、Hadoop大数据平台搭建.pdf

Spark、Hadoop⼤数据平台搭建 下载安装包 Spark 分布式计算 ，安装包⼤⼩：220M ⽀持Hadoop 2.7以后的版本 Scala Scala环境，Spark的开发语⾔ ，安装包⼤⼩：20M Hadoop 分布式存储（计算） ，安装包⼤⼩：209M Java Java环境 ，安装包⼤⼩：187M ZooKeeper 注册中⼼ ，安装包⼤⼩：36M 配置 ⾸先需要配置环境变量 环境变量 打开并编辑 ~/.bashrc ⽂件，在末尾添加以下内容： # java JAVA_HOME=/opt/jdk1.8.0_192 export PATH=$PATH:$JAVA_HOME/bin # hadoop HADOOP_HOME=/opt/hadoop-2.7.7 export PATH=$PATH:$HADOOP_HOME/bin # zookeeper ZOOKEEPER_HOME=/opt/zookeeper-3.4.13 export PATH=$PATH:$ZOOKEEPER_HOME/bin # scala SCALA_HOME=/opt/scala-2.12.8 export PATH=$PATH:$SCALA_HOME/bin # spark SPARK_HOME=/opt/spark-2.3.2-bin-hadoop2.7 export PATH=$PATH:$SPARK_HOME/bin Host 这⾥需要设置Host，⼀个是Hadoop的Name-Node、Data-Node，⼀个spark的Master、Worker。 # hadoop 192.168.1.151 name-node 192.168.1.155 data-node-sa 192.168.1.156 data-node-sb 192.168.1.157 data-node-sc spark conf/slaves worker-sa worker-sb worker-sc 待补充 。。。 hadoop etc/hadoop/slaves data-node-sa data-node-sb data-node-sc Python3安装 安装pyspark cd /opt/spark-2.3.2-bin-hadoop2.7/python && python36 setup.py install 安装numpy pip3 install numpy -i https://pypi.mirrors.ustc.edu.cn/simple/ --trusted-host pypi.mirrors.ustc.edu.cn 启动&停⽌ hadoop sbin/start-all.sh sbin/stop-all.sh spark sbin/start-all.sh sbin/stop-all.sh 执⾏任务 提交任务 spark-submit --master spark://name-node:7077 --executor-memory 512m --total-executor-cores 2 client.py ⼏个管理页 Spark Hadoop 测试数据