spark编译部署和sparkbench编译

Spark 编译部署和 SparkBench 编译 Spark 编译部署和 SparkBench 编译是 Spark 单节点部署的超详细步骤，以及 SparkBench 编译的步骤。该文档可以用于 Spark 调优。 一、安装 JDK 在开始安装 Spark 之前，需要安装 JDK7.0 以上版本。可以通过以下命令查看是否安装了 JDK： `#java -version` 如果没有安装 JDK，在 Ubuntu 上可以直接通过以下命令安装： `#sudo apt-get install openjdk-7-jdk` 默认安装目录为 `/usr/lib/jvm/java-7-openjdk-ppc64el`。然后，需要设置环境变量： `#sudo vim /etc/profile` `export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-ppc64el` `export PATH=$JAVA_HOME/bin:$PATH` `#source /etc/profile` 二、安装 Maven 安装 Maven 需要两种方式： （1）在 Ubuntu 上，可以使用 apt-get install maven 来安装，但是版本可能太低，会导致一些错误。 （2）建议在 Maven 官网下载 Maven 源码进行安装。 A. 确保 JAVA_HOME 环境变量被设置，安装了 JDK。 B. 将下载的 Maven 源码包解压后，将 bin 增加到环境变量中，例如： `#sudo vim /etc/profile` `export MAVEN_HOME=/opt/apache-maven-3.3.9` `export PATH=$MAVEN_HOME/bin:$PATH` `#source /etc/profile` C. 输入命令：`mvn -v`，能显示 Maven 相关信息，就成功安装 Maven。 三、安装 Scala 安装 Scala 需要到 Scala 官网下载对应版本的 Scala，如 `scala-2.10.5.tgz`： `#tar -zxvf scala-2.10.5.tgz` 增加 Scala 路径到环境变量中，如： `#sudo vim /etc/profile` `export SCALA_HOME=/usr/local/scala-2.10.5` `export PATH=$SCALA_HOME/bin:$PATH` `#source /etc/profile` 四、编译 Spark 源码 下载 Spark 源码，如 `spark-1.5.0.tgz`： `#tar -zxvf spark-1.5.0.tar` `#cd spark-1.5.0` `#./build/mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0 -DskipTests clean package` `#./make-distribution.sh --name custom-spark --tgz -Phadoop-2.6 -Pyarn` 然后，在 `spark-1.5.0` 目录下可以看到 `spark-1.5.0-bin-custom-spark.tgz`，这是我们编译好的 Spark，相当于我们直接在官网下载的预编译版本。 五、设置 SSH 无密码登录 `#sudo apt-get install openssh-server` `#ssh localhost` `#exit` `#cd ~/.ssh` `#ssh-keygen -t rsa` `#cat id_rsa.pub >> authorized_keys` `#ssh localhost` 六、部署 Hadoop Hadoop 是 Spark 的依赖项，需要下载与 Spark 编译或预编译版本对应的 Hadoop 版本，下载网址为： `https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/` 选择合适的 Hadoop 版本下载。 配置 Hadoop 的环境变量： `#sudo vim /etc/profile` `export HADOOP_HOME=/usr/local/hadoop-2.6.0` `export PATH=$PATH:$HADOOP_HOME/bin` `#source /etc/profile` SparkBench 是一个性能测试框架，用于测试 Spark 的性能。它提供了一些标准的测试用例，可以帮助开发者快速评估 Spark 的性能。SparkBench 编译需要安装好 Maven 和 Scala，编译步骤与上述 Spark 编译步骤相似。