spark安装

### Spark安装与开发环境搭建详解 #### 概述 随着大数据技术的发展，Apache Spark作为一款高性能的数据处理框架，被广泛应用于各种数据处理场景之中。本文将详细介绍如何在本地环境中搭建Spark开发环境，并通过一个简单的WordCount示例来验证环境是否搭建成功。 #### 相关软件与环境配置 在开始之前，我们需要准备以下软件： - **操作系统**：推荐使用Ubuntu（也可使用Windows，但本指南以Ubuntu为例）。 - **运行环境**： - **JDK**：版本为1.8.0_25。 - **Scala**：版本为2.10.4。 - **Spark**：版本为1.3.1，附带Hadoop 2.6。 - **构建工具**：Apache Maven 3.1.1。 - **开发工具**：ScalaIDE 或 IntelliJ IDEA 14.15。 #### Spark单机环境搭建步骤 ##### 下载相关软件 确保已经下载了所有必需的软件包。以下是各个软件的下载链接： - **JDK**：[Oracle JDK 8](http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html) - **Scala**：[Scala 2.10.4](http://www.scala-lang.org/download/2.10.4.html) - **Spark**：[Spark 1.3.1](http://www.apache.org/dyn/closer.lua/spark/spark-1.3.1/spark-1.3.1-bin-hadoop2.6.tgz) - **Maven**：[Apache Maven 3.1.1](http://maven.apache.org/download.cgi) - **ScalaIDE**：[ScalaIDE SDK](http://scala-ide.org/download/sdk.html) - **IntelliJ IDEA**：[IntelliJ IDEA Download](https://www.jetbrains.com/idea/download/download-thanks.html?platform=windows) 假设您的下载路径为`/home/dev/Downloads`，安装路径为`/devtools`。 ##### 安装JDK 1. 将下载的JDK压缩包解压至指定目录（例如`/devtools/jdk1.8.0_25`）。 2. 编辑`/etc/profile`文件，添加以下环境变量设置： ```bash export JAVA_HOME=/devtools/jdk1.8.0_25 export PATH=$JAVA_HOME/bin:$PATH ``` 3. 执行`source /etc/profile`使设置生效。 ##### 安装Scala 1. 进入安装目录`/devtools`并创建Scala文件夹。 2. 解压Scala压缩包至Scala文件夹中。 3. 修改`/etc/profile`文件，添加Scala环境变量： ```bash export SCALA_HOME=/devtools/scala/scala-2.10.4 export PATH=$SCALA_HOME/bin:$PATH ``` 4. 重启终端或执行`source /etc/profile`以更新环境变量。 ##### 安装Spark 1. 解压Spark压缩包至指定目录（例如`/devtools/spark/spark-1.3.1-bin-hadoop2.6`）。 2. 修改`/etc/profile`文件，添加Spark环境变量： ```bash export SPARK_HOME=/devtools/spark/spark-1.3.1-bin-hadoop2.6 export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH ``` 3. 启动Spark Master服务： ```bash cd $SPARK_HOME ./sbin/start-master.sh ``` 4. 在浏览器中访问`http://localhost:8080/`以确认Master服务已启动。 5. 运行官方示例程序验证安装： ```bash ./bin/run-example SparkPi 10 ``` 查看输出结果中是否包含`Pi is roughly 3.142316`。 ##### 停止Spark服务 当不再需要Spark服务时，可执行以下命令停止Master服务： ```bash ./sbin/stop-master.sh ``` #### Spark开发环境搭建 本部分将介绍如何在Windows和Linux环境下搭建Spark开发环境。这里我们以Linux环境下的ScalaIDE为例。 ##### 配置IDEA 1. **安装JDK**：如前所述，确保已经正确安装并设置了JAVA_HOME环境变量。 2. **安装Maven**：下载并解压Maven至指定目录（例如`D:\dev-tools\apache-maven-3.1.1`），并修改`conf/settings.xml`文件，指定本地仓库位置和镜像地址等。 3. **安装ScalaIDE**：在Eclipse中安装ScalaIDE插件，或直接下载ScalaIDE SDK并导入项目。 ##### 创建Spark项目 1. 在ScalaIDE或IntelliJ IDEA中新建Scala项目。 2. 添加Maven依赖，引入Spark相关的库。 3. 编写WordCount示例代码并运行，验证开发环境。 #### 总结 本文详细介绍了如何在本地环境中搭建Spark开发环境，包括JDK、Scala、Spark以及构建工具Maven的安装配置。通过一个简单的WordCount示例验证了环境搭建的正确性。这些步骤适用于初学者快速上手Spark开发，同时也为更高级的应用开发奠定了坚实的基础。