没有合适的资源？快使用搜索试试~ 我知道了~

文库首页大数据HadoopSpark01 基础解析.docx

Spark01 基础解析.docx

linux

apache

spark

需积分: 9 0 下载量 67 浏览量 2021-06-28 17:12:20 上传评论收藏 6.74MB DOCX 举报

温馨提示

试读

39页

Spark01 基础解析

资源推荐

资源详情

资源评论

第 1 章 Spark 概述

什么是 Spark

官网：http://spark.apache.org

Spark 是一种快速、通用、可扩展的大数据分析引擎，2009 年诞生于加

州大学伯克利分校 AMPLab，2010 年开源，2013 年 6 月成为 Apache 孵化项

目，2014 年 2 月成为 Apache 顶级项目。项目是用 Scala 进行编写。

目前，Spark 生态系统已经发展成为一个包含多个子项目的集合，其中

包含 SparkSQL 、 SparkStreaming 、 GraphX 、 MLib 、 SparkR 等子项目，

Spark 是基于内存计算的大数据并行计算框架。除了扩展了广泛使用的

MapReduce 计算模型，而且高效地支持更多计算模式，包括交互式查询和

流处理。Spark 适用于各种各样原先需要多种不同的分布式平台的场景，包

括批处理、迭代算法、交互式查询、流处理。通过在一个统一的框架下支持

这些不同的计算，Spark 使我们可以简单而低耗地把各种处理流程整合在一

起。而这样的组合，在实际的数据分析过程中是很有意义的。不仅如此，

Spark 的这种特性还大大减轻了原先需要对各种平台分别管理的负担。

大一统的软件栈，各个组件关系密切并且可以相互调用，这种设计有几

个好处：1、软件栈中所有的程序库和高级组件都可以从下层的改进中获益。

2、运行整个软件栈的代价变小了。不需要运行 5 到 10 套独立的软件系统

了，一个机构只需要运行一套软件系统即可。系统的部署、维护、测试、支

持等大大缩减。3、能够构建出无缝整合不同处理模型的应用。

Spark 的内置项目如下：

Spark Core：实现了 Spark 的基本功能，包含任务调度、内存管理、错

误恢复、与存储系统交互等模块。 Spark Core 中还包含了对弹性分布式数

据集(resilient distributed dataset，简称 RDD)的 API 定义。

Spark SQL ：是 Spark 用来操作结构化数据的程序包。通过 Spark

SQL，我们可以使用 SQL 或者 Apache Hive 版本的 SQL 方言(HQL)来查询

数据。Spark SQL 支持多种数据源，比如 Hive 表、Parquet 以及 JSON 等。

Spark Streaming：是 Spark 提供的对实时数据进行流式计算的组件。

提供了用来操作数据流的 API，并且与 Spark Core 中的 RDD API 高度对应。

Spark MLlib：提供常见的机器学习(ML)功能的程序库。包括分类、回

归、聚类、协同过滤等，还提供了模型评估、数据导入等额外的支持功能。

集群管理器：Spark 设计为可以高效地在一个计算节点到数千个计算节

点之间伸缩计算。为了实现这样的要求，同时获得最大灵活性， Spark 支持

在各种集群管理器(cluster manager) 上运行，包括 Hadoop YARN、Apache

Mesos，以及 Spark 自带的一个简易调度器，叫作独立调度器。

Spark 得到了众多大数据公司的支持，这些公司包括

Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、

京东、携程、优酷土豆。当前百度的 Spark 已应用于凤巢、大搜索、直达号、

百度大数据等业务；阿里利用 GraphX 构建了大规模的图计算和图挖掘系统，

实现了很多生产系统的推荐算法；腾讯 Spark 集群达到 8000 台的规模，是

当前已知的世界上最大的 Spark 集群。

Spark 特点

快

与 Hadoop 的 MapReduce 相比，Spark 基于内存的运算要快 100 倍以上，

基于硬盘的运算也要快 10 倍以上。Spark 实现了高效的 DAG 执行引擎，可

以通过基于内存来高效处理数据流。计算的中间结果是存在于内存中的。

易用

Spark 支持 Java、Python 和 Scala 的 API，还支持超过 80 种高级算法，

使用户可以快速构建不同的应用。而且 Spark 支持交互式的 Python 和 Scala

的 shell，可以非常方便地在这些 shell 中使用 Spark 集群来验证解决问题的

方法。

通用

Spark 提供了统一的解决方案。 Spark 可以用于批处理、交互式查询

（ SparkSQL ）、实时流处理（ SparkStreaming ）、机器学习（ Spark

MLlib）和图计算（GraphX）。这些不同类型的处理都可以在同一个应用中

剩余38页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

卟离居士

粉丝: 0
资源: 2

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

Spark01 基础解析.docx

Spark-内核源码解析.docx

SparkCore.docx

Spark基础解析.docx

01_Spark基础解析.docx

Spark与Hadoop大数据深度解析.docx

Spark内核解析.docx

大数据与人工智能-fy.docx

centos7.5分布式平台搭建.docx

大数据分析平台.docx

linux aarch64架构libreoffice安装包

（牛客网C++课程）Linux 高并发Web服务器项目实战（带定时检测代码）

Linux项目设计_媒体播放器(6818).rar

jdk-8u371-linux-x64.tar.gz

openssh-server离线安装包

VisualGDB 5.6 R9//支持VS2008-VS2022

centos 7.6版本 ISO镜像下载

linux下nginx离线安装包及相关依赖包（附教程）

tongweb7.0，windows和linux安装包

rufus-4.1.exe 版本 4.1 (2023.05.31)

银河麒麟系统硬盘分区挂载

docker-compose-linux-x86-64

Linux Centos7 升级最新版OpenSSH-9.6p1 有脚本（支持离线）

GitKrakenSetup-6.5.1 版本，包括win和linux

RK3588开发资料（文档），509MB

Stable Diffusion WebUI linux部署问题

nginx依赖的环境安装包

银河麒麟V10_ARM版Qt5.12.8离线安装包（飞腾处理器）

FinalShell安装包，让用户通过SSH、Telnet或者RDP等协议连接到远程服务器或设备，实现远程控制和管理

用于升级CentOS7系统openssh-9.7p1的rpm包

最新资源