下载 >  云计算 >  微服务 > Apache Spark 内存管理详解

Apache Spark 内存管理详解

Spark 作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本 原理,有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络,抛砖引玉,引出读者对这个 话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本,阅读本文需要读者有一定的 Spark 和 Java 基础,了解 RDD、 Shuffle、JVM 等相关概念。 在执行 Spark 的应用程序时,Spark 集群会启动 Driver 和 Executor 两种 JVM 进程,前者为主控进程,负责创建 Spark 上下文, 提交 Spark 作业(Job),并将作业转化为计算任务(Task),在各个 Executor 进程间协调任务的调度,后者负责在工作节点上 执行具体的计算任务,并将结果返回给 Driver,同时为需要持久化的 RDD 提供存储功能。由于 Driver 的内存管理相对来说较 为简单,本文主要对 Executor 的内存管理进行分析,下文中的 Spark 内存均特指 Executor 的内存。
2018-04-16 上传大小:1.03MB
想读
分享
收藏 举报
大数据--Apache Spark编程详解

大数据--Apache Spark编程详解

立即下载
大数据--Apache Spark实用详解

大数据--Apache Spark实用详解

立即下载
Spark源码剖析

Apache Spark源码剖析,Apache Spark源码剖析,Apache Spark源码剖析

立即下载
Apache Spark源码剖析

Apache Spark 源码剖析 Apache Spark 源码剖析 Apache Spark 源码剖析

立即下载
spark安装步骤详解

spark安装步骤详解;spark安装步骤详解;spark安装步骤详解;spark安装步骤详解;spark安装步骤详解;spark安装步骤详解;spark安装步骤详解;spark安装步骤详解

立即下载
iOS内存管理

iOS内存管理详解内存管理详解内存管理详解内存管理详解。

立即下载
Apache Spark in 24 Hours,

Apache Spark in 24 Hours, Apache Spark in 24 Hours, Apache Spark in 24 Hours,

立即下载
C语言内存管理详解

C语言内存管理详解C语言内存管理详解C语言内存管理详解C语言内存管理详解C语言内存管理详解C语言内存管理详解C语言内存管理详解C语言内存管理详解

立即下载
Spark-内存管理.pdf

介绍Spark的内存管理

立即下载
OSTC2015-张安站-Spark技术内幕

主题:Spark技术内幕 演讲人:张安站,百度网页搜索部系统架构高级工程师 演讲介绍:解析Apache Spark Core的核心实现,包括但不限于任务调度,Shuffle过程详解等。

立即下载
Apache Spark 2.x Machine Learning Cookbook

Apache Spark 2.x Machine Learning Cookbook Apache Spark 2.x Machine Learning Cookbook

立即下载
Apache 的 httpd.conf 详解

Apache 的 httpd.conf 详解 Apache 的 httpd.conf 详解Apache 的 httpd.conf 详解Apache 的 httpd.conf 详解Apache 的 httpd.conf 详解Apache 的 httpd.conf 详解Apache 的 httpd.conf 详解

立即下载
Mastering Apache Spark

Apache Spark notes

立即下载
Apache Spark:源码剖析

Apache Spark:源码剖析

立即下载
Apache Spark开发环境搭建

Apache Spark开发环境搭建

立即下载
Apache Spark 设计与实现

Apache Spark 设计与实现

立即下载
C++中的雷区——C++内存管理详解

C++中的雷区——C++内存管理详解C++中的雷区——C++内存管理详解C++中的雷区——C++内存管理详解C++中的雷区——C++内存管理详解

立即下载
Apache Spark Cheat Sheet

Apache Spark has become the engine to enhance many of the capabilities of the ever-present Apache Hadoop environment. For Big Data, Apache Spark meets a lot of needs and runs natively on Apache Hadoop’s YARN. By running Apache Spark in your Apache Hadoop environment, you gain all the security, governance, and scalability inherent to that platform. Apache Spark is also extremely well integrated with Apache Hive and gains access to all your Apache Hadoop tables utilizing integrated security.

立即下载
High Performance Spark Best Practices for Scaling and Optimizing Apache Spark

High Performance Spark Best Practices for Scaling and Optimizing Apache Spark

立即下载
C++内存管理详解.txt

C++内存管理详解.txt 有些用处C++内存管理详解.txt

立即下载
关闭
img

spring mvc+mybatis+mysql+maven+bootstrap 整合实现增删查改简单实例.zip

资源所需积分/C币 当前拥有积分 当前拥有C币
5 0 0
点击完成任务获取下载码
输入下载码
为了良好体验,不建议使用迅雷下载
img

Apache Spark 内存管理详解

会员到期时间: 剩余下载个数: 剩余C币: 剩余积分:0
为了良好体验,不建议使用迅雷下载
VIP下载
您今日下载次数已达上限(为了良好下载体验及使用,每位用户24小时之内最多可下载20个资源)

积分不足!

资源所需积分/C币 当前拥有积分
您可以选择
开通VIP
4000万
程序员的必选
600万
绿色安全资源
现在开通
立省522元
或者
购买C币兑换积分 C币抽奖
img

资源所需积分/C币 当前拥有积分 当前拥有C币
5 4 45
为了良好体验,不建议使用迅雷下载
确认下载
img

资源所需积分/C币 当前拥有积分 当前拥有C币
5 0 0
为了良好体验,不建议使用迅雷下载
VIP和C币套餐优惠
img

资源所需积分/C币 当前拥有积分 当前拥有C币
5 4 45
您的积分不足,将扣除 10 C币
为了良好体验,不建议使用迅雷下载
确认下载
下载
您还未下载过该资源
无法举报自己的资源

兑换成功

你当前的下载分为234开始下载资源
你还不是VIP会员
开通VIP会员权限,免积分下载
立即开通

你下载资源过于频繁,请输入验证码

您因违反CSDN下载频道规则而被锁定帐户,如有疑问,请联络:webmaster@csdn.net!

举报

若举报审核通过,可返还被扣除的积分

  • 举报人:
  • 被举报人:
  • *类型:
    • *投诉人姓名:
    • *投诉人联系方式:
    • *版权证明:
  • *详细原因: