没有合适的资源？快使用搜索试试~
我知道了~
文库首页
大数据
spark
spark--高效的分布式计算架构
spark--高效的分布式计算架构
spark课件PPT
需积分: 12
19 下载量
74 浏览量
2017-10-31
15:52:41
上传
评论
1
收藏
5.35MB
PPTX
举报
温馨提示
立即下载
该PPT详细而全面，由浅入深的讲解spark，高效并行的分布式计算架构。
资源推荐
资源详情
资源评论
spark基本架构及原理
浏览：32
大数据中spark的基本架构和原理，有需要的可以下载看一下！
分布式计算的案例
浏览：27
3星 · 编辑精心推荐
以案例的形式讲解了集中分布式计算的特性及解决方案，对于设计分布式系统架构很有启发意义。
深度剖析Spark分布式执行原理
浏览：36
让代码分布式运行是所有分布式计算框架需要解决的最基本的问题。Spark是大数据领域中相当火热的计算框架，在大数据分析领域有一统江湖的趋势，网上对于Spark源码分析的文章有很多，但是介绍Spark如何处理代码分布式执行问题的资料少之又少，这也是我撰写文本的目的。Spark运行在JVM之上，任务的执行依赖序列化及类加载机制，因此本文会重点围绕这两个主题介绍Spark对代码分布式执行的处理。本文假设读
spark内核详细架构图。
浏览：135
spark内核详细架构图。
基于内存的分布式计算实践
浏览：146
基于内存的分布式计算 主讲人：TalkingData 企业产品研发总监周国平
Fourinone分布式计算框架
浏览：24
5星 · 资源好评率100%
FourInOne（中文名字“四不像”）是一个四合一分布式计算框架，在写这个框架之前，我也看了老外写的其他开源框架，也对分布式计算进行了长时间的思考，当我们把复杂的hadoop当作一门学科学习时，似乎忘记了我们想解决问题的初衷：我们仅仅是想写个程序把几台甚至更多的机器一起用起来计算，把更多的cpu和内存利用上，来解决我们数量大和计算复杂的问题，当然这个过程中要考虑到分布式的协同和故障处理。如果仅仅
分布式计算(第二版).pdf
浏览：92
5星 · 资源好评率100%
分布式计算(第二版).pdf
spark内部原理介绍
浏览：181
基于RDD的架构，在这个开源系统栈里包括作为公共组件的Apache Spark;处理SQL的Shark;和处理分布式流的Spark Streaming。我们使用了真实的用户应用案例和传统的基准测试来评估这些系统。我们的实现为传统和新的数据分析工作提供了很好的性能，并成为第一个使得用户可以组合这些计算任务的平台。
分布式计算：原理，算法与系统（英文版）
浏览：114
Distributed Computing - Principles,Algorithms,and Systems 分布式计算：原理，算法与系统
Spark：一个高效的分布式计算系统
浏览：151
Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，...
Spark上基于RDD的Apriori算法的数据结构视角-研究论文
浏览：76
近年来，许多研究人员提出了许多用于大数据分析的... 在基准数据集上的实验结果表明，基于Spark的Apriori与Trie和Hash Table Trie的性能几乎相似，但是在Spark的分布式计算环境中，两者的性能都比Hash Tree好很多倍。
基于大数据下的spark快速大数据分析.pdf
浏览：151
Spark 的出现扩展了传统的 MapReduce 模型， 不但能提供更多更加高效的计算模型， 还能够 适用于多种不同的分布式平台场景上。同时 Spark 还可以让使用者们简单而低消耗地将各种处理流程 整合到一起，这样既满足了...
YDB编程指南-预览版
浏览：113
YDB全称延云YDB，是一个基于Hadoop分布式架构下的实时的、多维的、交互式的查询、统计、分析引擎，具有万亿数据规模下的秒级性能表现，并具备企业级的稳定可靠表现。 YDB是一个细粒度的索引，精确粒度的索引。数据...
distributed_pytorch:使用Dask和PyTorch课程进行并行化和分布式计算
浏览：199
使用Dask和PyTorch课程进行并行化和分布式计算 数据科学为商业，学术界和其他部门带来不可否认的价值。 随着我们开始意识到这一点，企业和组织已经在收集和存储比以往任何时候都更多的数据。 因此，数据科学从业者所面临的挑战不是复杂的机器学习方法，而是我们处理大量数据的能力。 将并行化和分布式计算应用于机器学习用例（例如计算机视觉任务）可以提高速度和生产率，从而使我们能够充分利用海量数据和复杂方法
基于Hadoop的煤矿数据中心架构设计
浏览：21
根据煤矿安全生产业务需求及智慧矿山发展要求，新型的煤矿数据中心需满足对同一时空坐标体系下煤矿海量、多元数据的高效处理、缓存、计算、存储与发布。针对传统煤矿数据中心各类数据离散存储，数据集成、业务应用及...
第七章-《大数据导论》大数据处理平台.pdf
浏览：90
数据访问瓶颈 大数据处理平台的特点 通过分布式计算框架来实现 提供高效的计算模型和简单的编程接口 可扩展性：通过增加资源以满足不断增加的性能和功能需求 容错能力：考虑系统的不可靠性，支持出现错误后自动恢复 ...
从程序员到CTO大牛企业内部PDF与PPT合集.zip
浏览：45
5星 · 资源好评率100%
阿里云开放搜索多租户实时计算架构的演进之路 QQ音乐的个性化探索 京东亿级流量海量数据搜索架构 C2C市场中推荐系统的挑战与机遇 阿里网络故障智能化治理 腾讯全用户态服务开发套件F-Stack 苏宁易购全站HTTPS实践之...
大数据-Inceptor技术白皮书.pdf
浏览：156
星环科技推出的基于Spark的交互式分析引擎Inceptor，从下往上分三层架构，最底层是分布式缓存（ Transwarp Holodesk），可建在内存或者SSD上；中间层是Apache Spark计算引擎层；最上层包括SQL 2003 和PL/SQL编译器...
开源的分布式内存文件系统 Tachyon.zip
浏览：132
把Tachyon是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件。主要职责是将那些不需要落地到DFS里的文件，落地到分布式内存文件系统中，来达到共享内存，从而提高效率。同时可以减少内存冗余，GC...
Tachyon--以内存为核心的开源分布式存储系统
浏览：17
Tachyon为不同的大数据计算框架（如ApacheSpark，HadoopMapReduce,ApacheFlink等）提供可靠的内存级的数据共享服务。此外，Tachyon还能够整合众多现有的存储系统（如AmazonS3,ApacheHDFS,RedHatGlusterFS,...
Android代码-angel
浏览：93
Angel基于Java和Scala开发，能在社区的Yarn上直接调度运行，并基于PS Service，支持Spark on Angel，集成了部分图计算和深度学习算法。 欢迎对机器学习有兴趣的同仁一起贡献代码，提交Issues或者Pull Requests。请先...
论文研究-海量视频人脸提取与识别并行框架设计及优化.pdf
浏览：142
为了实现海量视频数据的高效并行处理，将视频数据集解耦合实现任务的高并行度，通过Spark读取数据流的同时获取关键帧的方式解决了解耦视频数据引起数据倍增问题，并对图片特征数据进行优化，进而在Spark上实现了具有...
大数据与人工智能.pptx
浏览：178
P2P分布式架构 网格计算 2000s，社交网络的盛行，海量数据和日志 分布式编程模型MapReduce(2004年) 分布式系统，如Hadoop (2006), Spark (2012) , Hive (2013) NoSQL数据库流行，如Cassandra (2008) 2010s，随大数据...
一种大数据智能分析平台的数据分析方法及实现技术.doc
浏览：72
Spark Streaming将数据切分成片段，变成小批量时间间隔处理，Spark抽象一个持续的数据流 称为DStream（离散流），一个DStream是RDD弹性分布式数据集的micro- batch微批次，RDD是分布式集合能够并行地被任何函数操作...
SparkStandalone架构设计要点分析
浏览：23
RDD（ResilientDistributedDatasets），弹性分布式数据集，它是对分布式数据集的一种内存抽象，通过受限的共享内存方式来提供容错性，同时这种内存模型使得计算比传统的数据流模型要高效。RDD具有5个重要的特性，如...
大数据分析平台.docx
浏览：73
设计了一个分布式计算框架，可以处理结构化和非结构化数据，并提供内存计算、规划计算、数据挖掘、流计算等各种企业计算服务。Data Studio包括了数据建模、开发、测试等集成开发环境。管理工具包括了实施、客户化及...
Spark
西安电子科技
大学软件学院
Spark
----
高效的分
布式计算
架构
Spark
----
高效的分布式计算架构
1
Spark
简介
1
Spark
编程模型
1
Spark Streaming
1
Spark RDD
1
Spark
集群搭建
1
Spark
实例
西安电子科技
大学软件学院
Spark
Spark
----
高效的分布式计算架构
1
Spark
简介
1
Spark
编程模型
1
Spark Streaming
1
Spark RDD
1
Spark
集群搭建
1
Spark
实例
西安电子科技
大学软件学院
Spark
HDF
S
Y
ar
n
Map R
educe
Spark
简介
-Hadoop
Spark
Map Reduce
迭代示意图
Spark
简介
-Hadoop
Spark
剩余63页未读，
继续阅读
评论
收藏
内容反馈
立即下载
资源评论
资源反馈
评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~
联系上传者
评论
free356
粉丝: 32
资源:
1
私信
上传资源 快速赚钱
我的内容管理
展开
我的资源
快来上传第一个资源
我的收益
登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏
我的下载
下载帮助
前往需求广场，查看用户热搜
最新资源
虚幻引擎离线API文档
复旦大学软件工程精3(精).ppt
量子安全应用的共识：量子安全的内涵、技术体系、安全观及应用体系
移动开发+android+listView+EditText+实现搜索ListView功能
多普勒效应对移动通信的影响解析.ppt
多维度分析数据库复制与存储复制的架构差异.docx
51单片机实现的vs53l01x激光距离传感器的校准与距离读取的程序
图新地球图源清晰度比较高的图源
微信小程序-侧滑布局源码.zip
微信小程序-步步高字典源码.zip
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
安全验证
文档复制为VIP权益，开通VIP直接复制
信息提交成功
