6.3 未来的工作 如 5.4,节所述，我们对 RDDs 的分析也表现出了模型的局限性，这是我们未来研究以进一 步泛化该模型的兴趣点。这里重述下这部分内容，未来扩展的主要领域包括： • 通信延迟：基于 RDD 模拟任意分布式系统的一个主要缺点是，它需要额外的延迟去同步 每一个步骤以使得计算是确定性的。未来在这方面有两个有趣的方向。第一个是系统方 面的挑战，我们要研究一个基于内存集群计算系统其延

6.2 更深远的影响 自从 2010年 Spark发布以来，spark开源社区得到了快速的发展，已有来自 25个公司超过 100 个开发人员参与了该项目。同时 spark 软件栈中的其他项目也吸引了非常多的爱好者以及 贡献者（比如自 2011 年起，Shark 项目已有 29个开发人员参与其中）。 这些外部的开发人员为核心模块贡献了非常多的重要特性、思路以及测试用例，这也助推了 spark

6.1 经验总结 数据共享的重要性。我们工作的基本主线是数据共享对于性能的重要性，数据共享无论是 对单一模式的计算(例如，迭代算法或数据流作业）应用，还是多种计算模式交错的应用都非常 重要。特别是对于“大数据”的应用程序，数据集迁移代价是非常高的，所以对应用开发者来 说，有效共享是很关键的。然而，以前的系统大多集中在实现特定的数据流模式，而 RDDs使数 据集成为一等原语，为用户提供了足够的机制

5.4 限制与扩展 虽然先前的章节讲述了 RDD 能够有效模拟分布式系统，但它也有无法做到的情况。现在， 我们研究一些关键限制，并讨论几种可能绕过它们的模型扩展。 5.4.1 延迟 正如前面几章说明的那样，基于 RDD 分布式系统的仿真与实际系统之间差距的主要系能指 标就是延迟。因为 RDD 操作在整个集群中是确定且同步的，又由于启动每个“时步（timestep）” 计算存在固有的延迟，所以

5.3 系统角度 完全不同于仿真的方法来表征 RDD 的特性，我们可以采取一种系统方法：在大多数集群计 算中资源的瓶颈是什么，能否用 RDD 来有效的解决这些问题？从这个角度来看，大多数集群应

4.5 故障和慢节点恢复 D-Streams 的确定性使得可以使用两种有效却不适合常规流式系统的恢复技术来恢复工作 节点状态：并行恢复和推测执行。此外，它也简化了主节点的恢复，我们接下来会讨论。 4.5.1 并行恢复 当一个节点失败，D-Streams允许节点上RDD分片的状态以及运行中的所有任务能够在其它节 点并行地重新计算。通过异步地复制RDD状态到其它的工作节点，系统可以周期性地设置R

5.2 观点描述 为了从理论角度描述 RDDs，我们首先拿 RDDs和从其派生和借鉴所得的 MapReduce模型进行 比较。MapReduce最初是被用于大规模集群的计算，从 SQL[104]到机器学习 [12]，但是逐渐被 其他特定系统取代。 5.2.1 MapReduce所能涵盖的计算范围

4.4 系统架构 我们已经在“Spark Streaming”上实现了 D-Stream，它是基于 Spark处理引擎的一个修改 版本。Spark Streaming 由三部分组成，如图 4.6所示 图 4.6.Spark Streaming组件，显示了我们在 Spark原版本上所作的修改。 • master跟踪 D-Stream lineage，并调度任务来计算新的 RDD分区。 • 工

给定输入数据，每个时间间隔内的状态完全确定，而不需要同步协议；并且（2）当前状态和旧 数据的依赖关系细粒度可见。我们表明，这样的设计能提供如批处理系统那样的强大的恢复机 制，胜于复制和上行流备份方案。 实现 D-Stream 模型存在两方面的挑战。首先是要降低延时（间隔粒度）。传统批处理，如 Hadoop，在这方面有缺陷，因为它们任务间使用复制、磁盘储存方式保存状态。相反，我们建 立在第二章提到

4.2 目标与背景 许多重要的应用需要对实时到达的大规模数据流进行处理。我们的工作目标是应用需要在 几十到数百台机器上执行，并且可以容忍几秒钟的延迟。一些示例如下： • 网站活动的统计数据：Facebook建立了一个分布式聚合系统 Puma，来让广告者统计用户 在 10-30秒内点击他们网页的次数和处理时间[94]。 • 集群监控：数据中心运营商往往使用由数百个节点组成的[52]如 Flum

清单 3.1逻辑回归示例 该程序使用 sql2rdd触发一个 SQL查询获取用户信息，并作为一个 TableRDD。然后在查询 行上执行特征抽取，并且在抽取的特征矩阵上执行逻辑回归。每次逻辑回归迭代对所有数据应 用同一个 w函数来产生梯度集合，并求和产生一个总梯度，用于更新 w. Shark和Spark在集群上自动并行执行map，mapRows和reduce函数，主程序仅仅收集reduce 函

询中，至少有 3277 个 Shark 可以利用他们所包含的谓语来进行映射修剪。章节 3.5 中会提供相 应工作的更多细节。 3.4.4 局部 DAG 执行 （PDE） 像 Shark 和 Hive 系统经常用来查询未经历过一个数据加载过程的新数据。这就排除了那些 依赖精确数据统计的静态查询优化技术的使用，例如通过索引维持的统计信息。新数据统计的 缺乏，再加上 UFD 的普遍使用，这就需要动态

通过记录在作业中创建的RDD的lineage，借助重算所依赖的的RDD分区，人们可以 (1)在后续中 重建这些RDD，同时对其进行交互式查询, (2) 在一个单进程调试器中从该作业里运行任意一个 任务。不同于传统的针对一般分布式系统的重放（replay）调试器[51], 需要对多个节点记录 和推断出其事件的先后顺序，RDD只需要记录血谱图 9 因此基本上不会引入任何记录开销。我们 现在就是基于这

集群只能使用节点的一定比例的内存来缓存 RDDs。我们在图 2.10 中展示了逻辑回归算法在使 用不同内存比例情况下的表现。我们发现，当使用较少内存空间时性能急剧下降。

2.6 性能评估 我们通过在 Amazon EC2上进行一系列实验和用户应用程序的基准测试对 Spark和 RDDs进 行了性能评估。总体而言，我们的测试结果显示如下： • 在迭代机器学习和图计算中，Spark 性能要比 Hadoop模型好 80倍这些性能提升来自于 将数据以 java对象存入内存从而减少系统 IO和反序列化的开销 • 用户应用程序同样有很好的性能和扩展性。尤其，我们使用 S

从形式上看，RDD是一个分区的只读记录的集合。RDD只能通过在（1）稳定的存储器或 （2）其他RDD的数据上的确定性操作来创建。我们把这些操作称作变换以区别其他类型的操 作。例如 map, filter, 和 join。 2 RDD 在任何时候都不需要被"物化"(进行实际的变换并最终写入稳定的存储器上)。实际 上，一个 RDD有足够的信息描述着其如何从其他稳定的存储器上的数据生成。它有一个强大

操作是一种宽依赖（除非父 RDD 已经基于 Hash策略被划分过了）。图 2.4 中展示了一些其他例 操作 含义 partitions() 返回分片对象列表 preferredLocations(p) 根据数据的本地特性，列出分片 p 能够快速访 问的节点。 dependencies() 返回依赖列表 iterator(p, parentlters) 给定 p 的父分片的迭代器，计算分片

第二章 弹性分布式数据集 2.1 简介 在本章中，我们提出了弹性分布式数据集（RDD）的抽象概念，论文其余部分基于此建 立了一个通用的集群计算栈。RDD 对 MapReduce [36] 和 Dryad [61]提出的数据流编程模型 进行了扩展，这些模型是目前大数据分析使用最为广泛的编程模型。数据流系统取得了成功， 很重要的因素是用户通过使用比较高级的操作进行计算而无需担心任务分布和系统的容错

1.5 论文计划 本文组织结构如下。第 2 章介绍了 RDD 抽象并涵盖了一些简单的编程模型的应用。第 3 章介绍了 Shark SQL 系统基于 RDDs 实现的更高级的存储和处理模型的技术。第 4 章介绍了如 何使用 RDDs 开发离散的流，这是一种新的流式处理模型。第 5 章则介绍了为什么 RDD 模型在 这些应用中如此通用，同时介绍它的限制和扩展性。最后，在第 6章，我们总结和讨论一些未

1.1 专业系统相关的问题 今天的集群计算机系统越来越多地专门针对特定的应用领域。虽然像 MapReduce 和 Drayed[36, 61]这样的系统模型目标是在于覆盖相当通用的计算，然而研究员和从业者已经为新的应用领域研 发了越来越多的专业系统。 图 1.1 本论文中计算栈的实现 最近通过 Spark 的 RDDs（弹性分布式数据集）的实现，我们建立起了其他的计算模型，如流式计 算，S

为了解决navicat连接oracle报错的问题。

Embarcadero.ERStudio.v8.0.2.5991-Crack.rar，Embarcadero.ERStudio.v8.0.2.5991破解工具。请参考博文：http://blog.csdn.net/justdb/article/details/7723444

Sybase_PowerDesigner_16.0.0.3488破解文件 亲测可用

下载了一大堆的免费文档 我也贡献一个我自己写的PowerDesigner16 5的使用文档 这个是公司领导让我自己写来做使用指导用的 写的仓促 多有不恰当的地方 望大家见谅 1 这个是16 5的版本 2 这个是以oralce11g为模板 3 文档目录如下： PowerDesigner 16 5 指导 1 一 安装 3 二 新建模板步骤 这里以Oracle11g数据库为例 3 1 新建Mode

SVM训练和测试数据。主要用于训练和测试自己写的Python版本的SVM，具体见我的博客： http://blog.csdn.net/zouxy09

一看就知道怎么使用，快速绘制ER图，导出为图片，小巧，才一兆。不能再好用了，你肯定会喜欢

用于搜狗或qq拼音

PB11.0到PB12.5各个版本破解补丁

DBFLZO算法解压工具.适合轩辕剑网络版本DBF

unity3d 插件 10个漂亮的天空盒子,使用方便，直接导入就可以用了。

安装黑苹果 wowpc最新版变色龙替换内核

比较全的SOP和SSOP，protel的PCB库

微信源码

找了好久终于找到了所有的ADO控件，再也不用为ADO版本不同而发愁了。msado15.dll，32位和64位各版本的ADO都有，从2。0版一直到WIN7的6。XX版