spark讲义总结1

用scala编写 底层是基于actor模式的akka框架 代码结构简洁 基于DAG(有向无环图)的执行引擎 减少了计算时数据频繁读写到磁盘的开销 **DAG有向无环图 ： spark设计之初就考虑了 大量连续计算的需求 允许在对数据处理时 经由许多步算子 按序计算来实现处理 这些处理 是一个图的结构 但是要注意的是 图有向但是不能形成环 防止死循环 这样的有向无环的处理过程就称之为Spark的DAG有向无环图。