Apache Spark源码读解

class WordCount{ def main(args:Array[String]):Unit={ val conf =new SparkConf().setAppName("test").setMaster("local") val sc =new SparkContext(conf) sc.textFile(“”) .flatMap(_.split(", ")) .map((_.1)) .reduceByKey(_+_) .saveAsText("") } }

Spark学习笔记三

Spark 共享变量——累加器（accumulator）与广播变量（broadcast variable） 广播变量 累加器 RDD持久化 Spark中的checkpoint作用与用法 Spark的运行模式 任务提交 宽赖窄依赖 Spark任务调度

Spark学习笔记一

Spark简介spark的四大特性 Speed Ease of Use Generality Runs Everywhere