spark-train:Spark使用过程中的一些操作实践

spark-train 目录结构说明 Accumulator 计数器的使用 Broadcast 使用Spark实现Common Join和Map Join MultipleOutput & Job run more 多目录输出(即partition by操作)和作业重跑机制的实现 MergeSmallFile 小文件的合并 ScalaOpHDFS Scala操作HDFS文件系统，修改Spark输出到HDFS上的文件的名字 Spark SQL Debug Spark SQL Debug操作指南 data 测试数据 注意： 所有的实现都是基于Spark Core实现的，基于Spark SQL的实现，部分章节将会在后续进行更新