火花
Apache Spark是一种快速的内存数据处理引擎，具有优雅且富于表现力的开发API，可让数据工作者高效执行需要快速迭代访问数据集的流，机器学习或SQL工作负载。 通过在Apache Hadoop YARN上运行Spark，现在，各地的开发人员都可以创建应用程序，以利用Spark的功能，获取见解并在Hadoop中的单个共享数据集中丰富其数据科学工作负载。
该项目包含Scala编程语言中的Spark程序。
Spark 2.1涵盖的主题
使用Spark-2.1实现自定义UDF，UDAF，Partitioner 使用数据框（ComplexSchema，DropDuplicates，DatasetConversion，GroupingAndAggregation） 使用数据集处理Parquet文件按特定列对数据进行分区并按分区进行存储使用Spark从Cassnadra表加载数据使用Spa
