spark基础概念

Spark的核心思想是通过一种可并行操作且有容错机制的弹性分布式数据集RDD(Resilient Distributed Dataset)以减少磁盘以及网络IO开销。RDD是一个能并行的数据结构，可以让用户显式地将数据存储到磁盘或内存中，并能控制数据的分区。