Spark经典常见的面试题集合

问题1 ★★★

var、val、def三个关键字之间的区别；伴生类与伴生对象；

（1）问题分析：主要考察Scala中的基本概念，这些是应该熟练掌握的

（2）核心问题回答

var是变量声明关键字，类似于Java中的变量，变量值可以更改，但是变量类型不能更改

val常量声明关键字

def 关键字用于创建方法（注意方法和函数的区别）

还有一个lazy val（惰性val）声明，意思是当需要计算时才使用，避免重复计算

case class 是什么，与case object的区别是什么

（1）问题分析：主要考察样例类的理解，样例类在 Scala、Spark 的开发中使用的非常频繁，对其应该

熟练掌握

（2）核心问题回答

样例类是scala中特殊的类。当声明样例类时，如下事情会自动发生：

构造器中每一个参数都成为val。除非它被显示的声明为var（不建议这样做）

提供apply方法。不用new关键字就能够构造出相应的对象

提供unapply方法。让模式匹配可以工作

将生成toString、equals、hashCode和copy方法。除非你显示的给出这些方法的定义

继承了Product和Serializable，即已实现序列化方法和可以应用Product的方法





问题3 ★★★

Spark为什么快，Spark SQL 一定比 Hive 快吗

（1）问题分析：常见问题，但是并不好答，因为只有对两个计算框架有一定程度的理解才能准确回

答。

（2）核心问题回答

通常大家只是说Spark是基于内存计算的，速度比MapReduce要快。或者说内存中迭代计算。其实没有

抓住问题的本质，所有的计算都是发生在内存中的，MR的计算一样是发生在内存中的。

说 Spark 是基于内存的计算，正确的理解应该：与MR相比Spark积极的使用内存，减少数据的落地。

动、关闭task所需要的开销；



对于以下查询：

这个查询对于MR来说也只需要一个 Job 就能完成。此时，也许 HQL 的运行时间也许比 SparkSQL 还

快，因为MR没有中间的结果数据落地。

结论：Spark 快不是绝对的，但绝大多数情况下，Spark 都比 Hadoop 计算要快，特别是在迭代计算

中。这主要得益于其对Spark积极的使用内存以及对 JVM 使用的优化。





问题4 ★★★

A function for computing each split

A list of dependencies on other RDDs

Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)

Optionally, a list of preferred locations to compute each split on (e.g. block locations for an

HDFS file)

RDD 具有容错机制，是只读的，可以执行转换操作创建新的 RDD。具体来讲，RDD 具有以下几个属

性：

只读的：只能通过转换操作生成新的 RDD

分布式：可以分布在多台机器上进行并行处理

弹性：计算过程中内存不够时它会和磁盘进行数据交换

cache() = persist(StorageLevel.MEMORY_ONLY)

一个字节数组）。 这比将对象反序列化的空间利用率更高，读取时会比较占用CPU

从源码上看，可以认为：

即：repartition 操作一定会带来 Shuffle 。在有可能的情况下，尽量选择不产生 Shuffle 的算子。

问题6 ★★★

简述Spark中的缓存机制与checkpoint机制，说明两者的区别与联系

（1）问题分析：对Spark基本原理的考察

（2）核心问题回答

应用的执行时间。