大数据Spark面试题汇总
需积分: 0 144 浏览量
2023-04-12
16:43:52
上传
评论 5
收藏 307KB PDF 举报
目录
1. spark 的有几种部署模式，每种模式特点？
.................................................................................. 2
2. Spark 为什么比 mapreduce 快？
...................................................................................................... 2
3. 简单说一下 hadoop 和 spark 的 shuffle 相同和差异？
............................................................... 3
5. spark 的优化怎么做？
...................................................................................................................... 4
6. 数据本地性是在哪个环节确定的？
................................................................................................. 4
7. RDD 的弹性表现在哪几点？
.............................................................................................................. 4
8. RDD 有哪些缺陷？
.............................................................................................................................. 4
9. Spark 的 shuffle 过程？
.................................................................................................................. 4
10. Spark 的数据本地性有哪几种？
.................................................................................................... 5
11. Spark 为什么要持久化，一般什么场景下要进行 persist 操作？
............................................ 5
12. 介绍一下 join 操作优化经验？
..................................................................................................... 5
13. 描述 Yarn 执行一个任务的过程？
................................................................................................. 6
14. Spark on Yarn 模式有哪些优点？
............................................................................................... 6
15. 谈谈你对 container 的理解？
....................................................................................................... 7
16. Spark 使用 parquet 文件存储格式能带来哪些好处？
................................................................ 7
17. 介绍 parition 和 block 有什么关联关系？
................................................................................. 7
18. Spark 应用程序的执行过程是什么？
............................................................................................ 8
20. Sort-based shuffle 的缺陷?
........................................................................................................ 8
23. Spark 有哪两种算子？
.................................................................................................................... 9
24. Spark 有哪些聚合类的算子,我们应该尽量避免什么类型的算子？
.......................................... 9
25. 如何从 Kafka 中获取数据？
......................................................................................................... 10
26. RDD 创建有哪几种方式？
.............................................................................................................. 10
27. Spark 并行度怎么设置比较合适？
.............................................................................................. 10
28. Spark 如何处理不能被序列化的对象？
...................................................................................... 10
34. Spark 技术栈有哪些组件，每个组件都有什么功能，适合什么应用场景？
.......................... 12
35. Spark 中 Worker 的主要工作是什么？
........................................................................................ 12
37. RDD 机制？
...................................................................................................................................... 13
38. 什么是 RDD 宽依赖和窄依赖？
..................................................................................................... 13
42. RDD 通过 Linage（记录数据更新）的方式为何很高效？
......................................................... 14
43. 为什么要进行序列化序列化？
..................................................................................................... 14
45. 提交任务时，如何指定 Spark Application 的运行模式？
..................................................... 15
48. 运行在 yarn 中 Application 有几种类型的 container？
........................................................ 15
49. Executor 启动时，资源通过哪几个参数指定？
........................................................................ 16
50. 为什么会产生 yarn，解决了什么问题，有什么优势？
............................................................ 16
51. 一个 task 的 map 数量由谁来决定？
........................................................................................... 16
52. 列出你所知道的调度器，说明其工作原理？
............................................................................. 16
53. 导致 Executor 产生 FULL gc 的原因，可能导致什么问题？
.................................................. 16
54. Spark 累加器有哪些特点？
.......................................................................................................... 17
56. RangePartitioner 分区的原理？
................................................................................................ 17
58. 如何理解 Standalone 模式下，Spark 资源分配是粗粒度的？
................................................ 18
62. 什么是 shuffle，以及为什么需要 shuffle？
........................................................................... 18
63. Spark 中的 HashShufle 的有哪些不足？
.................................................................................... 19
67. Spark 中 standalone 模式特点，有哪些优点和缺点？
............................................................ 20
剩余22页未读，继续阅读
资源评论
