大数据工作面试练习题 BAT大数据面试题 Hadoop、kafka、HDFS、Spark、MapReduce 共19页.pdf
版权申诉
174 浏览量
2023-04-24
23:14:38
上传
评论
收藏 366KB PDF 举报
2018 最新 BAT 大数据面试题
目录
2018 最新 BAT 大数据面试题 ............................................................................. 1
1、kafka 的 message 包括哪些信息？ ................................................................ 3
2、怎么查看 kafka 的 offset？ ............................................................................. 3
3、hadoop 的 shuffle 过程是？ ............................................................................ 3
4、spark 集群运算的模式？ ................................................................................ 5
5、HDFS 读写数据的过程？ .............................................................................. 5
6、RDD 中 reduceBykey 与 groupByKey 哪个性能好，为什么 ...................... 6
7、spark2.0 的了解 ............................................................................................... 7
8、rdd 怎么分区宽依赖和窄依赖 ....................................................................... 7
9、spark streaming 读取 kafka 数据的两种方式 ............................................... 8
10、kafka 的数据存在内存还是磁盘 .................................................................. 8
11、怎么解决 kafka 的数据丢失 ......................................................................... 9
12、fsimage 和 edit 的区别？ ............................................................................ 10
13、列举几个配置文件优化？.......................................................................... 10
14、datanode 首次加入 cluster 的时候，如果 log 报告不兼容文件版本，那
需要 namenode 执行格式化操作，这样处理的原因是？ ...................................... 11
15、MapReduce 中排序发生在哪几个阶段？这些排序是否可以避免？为什
么？.............................................................................................................................. 11
16、hadoop 的优化？ ......................................................................................... 12
剩余18页未读，继续阅读
资源评论
