互联网大厂Java大数据开发工程师岗位面试真题_大数据开发岗位面试题资源-CSDN文库

程序员面试题

大厂面试题

18 浏览量 2023-02-25 16:58:55 上传评论收藏 24KB DOCX 举报

资源推荐

资源详情

资源评论

1、kafka 的 message 包括哪些信息

一个 Kafka 的 Message 由一个固定长度的 header 和一个变长的消息体 body 组成header

部分由一个字节的 magic(文件格式)和四个字节的 CRC32(用于判断 body 消息体是否正常)

构成。当 magic 的值为 1 的时候，会在 magic 和 crc32 之间多一个字节的数据：

attributes(保存一些相关属性，比如是否压缩、压缩格式等等)；如果 magic 的值为 0，那

么不存在 attributes 属性

body 是由 N 个字节构成的一个消息体，包含了具体的 key/value 消息

2、怎么查看 kafka 的 offset

0.9 版本以上，可以用最新的 Consumer client 客户端，有 consumer.seekToEnd() / c

onsumer.position() 可以用于得到当前最新的 offset：

3、hadoop 的 shuffle 过程

一、Map 端的 shuffle

Map

端会处理输入数据并产生中间结果，这个中间结果会写到本地磁盘，而不是

HDFS。每

个

Map

的输出会先写到内存缓冲区中，当写入的数据达到设定的阈值时，系统将会启动

一

个线程将缓冲区的数据写到磁盘，这个过程叫做 spill。

在 spill 写入之前，会先进行二次排序，首先根据数据所属的 partition 进行排序，然后

每个 partition 中的数据再按 key 来排序。partition 的目是将记录划分到不同的 Reducer

上去，以期望能够达到负载均衡，以后的 Reducer 就会根据

partition

来读取自己对应的数据

。接着运行

combiner(如果设置了的话)，combiner

的本质也是一个

Reducer，其目的是

对将要写入到磁盘上的文件先进行一次处理，这样，写入到磁盘的数据量就会减少。最后

剩余14页未读，继续阅读

内容反馈

计码源泉

粉丝: 2
资源: 74

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip