【免费】00-大数据技术之高频面试题+汇总.pdf资源-CSDN文库

需积分: 0 69 浏览量 2023-07-12 22:37:29 上传评论收藏 26.24MB PDF 举报

大数据技术高频面试题总结大数据技术作为当前最热门的技术之一，对于企业和个人来说都是非常重要的。以下是大数据技术高频面试题总结，涵盖了Linux、Hadoop、Zookeeper等多个方面的知识点。 Linux和Shell 在大数据技术中，Linux和Shell是非常重要的组件。以下是相关知识点： 1. Linux常用高级命令：包括文件管理、权限管理、进程管理等方面的命令。 2. Shell常用工具及写过的脚本：包括awk、sed、grep等工具的使用，以及如何编写Shell脚本。 3. Shell中的单引号和双引号区别：了解单引号和双引号在Shell中的作用和区别。 Hadoop Hadoop是大数据技术的核心组件之一，以下是相关知识点： 1. Hadoop常用端口号：了解Hadoop的各个组件的端口号，例如NameNode、DataNode、ResourceManager等。 2. HDFS读流程和写流程：了解HDFS的读写流程，包括Block的读写、数据的复制等。 3. HDFS小文件处理：了解如何处理小文件的问题，例如使用SequenceFile、使用CombineFileInputFormat等。 4. HDFS的NameNode内存：了解NameNode的内存结构和管理方式。 5. Shuffle及优化：了解Shuffle的过程和优化方法，例如使用Combiner、使用DistributedCache等。 6. Yarn工作机制：了解Yarn的工作机制，包括ResourceManager、ApplicationMaster、Container等。 7. Yarn调度器：了解Yarn的调度算法和机制，例如使用CapacityScheduler、FairScheduler等。 8. HDFS块大小：了解HDFS块大小的设置和优化方法。 9. Hadoop脑裂原因及解决办法：了解Hadoop脑裂的原因和解决方法，例如使用JournalNode、使用NameNode的高可用性等。 Zookeeper Zookeeper是大数据技术中的核心组件之一，以下是相关知识点： 1. Zookeeper常用命令：了解Zookeeper的基本命令，例如创建节点、删除节点、获取节点等。 2. Zookeeper的使用场景：了解Zookeeper在大数据技术中的使用场景，例如在Hadoop、Kafka、Storm等系统中的应用。大数据技术高频面试题总结涵盖了Linux、Hadoop、Zookeeper等多个方面的知识点，了解这些知识点对于大数据技术的学习和应用非常重要。

资源推荐

资源详情

资源评论

尚硅谷大数据技术之高频面试题

—————————————————————————————

大数据技术之高频面试题

第 1 章核心技术 .............................................................................................................................. 8

1.1 Linux&Shell ......................................................................................................................... 8

1.1.1 Linux 常用高级命令 ................................................................................................ 8

1.1.2 Shell 常用工具及写过的脚本 ..................................................................................9

1.1.3 Shell 中单引号和双引号区别 ..................................................................................9

1.2 Hadoop ................................................................................................................................10

1.2.1 Hadoop 常用端口号 ............................................................................................... 10

1.2.2 HDFS 读流程和写流程 ..........................................................................................10

1.2.3 HDFS 小文件处理 ..................................................................................................11

1.2.4 HDFS 的 NameNode 内存 ..................................................................................... 11

1.2.5 Shuffle 及优化 ........................................................................................................ 12

1.2.6 Yarn 工作机制 ........................................................................................................13

1.2.7 Yarn 调度器 ............................................................................................................13

1.2.8 HDFS 块大小..........................................................................................................14

1.2.9 Hadoop 脑裂原因及解决办法？ ........................................................................... 14

1.3 Zookeeper ........................................................................................................................... 14

1.3.1 常用命令 ................................................................................................................ 14

1.3.2 选举机制 ................................................................................................................ 14

1.3.3 Zookeeper 符合法则中哪两个？ ...........................................................................16

1.3.4 Zookeeper 脑裂 .......................................................................................................16

1.3.5 Zookeeper 用来干嘛了 ...........................................................................................16

1.4 Flume .................................................................................................................................. 16

1.4.1 Flume 组成，Put 事务，Take 事务 ...................................................................... 16

1.4.2 Flume 拦截器 ..........................................................................................................18

1.4.3 Flume Channel 选择器 ........................................................................................... 18

1.4.4 Flume 监控器 ..........................................................................................................18

1.4.5 Flume 采集数据会丢失吗? ....................................................................................18

1.4.6 Flume 如何提高吞吐量 ..........................................................................................18

1.5 Kafka ...................................................................................................................................19

1.5.1 Kafka 架构 .............................................................................................................. 19

1.5.2 Kafka 生产端分区分配策略 ..................................................................................20

1.5.3 Kafka 丢不丢数据 .................................................................................................. 21

1.5.4 Kafka 的 ISR 副本同步队列..................................................................................21

1.5.5 Kafka 数据重复 ...................................................................................................... 22

1.5.6 Kafka 如何保证数据有序 or 怎么解决乱序 ........................................................ 23

1.5.7 Kafka 分区 Leader 选举规则 .................................................................................24

1.5.8 Kafka 中 AR 的顺序 ...............................................................................................24

1.5.9 Kafka 日志保存时间 .............................................................................................. 25

1.5.10 Kafka 过期数据清理 ............................................................................................ 25

1.5.11 Kafka 为什么能高效读写数据 ............................................................................26

大数据技术之高频面试题

—————————————————————————————

1.5.12 自动创建主题 ...................................................................................................... 27

1.5.13 副本数设定 .......................................................................................................... 27

1.5.14 Kakfa 分区数 ........................................................................................................ 27

1.5.15 Kafka 增加分区 .................................................................................................... 28

1.5.16 Kafka 中多少个 Topic ..........................................................................................28

1.5.17 Kafka 消费者是拉取数据还是推送数据 ............................................................28

1.5.18 Kafka 消费端分区分配策略 ................................................................................28

1.5.19 消费者再平衡的条件 ..........................................................................................29

1.5.20 指定 Offset 消费..................................................................................................30

1.5.21 指定时间消费 ...................................................................................................... 30

1.5.22 Kafka 监控 ............................................................................................................ 30

1.5.23 Kafka 数据积压 .................................................................................................... 30

1.5.24 如何提升吞吐量 ..................................................................................................31

1.5.25 Kafka 中数据量计算 ............................................................................................ 32

1.5.26 Kafka 如何压测？ ................................................................................................ 32

1.5.27 磁盘选择 .............................................................................................................. 33

1.5.28 内存选择 .............................................................................................................. 33

1.5.29 CPU 选择 .............................................................................................................. 34

1.5.30 网络选择 .............................................................................................................. 34

1.5.31 Kafka 挂掉 ............................................................................................................ 34

1.5.32 Kafka 的机器数量 ................................................................................................ 35

1.5.33 服役新节点退役旧节点 ......................................................................................35

1.5.34 Kafka 单条日志传输大小 ....................................................................................35

1.5.35 Kafka 参数优化 .................................................................................................... 35

1.6 Hive .....................................................................................................................................36

1.6.1 Hive 的架构 ............................................................................................................ 36

1.6.2 HQL 转换为 MR 流程 ........................................................................................... 37

1.6.3 Hive 和数据库比较 ................................................................................................ 38

1.6.4 内部表和外部表 ....................................................................................................38

1.6.5 系统函数 ................................................................................................................ 38

1.6.6 自定义 UDF、UDTF 函数 ................................................................................... 39

1.6.7 窗口函数 ................................................................................................................ 39

1.6.8 Hive 优化 ................................................................................................................ 41

1.6.9 Hive 解决数据倾斜方法 ........................................................................................ 46

1.6.10 Hive 的数据中含有字段的分隔符怎么处理？ ..................................................50

1.6.11 MySQL 元数据备份 .............................................................................................50

1.6.12 如何创建二级分区表？ ......................................................................................51

1.6.13 Union 与 Union all 区别 .......................................................................................51

1.7 Datax ...................................................................................................................................51

1.7.1 DataX 与 Sqoop 区别 ............................................................................................. 51

1.7.2 速度控制 ................................................................................................................ 51

1.7.3 内存调整 ................................................................................................................ 52

1.7.4 空值处理 ................................................................................................................ 52

1.7.5 配置文件生成脚本 ................................................................................................53

大数据技术之高频面试题

—————————————————————————————

1.7.6 DataX 一天导入多少数据 ..................................................................................... 53

1.7.7 Datax 如何实现增量同步 ...................................................................................... 53

1.8 Maxwell .............................................................................................................................. 53

1.8.1 Maxwell 与 Canal、FlinkCDC 的对比 ................................................................. 53

1.8.2 Maxwell 好处 ..........................................................................................................54

1.8.3 Maxwell 底层原理 ..................................................................................................54

1.8.4 全量同步速度如何 ................................................................................................54

1.8.5 Maxwell 数据重复问题..........................................................................................54

1.9 DolphinScheduler 调度器 ..................................................................................................54

1.9.1 每天集群运行多少指标? ...................................................................................... 54

1.9.2 任务挂了怎么办？ ................................................................................................54

1.9.3 DS 挂了怎么办？ ...................................................................................................54

1.10 Spark Core & SQL ........................................................................................................... 54

1.10.1 Spark 运行模式 .....................................................................................................54

1.10.2 Spark 常用端口号 .................................................................................................55

1.10.3 RDD 五大属性 ......................................................................................................55

1.10.4 RDD 弹性体现在哪里......................................................................................... 55

1.10.5 Spark 的转换算子（8 个） ................................................................................. 55

1.10.6 Spark 的行动算子（5 个） ................................................................................. 56

1.10.7 map 和 mapPartitions 区别 ...................................................................................56

1.10.8 Repartition 和 Coalesce 区别 ............................................................................... 56

1.10.9 reduceByKey 与 groupByKey 的区别 ................................................................. 56

1.10.10 Spark 中的血缘 ...................................................................................................57

1.10.11 Spark 任务的划分 ...............................................................................................57

1.10.12 SparkSQL 中 RDD、DataFrame、DataSet 三者的转换及区别 ..................... 57

1.10.13 Hive on Spark 和 Spark on Hive 区别 ............................................................... 58

1.10.14 Spark 内核源码（重点） ...................................................................................58

1.10.15 Spark 统一内存模型 ...........................................................................................59

1.10.16 Spark 为什么比 MR 快？ .................................................................................. 60

1.10.17 Spark Shuffle 和 Hadoop Shuffle 区别？ ..........................................................61

1.10.18 Spark 提交作业参数（重点） .......................................................................... 61

1.10.19 Spark 任务使用什么进行提交，JavaEE 界面还是脚本 .................................61

1.10.20 请列举会引起 Shuffle 过程的 Spark 算子，并简述功能。.......................... 61

1.10.21 Spark 操作数据库时，如何减少 Spark 运行中的数据库连接数？ ...............61

1.10.22 Spark 数据倾斜 ...................................................................................................61

1.12 Flink ..................................................................................................................................62

1.12.1 Flink 基础架构组成？......................................................................................... 62

1.12.2 Flink 和 Spark Streaming 的区别？ ............................................................... 62

1.12.3 Flink 提交作业流程及核心概念 ......................................................................... 62

1.12.4 Flink 的部署模式及区别？ ................................................................................. 63

1.12.5 Flink 任务的并行度优先级设置？资源一般如何配置？ .................................64

1.12.6 Flink 的三种时间语义......................................................................................... 64

1.12.7 你对 Watermark 的认识......................................................................................64

1.12.8 Watermark 多并行度下的传递、生成原理 ........................................................64

大数据技术之高频面试题

—————————————————————————————

1.12.9 Flink 怎么处理乱序和迟到数据？ ..................................................................... 65

1.12.10 说说 Flink 中的窗口（分类、生命周期、触发、划分）.............................65

1.12.11 Flink 的 keyby 怎么实现的分区？分区、分组的区别是什么？ ...................66

1.12.12 Flink 的 Interval Join 的实现原理？Join 不上的怎么办？ ............................. 66

1.12.13 介绍一下 Flink 的状态编程、状态机制？ ..................................................... 67

1.12.14 Flink 如何实现端到端一致性? ..........................................................................67

1.12.15 Flink 分布式快照的原理是什么 ....................................................................... 67

1.12.16 Checkpoint 的参数怎么设置的？..................................................................... 68

1.12.17 Flink 内存模型（重点） ................................................................................... 68

1.12.18 Flink 常见的维表 Join 方案 ...............................................................................69

1.12.19 FlinkCDC 锁表问题 ........................................................................................... 69

1.13 HBase ................................................................................................................................72

1.13.1 HBase 存储结构 ................................................................................................... 72

1.13.2 HBase 的写流程 ................................................................................................... 73

1.13.3 HBase 的读流程 ................................................................................................... 74

1.13.6 HBase 的合并 ....................................................................................................... 74

1.13.7 RowKey 设计原则 ................................................................................................74

1.13.8 RowKey 如何设计 ................................................................................................74

1.13.9 HBase 二级索引原理 ........................................................................................... 75

1.14 Clickhouse ........................................................................................................................ 75

1.14.1 Clickhouse 的优势 ................................................................................................ 75

1.14.2 Clickhouse 的引擎 ................................................................................................ 76

1.14.3 Flink 写入 Clickhouse 怎么保证一致性？ ......................................................... 76

1.14.4 Clickhouse 存储多少数据？几张表？................................................................76

1.14.5 Clickhouse 使用本地表还是分布式表................................................................76

1.14.6 Clickhouse 的物化视图........................................................................................76

1.14.8 Clickhouse 的优化 ................................................................................................ 76

1.14.9 Clickhouse 的新特性 Projection .......................................................................... 77

1.14.10 Cilckhouse 的索引、底层存储 ..........................................................................77

1.15 可视化报表工具............................................................................................................. 78

1.16 Doris ................................................................................................................................. 79

1.17 Sqoop ................................................................................................................................ 79

1.18 Azkaban ............................................................................................................................80

1.19 JavaSE .............................................................................................................................. 80

1.19.1 什么是多线程&多线程的优点 ...........................................................................80

1.19.2 如何创建多线程 ..................................................................................................80

1.19.3 如何创建线程池 ..................................................................................................80

1.19.4 ThreadPoolExecutor 构造函数参数解析 .............................................................81

1.19.5 列举线程安全的 Map 集合 ................................................................................ 81

1.19.6 StringBuffer 和 StringBuilder 的区别..................................................................81

1.19.7 ArrayList 和 LinkedList 的区别 ...........................................................................81

1.19.8 HashMap 和 HashTable 的区别 ...........................................................................81

1.19.9 HashMap 的底层原理 .......................................................................................... 81

1.19.10 HashMap 里面放 100 条数据，初始化应该是多少 ........................................83

大数据技术之高频面试题

—————————————————————————————

1.20 MySQL ............................................................................................................................. 83

1.20.1 MyISAM 与 InnoDB 的区别 ............................................................................... 83

1.20.2 MySQL 四种索引 .................................................................................................83

1.20.3 MySQL 的事务 .....................................................................................................84

1.20.4 MySQL 事务隔离级别 .........................................................................................84

1.20.5 MyISAM 与 InnoDB 对比 ................................................................................... 84

1.20.6 B 树和 B+树对比 ................................................................................................. 84

1.21 Redis ................................................................................................................................. 85

1.21.1 Redis 缓存穿透、缓存雪崩、缓存击穿.............................................................85

1.21.2 Redis 哨兵模式 .....................................................................................................85

1.21.3 Redis 数据类型 .....................................................................................................85

1.21.4 热数据通过什么样的方式导入 Redis ................................................................86

1.21.5 Redis 的存储模式 RDB，AOF ........................................................................... 86

1.21.6 Redis 存储的是 k-v 类型，为什么还会有 Hash？ ............................................86

1.22 JVM .................................................................................................................................. 86

第 2 章离线数仓项目 .................................................................................................................... 86

2.1 提高自信 ........................................................................................................................... 86

2.2 为什么做这个项目 ...........................................................................................................87

2.3 数仓概念 ........................................................................................................................... 87

2.4 项目架构 ........................................................................................................................... 88

2.5 框架版本选型 ................................................................................................................... 88

2.6 服务器选型 ....................................................................................................................... 89

2.7 集群规模 ........................................................................................................................... 90

2.8 人员配置参考 ................................................................................................................... 91

2.8.1 整体架构 ................................................................................................................ 91

2.8.2 你的职级等级及晋升规则 ....................................................................................91

2.8.3 人员配置参考 ........................................................................................................93

2.9 从 0-1 搭建项目，你需要做什么？ ............................................................................... 93

2.10 数仓建模准备 ................................................................................................................. 94

2.11 数仓建模 ......................................................................................................................... 95

2.12 数仓每层做了哪些事 .....................................................................................................97

2.13 数据量 ............................................................................................................................. 98

2.14 项目中遇到哪些问题？（*****） ...............................................................................99

2.15 离线---业务 ..................................................................................................................... 99

2.15.1 SKU 和 SPU ..........................................................................................................99

2.15.2 订单表跟订单详情表区别？ ..............................................................................99

2.15.3 上卷和下钻 ........................................................................................................ 100

2.15.4 TOB 和 TOC 解释 ..............................................................................................100

2.15.5 流转 G 复活指标 ............................................................................................... 101

2.15.6 活动的话，数据量会增加多少？怎么解决？ ............................................... 101

2.15.7 哪个商品卖的好？ ............................................................................................101

2.15.8 数据仓库每天跑多少张表，大概什么时候运行，运行多久？ ................... 101

2.15.9 哪张表数据量最大 ............................................................................................102

2.15.10 哪张表最费时间，有没有优化 ......................................................................103

剩余141页未读，继续阅读

评论收藏

内容反馈

Bigdata_shit

粉丝: 7
资源: 3

00-大数据技术之高频面试题+汇总.pdf

大数据-算法-基于MEMS技术的微型高频10省略00兆赫兹超声线性相控阵换能器.pdf

大数据技术之高频面试题8.0.2.pdf

大数据技术之高频面试题.docx

大数据技术之高频面试题7.5.pdf

大数据技术之高频面试题8.0.8(1)(1).docx

大数据技术之高频面试题7.zip

最新大数据技术之高频面试题.docx

大数据技术之高频面试题.pdf

大数据技术之高频面试题

大数据技术之高频面试题（doc版）.docx

大数据-互联网大厂面试真题附含答案高频面试题.pdf

大数据技术高频面试题

2020前端大厂高频面试题.pdf

《数据结构教程》是计算机科学领域的一本重要教材，它系统地介绍了常用的数据结构以及相关的查找和排序算法 以下是对《数据结构教程》的

2023年国赛数学建模高教社杯获奖优秀论文B题原文多波束测线问题

2022年数学建模国赛高教社杯C题古代玻璃制品的成分分析与鉴别优秀论文下载

数学建模国赛：无人机遂行编队飞行中的纯方位无源定位分析

PSG 3D 三维测绘系统

VRPTW 的 Solomon 标准测试数据集

最值得收藏的 数据结构 全部知识点思维导图整理(王道考研), 附带经典题型整理.emmx

origin2021下载免费分享

利用SVM（支持向量机）进行图像分割/提取-MATLAB

变分模态分解（VMD）代码

汽车系统动力学-轮胎公式

MATLAB的人脸识别系统GUI设计.zip

数据资产管理实践白皮书6.0

最新资源

《数据结构教程》是计算机科学领域的一本重要教材，它系统地介绍了常用的数据结构以及相关的查找和排序算法以下是对《数据结构教程》的

最值得收藏的数据结构全部知识点思维导图整理(王道考研), 附带经典题型整理.emmx