### Hadoop技术答疑知识点汇总
#### 一、YARN Log Aggregation
- **知识点概述**：YARN（Yet Another Resource Negotiator）中的日志聚合(Log Aggregation)功能是指将作业运行过程中产生的日志文件集中存储到HDFS中，以便进行统一管理和分析。此功能能够帮助用户更方便地查看和管理日志，对于故障排查、性能调优等方面具有重要意义。
- **配置项**: `yarn.log-aggregation-enable` 配置项用于控制是否开启日志聚合功能。
- **常见问题**：
- 开启日志聚合功能后，若该配置未能生效，需确保该配置已正确设置，并且重启相关服务或节点。
- 日志聚合的实现依赖于YARN框架及HDFS的支持。
#### 二、Hadoop调度器与负载均衡
- **知识点概述**：Hadoop的调度器负责任务的分配和执行，包括Capacity Scheduler、Fair Scheduler等多种类型。其中，Fair Scheduler旨在实现资源公平分配的同时考虑到了一定程度的负载均衡。
- **调度器机制**：
- **Capacity Scheduler**：主要基于容量分配策略，但并不直接支持负载均衡机制。
- **Fair Scheduler**：通过动态调整资源分配来实现负载均衡，更适合于多租户环境下的资源分配。
- **常见问题**：
- 负载均衡是Spark/Shark较少遇到的问题，但在Hadoop中较为显著。通过合理选择调度器，如使用Fair Scheduler，可以在一定程度上缓解这一问题。
#### 三、处理数据倾斜与小文件问题
- **知识点概述**：数据倾斜指的是在MapReduce任务中某些任务处理的数据量远大于其他任务的现象，这会导致整体处理时间增加。小文件问题则是指当HDFS中存在大量小文件时，会显著增加DataNode的元数据管理开销，影响系统性能。
- **解决方案**：
- **数据倾斜**：在应用层面对数据进行预处理，例如通过合理的分区策略减少数据倾斜现象。
- **小文件问题**：
- 避免直接在HDFS中存储大量小文件，可以考虑使用其他更适合小文件的存储系统。
- 对小文件进行合并操作，减少文件数量。
- 使用特定的技术手段如SequenceFile或CombineFile等，将多个小文件打包成一个较大的文件进行存储。
#### 四、Hadoop学习路径
- **知识点概述**：针对初学者，推荐从实践中学习Hadoop技术，包括搭建Hadoop环境、了解其核心组件等。
- **学习资源**：
- 推荐书籍：《Hadoop权威指南》等。
- 实践项目：搭建Hadoop集群并尝试进行简单的数据分析任务。
#### 五、Hadoop与HBase、MySQL的数据流转
- **知识点概述**：在大数据处理流程中，原始数据通常首先存储到HDFS中，然后经过MapReduce等计算框架处理后，结果数据可以存储到HBase或MySQL中。
- **数据流转流程**：
- 原始数据→导入到HDFS→MapReduce计算→结果数据导入HBase→通过脚本等手段进一步处理后导入MySQL。
#### 六、Hadoop发行版选择
- **知识点概述**：Apache Hadoop是开源项目，而Cloudera的CDH则是基于Apache Hadoop构建的企业级发行版之一。
- **选择建议**：根据实际情况选择合适的发行版，如需更多企业级支持和服务，可考虑使用CDH。
#### 七、YARN中的资源隔离
- **知识点概述**：YARN支持通过cgroups(Cgroups v1/v2)进行资源隔离，实现CPU、内存等资源的有效管理和分配。
- **实现方式**：
- 在YARN配置中启用cgroups相关配置。
- 参考官方文档或社区指南进行详细配置。
#### 八、Spark适用于迭代式数据处理的原因
- **知识点概述**：Spark相较于MapReduce更适合于迭代式数据处理，这是因为Spark提供了高效的数据缓存机制，能够在内存中保存中间结果，减少磁盘I/O开销。
- **原因分析**：
- Spark利用RDD（弹性分布式数据集）模型支持高效的数据重用。
- 内存中的数据缓存减少了重复计算的开销，提高了迭代处理的速度。
#### 九、纠删码技术在Hadoop中的应用
- **知识点概述**：纠删码(Erasure Coding)是一种数据冗余技术，用于提高数据存储效率和容错能力。Hadoop早期版本中包含了一个名为HDFS-RAID的工具，但后来的版本中并未继续维护和发展。
- **应用问题**：
- HDFS-RAID存在的问题及限制可能影响了其后续版本的发展。
- 将纠删码技术应用于Hadoop中需要注意与现有存储体系的兼容性、性能影响等因素。
#### 十、Hadoop的核心作用
- **核心作用**：Hadoop提供了一种分布式存储(HDFS)和分布式计算(MapReduce/YARN)的解决方案，适用于处理大规模数据集。
