完整版hadoop习题册.docx

【Hadoop知识点详解】 1. **大数据概述** - 大数据主要分为四个阶段：互联网初期（Web 1.0）、社交媒体（Web 2.0）、移动互联网（Web 3.0）以及智能互联网（Web 4.0）。 - 大数据的特点包括：种类和来源多样化、数据量巨大、分析处理速度快以及价值密度低。 - 大数据不仅包含海量数据，还包括结构化数据、半结构化数据和非结构化数据。 2. **数据单位换算** - 数据存储单位按照二进制进行换算，例如：1PB = 1024TB，1EB = 1024PB，1YB = 1024EB。 3. **结构化数据** - 结构化数据通常表现为二维表的形式，具有预定义的模式，例如数据库中的表格。 - 先有数据内容，再根据内容构建数据结构，如关系型数据库的设计。 - 数据库的结构化数据，先有数据内容，再有数据结构的设计。 4. **软件在大数据中的角色** - 软件是大数据的核心，提供了处理、存储和分析大数据的能力。 5. **云计算与Hadoop** - 云计算通常分为三层架构：IaaS（基础设施即服务）、PaaS（平台即服务）和SaaS（软件即服务）。 - Hadoop是基于云计算的数据处理框架，主要用于大数据的分布式计算。 - Hadoop中的MapReduce分阶段计算，第一阶段的输出作为下一阶段的输入，实现分布式处理。 - Hadoop的HDFS（Hadoop Distributed File System）将数据分割存储在多个节点，通过并行计算提高处理效率。 6. **Hadoop特性** - Hadoop具备高可靠性、可扩展性、高效率和低成本的特点，能够处理PB级别的数据。 - Hadoop集群可以在单机、虚拟分布和完全分布式模式下运行。 - 完全分布式模式下，各节点间使用SSH（Secure Shell）进行安全通信，配置文件如hdfs-site.xml、mapred-site.xml等需要相应修改。 7. **HDFS组件** - HDFS架构中有NameNode和DataNode，NameNode负责元数据管理，DataNode存储实际数据。 - Hadoop的核心组件包括HDFS和MapReduce，JobTracker和TaskTracker是旧版Hadoop的任务调度和执行组件，已在新版中被YARN取代。 - HDFS用于存储Hadoop集群中的文件，为海量数据提供分布式存储。 8. **Hadoop集群模式** - 单机模式是Hadoop安装的默认模式，适用于测试和学习。 - 虚拟分布模式模拟多节点集群，便于在一台机器上测试分布式功能。 - 完全分布模式在多台物理机器上运行，构成真实的生产环境集群。 9. **Hadoop集群安全** - 在完全分布式模式下，使用SSH实现节点间的无密码登录，通过信任列表管理从节点的公钥。 10. **HDFS操作** - HDFS提供了文件和目录的创建、删除、移动和复制等操作，支持文件的分块存储和副本机制，确保数据的可靠性。 以上是对Hadoop及其相关概念的详细解释，涵盖了大数据的基本特点、数据单位、结构化数据处理、云计算架构、Hadoop的计算模型、HDFS组件以及Hadoop集群的不同运行模式。这些知识点对于理解和使用Hadoop进行大数据处理至关重要。