1.Hadoop入门进阶课程_第1周_Hadoop1.X伪分布式安装.pdf

### Hadoop 1.X 伪分布式安装知识点概览 #### 1. Hadoop 简介 - **定义**: Apache Hadoop 是一个开源框架，它允许开发者通过简单的编程模型来处理大量的数据集，并且能够在集群服务器上进行分布式处理。 - **特点**: - **可扩展性**: 设计上可以从单个服务器扩展到成千上万台服务器，每台服务器都有自己的计算能力和存储能力。 - **高可用性**: 不依赖于硬件级别的高可用性，而是通过在应用层检测和处理硬件故障来实现。 #### 2. Hadoop 生态系统 - **HDFS (Hadoop Distributed File System)**: - **功能**: 分布式文件系统，负责存储大规模数据集。 - **作用**: 提供了基础的数据存储服务，支持其他组件如 HBase 的运行。 - **MapReduce**: - **工作原理**: 将任务分解为 map 和 reduce 两个阶段，实现并行处理。 - **优势**: 能够实现对数据的快速访问。 - **HBase**: - **性质**: 面向列的 NoSQL 数据库。 - **应用场景**: 快速读写大量数据。 - **Zookeeper**: - **作用**: 分布式协调服务，确保组件间的正常通信。 - **功能**: 进行集群管理和服务发现。 - **Pig**: - **语言**: PigLatin，一种用于分析 Hadoop 数据集的脚本语言。 - **目的**: 抽象 MapReduce 的复杂性，简化数据分析过程。 - **Hive**: - **语言**: 类似 SQL 的高级语言，用于执行存储在 Hadoop 上的查询语句。 - **目标用户**: 不熟悉 MapReduce 的数据分析师。 - **Sqoop**: - **功能**: 在关系型数据库、数据仓库与 Hadoop 之间传输数据。 - **优势**: 利用数据库技术进行架构描述和数据迁移。 - **Flume**: - **功能**: 分布式、可靠且高效地收集、聚合和移动大量日志数据。 - **应用场景**: 适用于从多台计算机向 HDFS 传输数据。 #### 3. Apache Hadoop 版本衍化 - **Hadoop 1.0**: - **版本**: - 0.20.x, 0.21.x, 0.22.x - **最终版本**: 0.20.x 演化为 1.0.x 成为稳定版本。 - **新特性**: 0.21.x 和 0.22.x 引入了 NameNodeHA 等新特性。 - **Hadoop 2.0**: - **版本**: - 0.23.x, 2.x - **架构革新**: - HDFSFederation 和 YARN。 - **新特性**: 2.x 版本新增了 NameNodeHA 和 Wire-compatibility。 #### 4. Hadoop 安装方式 - **单机模式**: - **特点**: 安装简单，无需额外配置。 - **用途**: 仅限于调试。 - **伪分布式模式**: - **特点**: 单节点上启动多个组件 (NameNode, DataNode, JobTracker, TaskTracker 等)。 - **用途**: 适用于小规模测试和开发环境。 - **完全分布式模式**: - **特点**: 在多节点集群中部署 Hadoop。 - **用途**: 实际生产环境中使用。 #### 5. Hadoop 1.X 伪分布式安装步骤 虽然文档没有详细列出伪分布式安装的具体步骤，但通常包括以下关键步骤: - **准备环境**: 确保操作系统兼容，安装 Java 环境。 - **下载与解压**: 下载 Hadoop 1.X 的安装包，并解压缩到指定目录。 - **配置文件**: 修改 `core-site.xml`, `hdfs-site.xml`, `mapred-site.xml` 等配置文件，设置 HDFS 和 MapReduce 的参数。 - **格式化 HDFS**: 使用 `hadoop namenode -format` 命令初始化 HDFS。 - **启动服务**: 使用脚本启动 NameNode, DataNode, JobTracker 和 TaskTracker 等组件。 - **验证**: 通过命令或 Web 界面验证 HDFS 和 MapReduce 是否正常运行。 ### 总结 Hadoop 作为一款强大的大数据处理框架，其核心在于通过分布式文件系统 HDFS 和并行计算框架 MapReduce 来实现对海量数据的存储和处理。本文从 Hadoop 的基本概念出发，介绍了 Hadoop 生态系统中的关键组件及其作用，并概述了 Hadoop 的不同版本及其主要特征。此外，还详细解释了 Hadoop 的安装方式，特别是针对伪分布式安装的过程进行了简要说明。对于初学者来说，理解这些基础知识是非常重要的第一步，它可以帮助更好地掌握 Hadoop 的实际应用。