Hadoop快速入门

### Hadoop快速入门知识点详解 #### 一、引言 Hadoop是一款开源的大数据处理框架，主要用于处理海量数据。本文档旨在帮助初学者快速掌握Hadoop的基本安装与使用方法，以便能够体验Hadoop分布式文件系统（HDFS）和Map-Reduce框架的功能。通过本指南，用户可以学习如何在HDFS上运行示例程序或简单的作业。 #### 二、先决条件 ##### 支持平台 - **GNU/Linux**：作为Hadoop的主要开发和运行平台。已经在由2000个节点组成的GNU/Linux集群上得到验证。 - **Win32平台**：支持作为开发环境，但分布式操作尚未充分测试，因此目前不作为生产环境支持。 ##### 所需软件 - **JavaTM 1.5.x**：必须安装，并建议使用Sun公司的Java版本。 - **SSH**：必须安装且保证sshd一直运行，以便通过Hadoop脚本管理远程Hadoop守护进程。 - **Windows下的附加软件需求**： - Cygwin：提供shell支持。 ##### 安装软件 如果集群尚未安装所需的软件，需要首先安装它们。例如，在Ubuntu Linux上可以使用以下命令来安装SSH和rsync： ```bash sudo apt-get install ssh sudo apt-get install rsync ``` 对于Windows平台，如果在安装Cygwin时未安装所有必需的软件包，则需要通过Cygwin安装管理器安装以下软件包： - openssh（Net类） #### 三、下载 为了获取Hadoop的发行版，可以从Apache的镜像服务器上下载最新的稳定发行版。 #### 四、运行Hadoop集群的准备工作 解压缩下载的Hadoop发行版后，需要进行以下步骤： 1. 编辑`conf/hadoop-env.sh`文件，至少需要将`JAVA_HOME`设置为Java安装根路径。 2. 使用`bin/hadoop`命令检查是否正确安装了Hadoop，该命令会显示Hadoop脚本的使用文档。 #### 五、启动Hadoop集群 Hadoop可以通过以下三种模式之一启动： - **单机模式** - **伪分布式模式** - **完全分布式模式** ##### 单机模式 单机模式下，Hadoop作为一个独立的Java进程运行，非常适合调试。 示例命令： ```bash mkdir input cp conf/*.xml input bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' cat output/* ``` ##### 伪分布式模式 在伪分布式模式下，每个Hadoop守护进程都在同一节点上作为一个独立的Java进程运行。 - **配置**：修改`conf/hadoop-site.xml`文件，添加以下配置： ```xml <configuration> <property> <name>fs.default.name</name> <value>localhost:9000</value> </property> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` - **免密码SSH设置**：确保可以无需密码通过SSH登录localhost。如果不行，可以执行以下命令： ```bash ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys ``` - **执行**：格式化新的分布式文件系统，并启动Hadoop守护进程： ```bash bin/hadoop namenode -format bin/start-all.sh ``` - 查看日志：Hadoop守护进程的日志位于`${HADOOP_LOG_DIR}`目录，默认为`${HADOOP_HOME}/logs`。 - 浏览NameNode和JobTracker的网络接口，默认地址为： - NameNode: `http://localhost:50070/` - JobTracker: `http://localhost:50030/` - **拷贝文件**：将输入文件复制到分布式文件系统： ```bash bin/hadoop fs -put conf input ``` - **运行示例程序**： ```bash bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' ``` ##### 完全分布式模式 在完全分布式模式下，Hadoop的各个组件分布在网络中的不同节点上，具体操作方法与伪分布式模式类似，但需要考虑网络通信和多节点之间的协调问题。 #### 六、总结 通过本指南，读者应该已经掌握了Hadoop的基本安装与使用方法。了解如何配置不同的运行模式，特别是单机模式和伪分布式模式，这对于理解Hadoop的工作原理至关重要。此外，通过实际操作，可以进一步加深对Hadoop的理解，为后续深入学习打下坚实的基础。