ubuntu下搭建hadoop

### Ubuntu 下搭建 Hadoop Hadoop 是一个能够对大量数据进行分布式处理的软件框架，它在大数据处理领域占据着重要地位。本文将详细介绍如何在 Ubuntu 操作系统下搭建 Hadoop 的单机版与伪分布式环境。 #### 2.1 Hadoop 的单机搭建 ##### 2.1.1 准备工作 1. **安装 Ubuntu 虚拟机**：需要在虚拟机中安装 Ubuntu。推荐使用 Ubuntu 14.04 版本。安装过程包括创建一个新的虚拟机，并加载 Ubuntu 镜像文件进行自定义安装。安装过程中，需要配置虚拟机的启动方式和网络模式，例如将网络模式设置为桥接模式以便与宿主机进行通信。 2. **配置 BIOS**：进入虚拟机的 BIOS 设置，确保虚拟机可以从硬盘启动。这通常涉及到调整启动顺序，确保硬盘作为第一启动设备。此外，还可以根据需要调整其他 BIOS 设置，如安全设置等。 3. **安装 Ubuntu**：完成上述步骤后，启动 Ubuntu 安装向导，按照指示完成安装。 ##### 2.1.2 创建 Hadoop 用户 为了更好地管理 Hadoop 相关的操作，建议创建一个专用的 Hadoop 用户： 1. 打开终端，使用 `useradd` 命令创建用户，并指定主目录以及默认 shell： ```bash hadoop@hadoop-virtual-machine:~$ useradd -m hadoop -s /bin/bash ``` 2. 设置新用户的密码： ```bash hadoop@hadoop-virtual-machine:~$ passwd hadoop ``` 3. 为 Hadoop 用户添加管理员权限，以便更轻松地处理权限问题： ```bash hadoop@hadoop-virtual-machine:~$ sudo adduser hadoop sudo ``` 4. 注销当前用户，使用新创建的 Hadoop 用户登录。 ##### 2.1.3 更新 APT 使用 Hadoop 用户登录后，首先更新 APT 仓库： ```bash hadoop@hadoop-virtual-machine:~$ sudo apt-get update ``` 若出现“Hash 校验和不符”的提示，可以通过更改软件源来解决： 1. **更改软件源**：点击左侧任务栏的【系统设置】（齿轮图标），选择【软件和更新】。 2. 在【下载自】选项中选择【其他节点】，然后选择一个镜像站点，如阿里云的镜像站。 3. 点击【选择服务器】按钮，输入用户密码确认更改。 4. 关闭窗口，重新载入列表信息，等待更新完成。 ##### 2.1.4 安装 Vim 安装 Vim 编辑器，用于后续配置文件的编辑： ```bash hadoop@hadoop-virtual-machine:~$ sudo apt-get install vim ``` 安装时按提示输入 `y` 确认。 ##### 2.1.5 安装 SSH、配置 SSH 无密码登录 1. **安装 SSH Server**： ```bash hadoop@hadoop-virtual-machine:~$ sudo apt-get install openssh-server ``` 2. **测试 SSH 登录**：使用 `ssh localhost` 命令进行本地 SSH 登录测试，初次登录会提示输入密码。 3. **配置无密码登录**： - 退出 SSH 会话：`~$ exit` - 进入 `.ssh` 目录：`~$ cd ~/.ssh/` - 生成 SSH 密钥对：`~/.ssh$ ssh-keygen -t rsa` - 将公钥添加到授权文件中：`~/.ssh$ cat ./id_rsa.pub >> ./authorized_keys` 此后，使用 `ssh localhost` 命令即可实现无密码登录。 ##### 2.1.6 安装 Java 环境 1. **选择 Java 环境**：Hadoop 支持多种 Java 版本，可以根据需求选择 Oracle JDK 或 OpenJDK。 2. **安装 Java**：使用 `apt-get` 安装 Java，具体命令取决于选择的 Java 版本。 以上步骤完成了 Hadoop 单机环境的基础搭建。接下来可以继续配置 Hadoop 的核心文件，包括 `core-site.xml`、`hdfs-site.xml` 和 `yarn-site.xml` 等，从而支持 HDFS 文件系统的正常运行。此外，还需根据实际需求配置 Hadoop 的伪分布式或完全分布式环境。