Ubuntu下的Hadoop安装教程
### Hadoop 在 Ubuntu 下的安装教程 #### 一、安装 Linux 操作系统 在搭建 Hadoop 开发环境之前,首先需要确保系统环境已准备好。本文档假设你正在使用 Ubuntu 12.04 操作系统。 如果你还没有安装 Linux 操作系统,可以选择在 Windows 中安装 Linux。文中提到使用的是 Ubuntu 11.10,但建议升级到 Ubuntu 12.04 版本以获得更好的支持。下面是简化的安装步骤: 1. **下载镜像文件**:从官方网站或其他可信来源下载 Ubuntu 11.10 或 Ubuntu 12.04 的 ISO 镜像文件。 2. **使用虚拟光驱安装**:使用虚拟光驱软件(例如 Daemon Tools)打开 ISO 文件,并执行里面的 `wubi.exe` 程序来在 Windows 环境下安装 Ubuntu。 3. **配置参数并重启**:根据提示配置安装参数,完成安装后需要重启计算机,并在启动时手动选择进入 Ubuntu。 #### 二、创建 Hadoop 用户组和用户 为了便于管理和操作 Hadoop,推荐创建一个专用的用户组和用户。 1. **创建用户组**:使用 `addgroup hadoop` 命令创建用户组。 2. **创建用户**:使用 `adduser hadoop` 命令创建用户,并指定该用户属于 `hadoop` 组。 3. **赋予权限**:编辑 `/etc/sudoers` 文件,为 `hadoop` 用户添加与 root 用户相同的权限,即添加行 `hadoop ALL=(ALL:ALL) ALL`。 #### 三、安装 JDK Hadoop 需要 Java 运行环境支持,因此在安装 Hadoop 之前,需要安装 JDK。 1. **下载 JDK**:访问 Oracle 官方网站或使用第三方仓库提供的包来安装 JDK。 2. **安装 JDK**:使用 `apt-get install openjdk-7-jdk` 或 `apt-get install openjdk-8-jdk` 命令安装 OpenJDK。 3. **验证安装**:使用 `java -version` 命令检查 JDK 是否正确安装。 #### 四、修改机器名 为了便于集群中的识别,每台机器应具有唯一的机器名。 1. **修改机器名**:编辑 `/etc/hostname` 文件,将默认的 `ubuntu` 改为自定义的名称,例如 `s15`。 2. **重启系统**:修改后需重启系统使更改生效。 #### 五、安装 SSH 服务 SSH 是用于安全登录和管理远程计算机的服务,对于分布式系统的部署非常重要。 1. **安装 OpenSSH**:使用 `sudo apt-get install openssh-server` 命令安装 OpenSSH 服务。 2. **解决安装问题**:如果安装过程中遇到问题,可以尝试使用 `sudo dpkg --configure -a` 命令解决。 #### 六、建立 SSH 无密码登录 为了简化集群内部的通信,可以通过 SSH 实现无密码登录。 1. **生成密钥**:使用 `ssh-keygen` 命令生成密钥对,默认采用 RSA 方式。 2. **复制公钥**:将生成的公钥文件 `id_rsa.pub` 内容追加到 `.ssh/authorized_keys` 文件中。 3. **测试登录**:使用 `ssh localhost` 命令测试是否可以无密码登录。 #### 七、安装 Hadoop 1. **下载 Hadoop**:从官方网站下载 Hadoop 的压缩包,推荐使用 Hadoop-0.20.203 版本。 2. **解压安装**:将下载的文件解压到合适的目录。 3. **配置环境变量**:编辑 `/etc/environment` 文件,添加 Hadoop 的路径。 4. **配置 Hadoop**:编辑 Hadoop 的配置文件,包括 `core-site.xml` 和 `hdfs-site.xml` 等。 5. **启动 Hadoop**:使用 `bin/hdfs namenode -format` 格式化文件系统,并使用 `start-dfs.sh` 和 `start-yarn.sh` 启动 Hadoop 服务。 6. **测试运行**:通过运行简单的 MapReduce 程序来测试 Hadoop 环境是否正常工作。 以上步骤提供了在 Ubuntu 12.04 操作系统上搭建 Hadoop 开发环境的详细指南,按照这些步骤操作,可以顺利地搭建起一个功能完善的 Hadoop 单机环境。
- zhangjians2015-12-08东西倒是挺全,就是比较老了。建议新学员先学习linux基础再看,hadoop也学习最新的。
- 粉丝: 23
- 资源: 4
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助