hadoop安装配置注意事项
需积分: 20 76 浏览量
2012-07-18
14:11:05
上传
评论
收藏 342KB PDF 举报
Linux CentOS 下 Hadoop 伪分布模式安装笔记
一. 概要
经过几天的调试，终于在 Linux Cent OS 5.0 下成功搭建 Hadoop 测试环境。
本次测试在一台服务器上进行伪分布式搭建。Hadoop 伪分布式模式是在单机上
模拟 Hadoop 分布式，单机上的分布式并不是真正的伪分布式，而是使用线程
模拟分布式。Hadoop 本身是无法区分伪分布式和分布式的，两种配置也很相似，
唯一不同的地方是伪分布式是在单机器上配置，数据节点和名字节点均是一个机
器。虽然 Hadoop 的安装步骤并不复杂，但是我在安装期间还是遇到了很多琐碎
的问题，现将自己搭建 Hadoop 的详细过程和遇到的问题记录下来。
二. 环境搭建
搭建测试环境所需的软件包括：jdk1.6.0_20、hadoop-0.20.2.tar.gz。测试
服务器操作系统 Linux Cent OS 5.0。
1. SSH 无密码验证配置
Hadoop 需要使用 SSH 协议，namenode 将使用 SSH 协议启动
namenode 和 datanode 进程，伪分布式模式数据节点和名称节点均是本身，必
须配置 SSH localhost 无密码验证。
用 root 用户登录，在家目录下执行如下命令：ssh-keygen -t rsa
[root@master ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): & 按回车默认路径 &
Created directory '/root/.ssh'. &创建/root/.ssh 目录&
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
c6:7e:57:59:0a:2d:85:49:23:cc:c4:58:ff:db:5b:38 root@master
通过以上命令将在/root/.ssh/ 目录下生成 id_rsa 私钥和 id_rsa.pub 公钥。进
入/root/.ssh 目录在 namenode 节点下做如下配置：
[root@master .ssh]# cat id_rsa.pub > authorized_keys
配置完毕，可通过 ssh 本机 IP 测试是否需要密码登录。
2. JDK 安装及 Java 环境变量的配置
资源评论
