Hadoop安装（ubuntu16.04+ hadoop-2.9.1.tar.gz+jdk-8u74-linux-x64.tar...

Hadoop安装（ubuntu16.04+ hadoop-2.9.1.tar.gz+jdk-8u74-linux-x64.tar.gz） Hadoop是Apache开源项目中的一款大数据处理工具，它可以对大规模数据进行存储、处理和分析。Hadoop安装需要具备一定的基础环境，包括操作系统、Java环境和Hadoop软件包。 一、安装准备 1. 两台装有ubuntu16.04或者更新版本操作系统的物理机或虚拟机，主机名和IP地址分别为master（172.19.5.33）和slave01（172.19.5.34）。 2. Xshell和Xftp是必备的安装工具。 3. 本次安装使用ubuntu16.04+ hadoop-2.9.1.tar.gz+jdk-8u74-linux-x64.tar.gz。如果版本不同，参考Hadoop官方网站http://hadoop.apache.org/docs/。 二、更改主机名等信息 Step1:更改主机名 1. 在master节点中添加集群中主机IP和域名，编辑/etc/hosts文件。 2. 在master节点中更改主机名，将原来的主机名更改为master，编辑/etc/hostname文件。 3. 在slave01节点中添加集群中主机IP和域名，编辑/etc/hosts文件。 4. 在slave01节点中更改主机名，将原来的主机名更改为slave01，编辑/etc/hostname文件。 5. 重启master和slave01节点。 三、SSH免密登录 Step1:在master和slave01节点设置root登录密码 1. 在master节点设置登录密码，使用sudo passwd命令。 2. 在master节点配置文档，允许其它节点通过免密登录方式登录master节点，编辑/etc/ssh/sshd_config文件，添加PermitRootLogin yes。 3. 在slave01节点重复上述步骤。 Step2:master节点免密登录 1. 在su状态下设置免密登录，使用ssh-keygen命令生成秘钥对。 2. 添加master需要ssh免密登录访问的主机，也就是slave01，使用ssh-copy-id命令。 3. 验证是否可以免密登录slave01，使用ssh命令。 Step3:slave01节点免密登录 1. 在su状态下设置免密登录，使用ssh-keygen命令生成秘钥对。 2. 添加slave01需要ssh免密登录访问的主机，也就是master，使用ssh-copy-id命令。 3. 验证是否可以免密登录master，使用ssh命令。 本篇教程详细讲解了Hadoop安装的准备工作、主机名的更改、SSH免密登录的配置等知识点，旨在帮助读者快速了解Hadoop的安装和配置过程。