### Hadoop集群安装知识点
#### 一、环境部署与准备工作
**知识点1：Linux环境部署**
- **背景介绍**：为了构建Hadoop集群，首先需要搭建一个稳定的Linux环境。CentOS 7作为主流的选择之一，提供了强大的支持。CentOS 7的一些特性变化包括USB安装盘的制作方式以及网络配置等方面。
- **ISO镜像下载**：
- **链接**：http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso
- **注意事项**：确保下载的是最新版本，并且使用正确的工具来制作安装盘。
- **制作启动盘**：
- 使用`ImageWriter`工具来制作启动盘，避免使用WinISO等可能导致问题的工具。
- **步骤**：启动`diskimager`选择ISO文件并点击“Write”生成启动盘。
- **安装与配置**：
- **分区设置**：根据需求合理分配磁盘空间，确保有足够的空间用于Hadoop数据存储。
- **网卡配置**：默认情况下，CentOS 7可能未开启网卡。需要通过`ip addr show`查看网卡名称，例如`enp3s0`，然后编辑`/etc/sysconfig/network-scripts/ifcfg-enp3s0`，将`ONBOOT=no`改为`ONBOOT=yes`以启用网卡。
- **DNS配置**：编辑`/etc/resolv.conf`文件，添加DNS服务器地址。
**知识点2：Linux使用技巧**
- **Vi编辑器操作**：
- 删除全部内容：`:.,$d`
- 复制与粘贴：
- 单行复制：在命令模式下，将光标移到要复制的行，按`yy`。
- 多行复制：在命令模式下，将光标移到要复制的第一行，按`nyy`，其中`n`代表行数。
- 粘贴：在命令模式下，将光标移到要粘贴的位置，按`p`。
- **网络端口占用查看**：
- 命令：`netstat -tunlp | grep 50070`
- **文件解压与压缩**：
- 解压各种格式文件：
- `unzip MetInfo5.2.zip -d metinfo-bak`
- `tar -xvf file.tar` (解压tar)
- `tar -xzvf file.tar.gz` (解压tar.gz)
- `tar -xjvf file.tar.bz2` (解压tar.bz2)
- `tar -xZvf file.tar.Z` (解压tar.Z)
- `unrar e file.rar` (解压rar)
- `unzip file.zip` (解压zip)
- 压缩文件夹：
- `zip -9r /opt/etc.zip /etc` (将/etc目录下的所有文件及子目录压缩至/opt/etc.zip，设置压缩级别为最高)
- **系统状态查看**：
- 查看系统时间：`date "+%Y-%m-%d %H:%M:%S"`
- 修改系统时间：`date -s "20170211 20:22:00"`
- 设置时区：`cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime`
- **以树状形式输出目录结构**：
- 使用`find . | sort | sed '1d;s,[^/]*/,|,g;s/.$//'`命令，可以输出当前目录下的文件和子目录结构。
#### 二、Hadoop集群安装与配置
**知识点3：Hadoop集群安装流程**
- **软件准备**：根据集群规模和业务需求选择合适的Hadoop版本及相关组件。
- **安装Ambari**：
- **更新安装源**：确保安装源是最新的。
- **安装Ambari Server**：按照官方文档完成安装过程。
- **设置Ambari**：配置相关参数，如数据库连接信息等。
- **启动Ambari服务**：通过命令行或Ambari Web界面启动服务。
- **禁用防火墙**：为了避免防火墙导致的问题，可以通过命令`systemctl stop firewalld`来暂时关闭防火墙。
- **防火墙操作参考**：了解更多关于防火墙的操作方法，如允许特定端口等。
- **本地源方式安装**：如果无法通过网络访问安装源，可以选择本地源方式进行安装。
- **安装HDP**：
- **配置本地源**：当网络受限时，需要手动配置本地源。
- **设置SSH互信**：通过免密码SSH登录各节点以简化后续操作。
- **安装HDP**：按照官方指南进行安装。
- **配置NTP时钟服务**：确保集群内各节点的时间同步。
- **安装Kylin**：
- **安装Docker版Kylin**：适用于快速测试场景。
- **手动安装Kylin**：适用于生产环境或需要更细粒度控制的情况。
- **配置Hadoop客户端**：确保Kylin能够正确地与Hadoop集群交互。
**知识点4：常见问题与解决方法**
- **服务不能访问的问题**：排查网络配置是否正确，检查防火墙设置等。
- **Ambari-SmartSense启动不了**：查看日志文件，确认是否有错误信息，检查依赖服务的状态。
通过以上步骤，我们可以成功地搭建一个功能完整的Hadoop集群，并利用Ambari进行管理和监控。此外，通过安装Kylin等工具，进一步提升了数据分析的能力。
