产品名字 版本
centos 7.5
kubernetes 1.13
docker 18.09.5
JDK 1.8_131
SSH 7.4
etcd 3.3.10(API version:2)
flannel 0.10.0
TOMCAT 8
Mysql 5.6
Ambari 2.7
HDP 3.0
ElasticSearch 6.5.1
Kibana 6.5.1
Logstash 6.5.1
Neo4j 3.4
esxi 6.5
MAVEN 3.6
ElasticSearch 6.5.1
Kibana 6.5.1
Logstash 6.5.1
目录：
1. ESXI6.5创建centos虚拟机 10
1.1. 准备工作 10
1.2. 创建新的虚拟机 10
2. ESXI虚拟机克隆 13
2.1. 创建文件夹 13
2.2. 复制文件 13
2.3. 注册现有虚拟机 14
2.4. 为克隆的虚拟机添加硬盘 15
3. HPE服务器Centos7.5安装 16
3.1. 服务器（DL388 Gen10）加载镜像文件 16
3.2. 系统安装、配置 18
3.2.1. 选中【install centos7】 18
3.2.2. 语言 18
3.2.3. 其他配置 18
3.2.4. 时区 18
3.2.5. 软件包安装 19
3.2.6. 磁盘分区 19
3.2.7. root用户密码配置 20
3.2.8. 完成安装 20
3.3. IP地址、主机名设置 20
3.4. 磁盘挂载并开机自动挂载 22
3.4.1. 磁盘挂载（如果超过2T的挂载则看超过2T的挂载章节） 22
3.4.2. 设置开机时自动挂载 23
3.4.3. 超过2T的挂载 23
3.5. 磁盘分区扩容 25
3.5.1. 根目录 25
3.5.2. 普通目录 26
3.6. Vim命令安装 26
3.7. Wget命令安装 26
3.8. 查看端口占用命令 26
3.9. 新建用户、用户组并设置root权限 26
4. SSH免密 27
4.1. 查看SSH是否安装，需要客户端与服务都安装，centos7自带ssh服务，一般可以跳过安装步骤 27
4.2. 安装命令 27
4.3. service sshd restart 启动、重启SSH服务； 27
4.4. 开机启动。 27
4.5. 退出SSH命令 27
4.6. SSH免密登录 27
5. 同步系统时间，（分布式系统各个节点需要同步时间） 27
5.1. 安装NTP插件 27
5.2. 同步时间： 27
6. JDK 28
7. Maven 28
8. Tomcat 29
8.1. 配置tomcat的环境变量和内存设置 29
8.2. 服务自启动 30
9. Mysql 30
9.1. 离线安装 30
9.2. 在线安装 30
9.2.1. 检测系统是否自带安装mysql 30
9.2.2. 下载yum包 30
9.2.3. 安装mysql 30
9.2.4. 启动服务 30
9.2.5. 设置root密码 30
9.2.6. 设置开机自启 31
9.2.7. mysql安全设置 31
9.2.8. 创建数据库 31
9.2.9. 创建用户 31
9.2.10. 更改数据存储路径 31
9.2.11. 开启binlog日志 32
9.2.12. 修改mysql配置文件 32
9.3. 问题整理 33
10. Apache Http文件服务器 33
10.1. 安装http 33
10.2. 修改Http服务器根路径 33
10.3. 中文乱码 33
10.3.1. 文件内容中文乱码 33
10.3.2. 文件名字中文乱码 33
10.4. 修改目录文件名不要被截断 33
11. Ambari 33
11.1. 安装相关服务 33
11.2. 同步所有节点时间 34
11.3. IP与主机名映射 34
11.4. SSH免密 34
11.5. JDK安装（建议1.8） 34
11.6. 关闭防火墙、selinux、THP 34
11.7. 最大打开文件要求 34
11.8. mysql配置（server机器操作） 34
11.8.1. 创建数据库 34
11.8.2. 下载mysql-connection-java 34
11.9. 部署本地库（镜像服务器）（server机器操作） 35
11.9.1. 下载HortWorks官网上的4个库到本地（也可以在线下载，但是速度会很慢） 35
11.9.2. 创建本地yum源 35
11.9.3. 上传文件 35
11.9.4. 解压文件 35
11.9.5. 新建一个httpd资源库文件夹 35
11.9.6. 修改本地源地址 35
11.10. Ambari-server端安装部署（server机器操作） 36
11.10.1. 安装Ambari-server 36
11.10.2. 配置Ambari-server 36
11.10.3. 查看并启动Ambari-server 37
11.10.4. Ambari登陆 38
11.11. Ambari集群搭建（所有agent节点机器操作） 38
11.11.1. 安装agent 38
11.11.2. 部署Agent 39
11.11.3. 创建集群： 39
11.11.4. 存储库地址配置： 40
11.11.5. 节点配置： 40
11.11.6. 节点验证： 41
11.11.7. 选择需要安装的服务： 41
11.11.8. 主服务节点配置，尽量均匀分布： 42
11.11.9. 从服务、客户端节点配置： 42
11.11.10. 密码配置： 42
11.11.11. 数据库配置 42
11.11.12. 修改服务存储、日志路径： 44
11.11.13. 用户名配置 44
11.11.14. 配置文件更改 45
11.11.15. 部署 45
11.12. Ambari 卸载服务 48
11.13. 登陆地址 48
11.14. 异常处理 48
11.15. 警告 50
11.15.1. Ambari Metrics ,Hbase rootdir路径问题 50
11.15.2. Atlas 51
12. Ambari集成ElasticSearch6.x 51
12.1. 通过SSH把源码传到centos机器上 51
12.2. 复制源码到Ambari 51
12.3. 编辑metainfo.xml文件 51
12.4. 启动/重启Ambari 51
12.5. 添加服务 51
13. ElasticSearch集群搭建 54
13.1. 解压文件：必须使用非root用户安装和启动 54
13.2. 创建目录 54
13.3. 配置文件 55
13.4. 系统配置文件 55
13.5. 启动服务 56
13.6. 添加系统服务自启动 56
13.7. Head安装 57
13.8. 登陆地址 57
13.9. ES跨域访问配置 57
13.10. IK分词器安装 57
13.11. Cerebro配置 57
13.12. 集群使用经验 58
13.13. 问题整理 58
14. Elasticsearch与reactivesearch快速构建搜索项目 58
15. kibana 59
15.1. 配置kibana配置文件 59
15.2. 启动、停止服务 59
15.3. 登陆地址 59
15.4. 汉化 59
16. Neo4j 59
16.1. 下载地址： 59
16.2. 解压缩： 59
16.3. SSH复制文件到其他节点： 60
16.4. 启动服务: 60
16.5. 登陆地址 60
16.6. 账号密码： 60
16.7. neo4服务自启动 60
16.8. 配置文件解释 61
17. 安装logstash插件同步ES-mysql数据 65
17.1. 下载logstash（版本需与ES一致） 65
17.2. 安装logstash-input-jdbc插件步骤： 65
17.3. 启动logstash 66
18. HDFS 67
18.1. 退出安全模式： 67
19. Kafka 67
19.1. 优化 67
20. Spark2.x 68
20.1. 示例执行 68
21. YARN 68
21.1. 错误处理 68
22. Docker安装 68
22.1. 在线安装 68
22.1.1. 使用国内docker源 68
22.1.2. Docker安装 68
22.1.3. 启动进程 68
22.2. RPM安装方式 68
22.2.1. 安装libtool-ltdl 68
22.2.2. 关闭selinux和内存交换 69
22.2.3. 安装docker-ce-selinux，docker-ce 69
22.3. 二进制文件安装方式 69
22.3.1. 下载地址 69
22.3.2. 安装配置 69
23. Kubernetes集群搭建准备 70
23.1. 机器规划： 70
23.2. 所有节点添加环境变量 70
23.3. 下载地址 70
23.4. 解压文件 70
23.5. Server节点CA证书创建分发 70
23.5.1. 安装cfssl 70
23.5.2. 创建用来生成 CA 文件的 JSON 配置文件 71
23.5.3. 创建用来生成 CA 证书签名请求（CSR）的 JSON 配置文件 71
23.5.4. 生成CA证书（ca.pem）和密钥（ca-key.pem） 71
23.5.5. 分发证书 72
24. ETCD数据库集群搭建 72
24.1. 创建etcd证书签名请求 72
24.2. 生成证书和私钥 73
24.3. 创建配置文件 73
24.4. 创建服务文件 74
24.5. 拷贝etcd.conf和etcd.service文件到其他2个节点 74
24.6. 启动服务 74
24.7. 测试集群 75
24.8. 注意事项 75
25. Kubernetes集群安装部署 75
25.1. Master节点部署 75
25.1.1. 复制文件 75
25.1.2. 部署kube-apiserver服务 75
25.1.3. 部署kube-controller-manager服务 78
25.1.4. 部署kube-scheduler服务 79
25.1.5. 部署kubectl 命令行工具 79
25.2. Node节点部署 81
25.2.1. 复制文件 81
25.2.2. 部署kubelet 81
25.2.3. 部署Kube-proxy服务 84
25.3. Flannel网络配置 86
25.3.1. 下载地址 86
25.3.2. 解压文件 86
25.3.3. 复制文件 86
25.3.4. 生成ca配置文件与证书 86
25.3.5. 分发证书 87
25.3.6. 配置文件 87
25.3.7. Flannel CNI集成 88
25.3.8. 启动服务 88
25.3.9. 配置Docker使用Flannel 89
25.4. coredns安装 89
25.4.1. 编辑配置文件 89
25.4.2. 创建coredns 93
25.4.3. 查看coredns服务 93
25.4.4. Pod容器中进行域名解析测试 93
25.5. kubernetes-dashboard部署 93
26. GlusterFS分布式文件系统部署 95
26.1. 在kubernetes中部署 95
26.1.1. 安装： 95
26.1.2. 创建Heketi服务： 97
26.1.3. 为Heketi设置GlusterFS集群 99
26.2. yum部署 99
26.3. 创建分布式卷 99
27. SpringBoot 100
28. SpringCloud 100
### CentOS 7.5 大数据平台搭建知识点
#### 一、ESXI 6.5 创建 CentOS 虚拟机
##### 1.1. 准备工作
- 在ESXI管理界面中选择【存储】，点击【数据存储浏览器】。
- 选择目标磁盘（如SSD_DS），创建名为【centos6.5】的新目录。
- 上传centos-xxxx.iso文件到新建的目录中。
##### 1.2. 创建新的虚拟机
- 选择【虚拟机】，点击【创建/注册虚拟机】。
- 在第一步中选择【创建新虚拟机】，点击下一步。
- 输入虚拟机名称（如simlab_s1），选择操作系统与版本，点击下一步。
- 选择存储设备（如SSD），点击下一步。
- 配置硬件资源：CPU数量、内存大小、硬盘容量等，并指定硬盘的位置及置备类型。
- 设置CD/DVD驱动器为数据存储ISO文件，选择centos系统ISO文件。
- 完成以上步骤后，点击【完成】按钮创建虚拟机。
#### 二、ESXI虚拟机克隆
##### 2.1. 创建文件夹
- 选择【存储】-【数据存储浏览器】-【SSD_DS】和【HDD_DS】，创建新目录（如simlab_s2）。
##### 2.2. 复制文件
- 通过SSH连接到ESXI服务器，找到需要克隆的虚拟机源文件。
- 复制源文件夹中的.vmx文件到新文件夹下。
- 克隆源磁盘文件到新文件夹下（确保源虚拟机已关闭）。
- 修改新.vmx文件中的名称。
##### 2.3. 注册现有虚拟机
- 选择【虚拟机】-【创建/注册虚拟机】，选中【注册现有虚拟机】。
- 选择已复制的文件，完成注册。
##### 2.4. 为克隆的虚拟机添加硬盘
- 打开克隆的虚拟机，编辑虚拟机设置。
- 删除当前硬盘，再添加新的硬盘。
#### 三、HPE服务器 CentOS 7.5 安装
##### 3.1. 服务器（DL388 Gen10）加载镜像文件
- 通过ILO远程管理登录服务器。
- 选择【虚拟驱动器】-【映像文件】，加载CentOS安装ISO文件。
##### 3.2. 系统安装、配置
- **3.2.1. 选中【install centos7】**：启动安装过程。
- **3.2.2. 语言**：选择英语。
- **3.2.3. 其他配置**：进行系统配置。
- **3.2.4. 时区**：设置时区为上海。
- **3.2.5. 软件包安装**：选择最小化安装。
- **3.2.6. 磁盘分区**：注意更改分区文件格式为ext4（除swap分区）。
- **3.2.7. root用户密码配置**：设置root用户的密码。
- **3.2.8. 完成安装**：等待安装完成并重启。
##### 3.3. IP地址、主机名设置
- **IP地址设置**：编辑`/etc/sysconfig/network-scripts/ifcfg-ens33`文件，配置静态IP地址、子网掩码、网关和DNS等信息。
#### 四、SSH 免密登录
##### 4.1. 查看SSH是否安装
- CentOS 7 自带SSH服务，通常无需额外安装。
##### 4.2. 安装命令
- 如果未安装，可以使用命令`yum install openssh-server`进行安装。
##### 4.3. service sshd restart
- 启动或重启SSH服务。
##### 4.4. 开机启动
- 设置SSH服务开机启动：`systemctl enable sshd.service`。
##### 4.5. 退出SSH命令
- 使用`exit`命令退出SSH会话。
##### 4.6. SSH免密登录
- 生成公钥和私钥对：`ssh-keygen -t rsa`。
- 将公钥复制到目标主机：`ssh-copy-id user@target-host`。
#### 五、同步系统时间
##### 5.1. 安装NTP插件
- 使用命令`yum install ntpdate`安装NTP插件。
##### 5.2. 同步时间
- 运行`ntpdate pool.ntp.org`来同步系统时间。
#### 六、JDK 安装
- 使用命令`yum install java-1.8.0-openjdk`安装OpenJDK 1.8。
#### 七、Maven 安装
- 下载Maven压缩包。
- 解压文件。
- 配置环境变量。
#### 八、Tomcat 安装与配置
##### 8.1. 配置tomcat的环境变量和内存设置
- 在`/etc/profile.d/tomcat.sh`中配置Tomcat环境变量。
- 在`$CATALINA_HOME/bin/catalina.sh`中设置内存参数。
##### 8.2. 服务自启动
- 创建Tomcat的Systemd服务文件`/etc/systemd/system/tomcat.service`。
- 启用服务：`systemctl enable tomcat`。
#### 九、MySQL 安装
##### 9.1. 离线安装
- 下载MySQL安装包。
- 安装并配置MySQL。
##### 9.2. 在线安装
- **9.2.1. 检测系统是否自带安装mysql**：`rpm -qa | grep mysql`。
- **9.2.2. 下载yum包**：`wget https://repo.mysql.com/mysql80-community-release-el7-3.noarch.rpm`。
- **9.2.3. 安装mysql**：`rpm -ivh mysql80-community-release-el7-3.noarch.rpm`。
- **9.2.4. 启动服务**：`systemctl start mysqld`。
- **9.2.5. 设置root密码**：使用`mysql_secure_installation`脚本。
- **9.2.6. 设置开机自启**：`systemctl enable mysqld`。
- **9.2.7. mysql安全设置**：运行`mysql_secure_installation`。
- **9.2.8. 创建数据库**：登录MySQL并创建数据库。
- **9.2.9. 创建用户**：创建MySQL用户。
- **9.2.10. 更改数据存储路径**：修改`/etc/my.cnf`文件中的datadir参数。
- **9.2.11. 开启binlog日志**：在`/etc/my.cnf`中启用binlog功能。
- **9.2.12. 修改mysql配置文件**：调整`/etc/my.cnf`中的其他配置选项。
#### 十、Apache HTTP 文件服务器
##### 10.1. 安装http
- 使用`yum install httpd`命令安装Apache HTTP Server。
##### 10.2. 修改Http服务器根路径
- 编辑`/etc/httpd/conf/httpd.conf`，修改DocumentRoot路径。
##### 10.3. 中文乱码
- **10.3.1. 文件内容中文乱码**：设置字符编码。
- **10.3.2. 文件名字中文乱码**：修改Apache配置文件中的`DefaultLanguage`。
##### 10.4. 修改目录文件名不要被截断
- 调整Apache配置文件中的`DirectoryIndex`选项。
#### 十一、Ambari 安装与配置
##### 11.1. 安装相关服务
- 安装Java、MySQL等依赖服务。
##### 11.2. 同步所有节点时间
- 使用NTP服务同步时间。
##### 11.3. IP与主机名映射
- 更新`/etc/hosts`文件。
##### 11.4. SSH免密
- 配置SSH免密登录。
##### 11.5. JDK安装（建议1.8）
- 使用`yum install java-1.8.0-openjdk`安装JDK 1.8。
##### 11.6. 关闭防火墙、selinux、THP
- 关闭不必要的服务。
##### 11.7. 最大打开文件要求
- 调整系统最大打开文件数量限制。
##### 11.8. mysql配置（server机器操作）
- **11.8.1. 创建数据库**：创建Ambari使用的数据库。
- **11.8.2. 下载mysql-connection-java**：下载JDBC驱动。
##### 11.9. 部署本地库（镜像服务器）
- 下载并部署Ambari镜像。
##### 11.10. Ambari-server端安装部署
- 安装Ambari-server。
- 配置Ambari-server。
- 启动Ambari-server服务。
##### 11.11. Ambari集群搭建
- 安装Agent。
- 配置Agent。
- 创建集群。
- 配置集群。
- 验证集群状态。
#### 十二、Ambari 集成 ElasticSearch 6.x
- 集成ElasticSearch到Ambari平台。
- 通过SSH传输源码文件。
- 修改配置文件。
- 启动/重启Ambari服务。
#### 十三、ElasticSearch 集群搭建
- 安装并配置ElasticSearch服务。
- 创建目录结构。
- 配置ElasticSearch配置文件。
- 配置系统级参数。
- 启动服务。
- 添加自启动脚本。
- 安装Head插件。
- 配置跨域访问。
- 安装IK分词器。
- 配置Cerebro。
- 集群管理经验分享。
#### 十四、Elasticsearch与reactivesearch快速构建搜索项目
- 构建基于Elasticsearch的搜索应用。
#### 十五、Kibana 安装与配置
- 安装Kibana。
- 配置Kibana配置文件。
- 启动/停止Kibana服务。
- 登录Kibana界面。
- 实现汉化。
#### 十六、Neo4j 安装与配置
- 下载Neo4j安装包。
- 解压缩安装包。
- 配置Neo4j服务。
- 启动Neo4j服务。
- 登录Neo4j界面。
- 设置Neo4j自启动。
- 配置Neo4j配置文件。
#### 十七、安装logstash插件同步ES-mysql数据
- 下载并安装Logstash。
- 安装logstash-input-jdbc插件。
- 启动Logstash。
#### 十八、HDFS
- 初始化HDFS。
- 退出安全模式。
#### 十九、Kafka
- 配置优化。
#### 二十、Spark 2.x
- 示例执行。
#### 二十一、YARN
- 错误处理。
#### 二十二、Docker 安装
- 在线安装。
- RPM安装方式。
- 二进制文件安装方式。
#### 二十三、Kubernetes 集群搭建准备
- 机器规划。
- 添加环境变量。
- 下载Kubernetes组件。
#### 二十四、ETCD 数据库集群搭建
- 创建etcd证书签名请求。
- 生成证书和私钥。
- 创建配置文件。
- 创建服务文件。
- 启动服务。
- 测试集群。
#### 二十五、Kubernetes 集群安装部署
- Master节点部署。
- Node节点部署。
- Flannel网络配置。
- coredns安装。
- kubernetes-dashboard部署。
#### 二十六、GlusterFS 分布式文件系统部署
- 在Kubernetes中部署。
- yum部署。
- 创建分布式卷。
#### 二十七、SpringBoot
- SpringBoot基础知识。
#### 二十八、SpringCloud
- SpringCloud基础知识。
### 总结
本文档详细介绍了CentOS 7.5环境下搭建大数据平台所需的各个步骤，包括但不限于虚拟机创建与克隆、操作系统安装、基础服务配置、Ambari集群搭建、ElasticSearch集群搭建等多个方面，涵盖了从底层硬件配置到高级分布式服务的全方位内容。通过这些知识点的学习和实践，可以为实际工作中遇到的大数据场景提供有力的技术支持。
