数据仓库与大数据工程笔记本虚拟机搭建 Hadoop 集群操作文档
目录
1. 概述 ..................................................................................................................................................................... 1
2. 服务列表 ............................................................................................................................................................. 2
3. 搭建步骤 ............................................................................................................................................................. 4
3.1 安装虚拟机 .................................................................................................................................................. 4
3.2 准备工作 ...................................................................................................................................................... 6
3.2.1 关闭防火墙和 Selinux ...................................................................................................................... 6
3.2.2 安装软件 ........................................................................................................................................... 6
3.2.3 检查网卡是否开机自启 ................................................................................................................... 6
3.2.4 修改 hosts .......................................................................................................................................... 8
3.2.5 检查网络是否正常 ........................................................................................................................... 8
3.2.6 新建 hadoop 用户 .............................................................................................................................. 9
3.2.7 生成 ssh 密钥并分发 ...................................................................................................................... 10
3.2.8 安装 NTP 服务 ................................................................................................................................ 10
3.3 安装 MySQL ............................................................................................................................................... 11
3.3.1 安装 .................................................................................................................................................. 11
3.3.2 测试 ................................................................................................................................................. 13
3.4 安装 JDK .................................................................................................................................................... 13
3.4.1 安装 ................................................................................................................................................. 13
3.4.2 测试 ................................................................................................................................................. 14
3.5 安装 ZooKeeper ......................................................................................................................................... 14
3.6 安装 Kafka ................................................................................................................................................. 17
3.6.1 安装 ................................................................................................................................................. 17
3.6.2 测试 ................................................................................................................................................. 19
3.6.3 可能遇到的问题 ............................................................................................................................. 20
3.7 安装 Hadoop ............................................................................................................................................... 20
3.7.1 安装 ................................................................................................................................................. 20
3.7.2 测试 ................................................................................................................................................. 25
3.8 安装 HBase ................................................................................................................................................. 29
3.8.1 安装 ................................................................................................................................................. 29
3.8.2 测试 ................................................................................................................................................. 32
3.8.3 可能遇到的问题 ............................................................................................................................. 33
3.9 安装 Hive ................................................................................................................................................... 33
3.9.1 安装 ................................................................................................................................................. 33
3.9.2 测试 ................................................................................................................................................. 36
3.10 安装 Scala ................................................................................................................................................. 37
3.11 安装 Spark ................................................................................................................................................ 37
3.11.1 安装 ............................................................................................................................................... 37
3.11.2 测试 ............................................................................................................................................... 39
3.12 安装 Storm ............................................................................................................................................... 40
