Hadoop集群环境搭建
微信公众号：小康新鲜事儿
Hadoop集群环境搭建
一、集群规划
二、前置条件
三、集群配置
3.1 主节点基础网络配置
3.2 配置映射
3.3 根据主节点hadoop01克隆两份系统
3.4 修改各个从节点网络配置
3.5 配置主从节点免密登录
3.5.1 生成密匙
3.5.2 复制公钥
3.5.3 验证免密登录
3.5.4 Gif动图演示
3.6 同步集群时间
3.6.1 配置时间服务器（hadoop02）
1. 检查ntp包是否安装
2. 设置时间配置文件
3. 设置BIOS与系统时间同步
4. 启动ntp服务并测试
3.6.2 其它节点与时间服务器同步时间
1. 手动同步
2. 定时同步
3.7 修改主节点配置文件
1. hadoop-env.sh
2. core-site.xml
3. hdfs-site.xml
4. mapred-site.xml
5. yarn-site.xml
6. master
7. slaves
3.8 分发程序
3.9 初始化
四、启动集群
4.1 查看集群
五、提交服务到集群
六、基准测试
一、集群规划
这里搭建一个 3 节点的 Hadoop 集群，其中三台主机均部署 DataNode 和 NodeManager 服务，但其
中 hadoop02 上部署 SecondaryNameNode 服务，hadoop01 上部署 NameNode 、
ResourceManager 和 JobHistoryServer 服务。
剩余12页未读，继续阅读
西门镜湖
- 粉丝: 29
- 资源: 296
最新资源
- 阿里云OSS Java版SDK.zip
- 阿里云api网关请求签名示例（java实现）.zip
- 通过示例学习 Android 的 RxJava.zip
- 通过多线程编程在 Java 中发现并发模式和特性 线程、锁、原子等等 .zip
- 通过在终端中进行探索来学习 JavaScript .zip
- 通过不仅针对初学者而且针对 JavaScript 爱好者（无论他们的专业水平如何）设计的编码挑战，自然而自信地拥抱 JavaScript .zip
- 适用于 Kotlin 和 Java 的现代 JSON 库 .zip
- yolo5实战-yolo资源
- english-chinese-dictionary-数据结构课程设计
- mp-mysql-injector-spring-boot-starter-sql注入
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论0