没有合适的资源?快使用搜索试试~ 我知道了~
distributd:使用 SSH 和 NFS 非常简单地实现分布式字数统计
共15个文件
java:9个
classpath:1个
project:1个
需积分: 5 0 下载量 38 浏览量
2021-07-11
08:20:56
上传
评论
收藏 9KB ZIP 举报
温馨提示
分布式 使用 SSH 和 NFS 非常简单地实现 Hadoop 字数统计。 Master节点上的流程概览 接触机 主机将建立一个能够运行 SSH 的可用机器列表。 以下是接触算法的步骤: 地图 arp -a 检索主机列表 检查 ssh 连接 删除无法 ssh 连接的主机 主机在主机数据结构的 ArrayList 中跟踪主机。 文件拆分 根据主机数量,我们相应地拆分文件。 填写一个记录分裂的字典。 拆分映射 为每个拆分创建一个线程。 该线程通过 SSH 连接到给定的主机。 连接后,主机在分布式文件系统中托管的拆分上执行 jar。 该线程创建一个数据结构,允许跟踪给定拆分的单词。 减少 master有以下数据结构: { word1 : [ split1, split2, split4], word2 : [ split2, split4], word3 : [s
资源推荐
资源详情
资源评论
收起资源包目录
distributd-master.zip (15个子文件)
distributd-master
.project 365B
src
parallel
Host.java 590B
FileSplitter.java 1KB
Connect.java 1KB
RemoteAliveJob.java 2KB
Hostsreader.java 1KB
SplitMapper.java 2KB
MappingUMMapper.java 529B
Master.java 835B
RemoteJob.java 922B
.settings
org.eclipse.jdt.core.prefs 587B
README.md 1KB
data
data.txt 43B
.classpath 770B
.gitignore 7B
共 15 条
- 1
资源评论
蕾拉聊以色列
- 粉丝: 22
- 资源: 4696
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功