distributd:使用 SSH 和 NFS 非常简单地实现分布式字数统计

分布式 使用 SSH 和 NFS 非常简单地实现 Hadoop 字数统计。 Master节点上的流程概览 接触机 主机将建立一个能够运行 SSH 的可用机器列表。 以下是接触算法的步骤： 地图 arp -a 检索主机列表 检查 ssh 连接 删除无法 ssh 连接的主机 主机在主机数据结构的 ArrayList 中跟踪主机。 文件拆分 根据主机数量，我们相应地拆分文件。 填写一个记录分裂的字典。 拆分映射 为每个拆分创建一个线程。 该线程通过 SSH 连接到给定的主机。 连接后，主机在分布式文件系统中托管的拆分上执行 jar。 该线程创建一个数据结构，允许跟踪给定拆分的单词。 减少 master有以下数据结构： { word1 : [ split1, split2, split4], word2 : [ split2, split4], word3 : [s