Big-Data-Experiments:Hadoop和Map Reduce中的大数据分配和项目

大数据实验 所有这些程序都是我的大数据课程的一部分。 注意：对于所有这些程序，数据太大而无法上载 Hadoop Map-Reduce 1.共同的朋友 Map Reduce程序可查找两个朋友之间的共同朋友列表。 数据的格式为：P选项卡F1，F2，F3 ..... 2.前十对好友 Mapreduce程序可查找前10个好友对，其中最大的共同好友数。 使用与第一个程序相同的数据。 程序使用作业链接方法。 3.查找大量数字的均值和方差 使用组合器以减少减速器的负载。 4.查找大量数字的最小值，最大值和中位数 使用自定义分区程序来区分自然键和排序键。 5.找到两个巨大的稀疏矩阵相乘的结果矩阵 数据中的每一行都具有以下形式： A，0、172、5 在此，A是该行所属的矩阵。 0是行号。 172是列数 5是A [0] [172]处的值 采用工作链方法。 第一项工作是乘法，第二项工作是加法-矩阵