MapReduce模型在并行式计算机数据挖掘中的应用.pdf

本次研究基于 ＭａｐＲｅｄｕｃｅ模型在并行式环境中提出一种高性能的计算机数据挖掘算法，将模 型输入由原始的一个样本转变为一组样本代以减少 Ｍａｐ布局数量，节约算法访问 Ｍａｐ的时间开销；在 此基础上，从特征赋权角度对 Ｋ－ｍｅａｎｓ聚类算法，对差异簇的差异特征进行权重赋值，以降低特征 数 据 噪声。测试结果显示，该算法在 ＭａｐＲｅｄｕｃｅ并行式环境下呈现良好的数据挖掘准确率，并 且 聚 类 收 敛 用时最低，处理计算机大数据挖掘问题具有一定优势。 并行式 ＭａｐＲｅｄｕｃｅ模型具有自动负载均衡、主 动容错等功能，在计算机海量数据挖掘与超大格式 文件聚 类 领 域 得 到 广 泛 应 用［１］。ＭａｐＲｅｄｕｃｅ模 型 依托 Ｈａｄｏｏｐ大数据处理平台和使用 ＨＤＦＳ分布式 文件存储系统执行数据运算任务，目前诸多高性能 数据挖掘算法已经 完 成 了 向 ＭａｐＲｅｄｕｃｅ模 型 迁 移 的相关实践研究［２］，为挖掘数据内在价值、内部暗知 识提供高 效 率 的 解 决 方 案。本 文 借 助 ＭａｐＲｅｄｕｃｅ 模型与 Ｋ－ｍｅａｎｓ聚类算法提出一种新的计算机 数 据挖掘方法，从运行效率