大规模数据集关联规则挖掘方法研究——大数据挖掘方法研究之一.pdf

在大数据时代，数据挖掘技术已成为处理海量数据的重要手段之一。数据挖掘领域中的关联规则挖掘是其中的重要研究方向，其目标是从大量的数据中发现项集之间的有趣关系。关联规则挖掘在购物篮分析、生物信息学、市场分析等多个领域都有广泛的应用。本文所研究的大规模数据集关联规则挖掘方法，主要针对传统挖掘算法在处理稠密和稀疏数据集时的不足，提出了一种改进的关联规则挖掘方法，并通过实验验证了该方法的逻辑可行性、有效性和适应性。 文章对数据集按数据密度的不同分为稀疏和稠密两种类型，并指出传统关联规则挖掘算法Apriori及其改进算法在挖掘这两种类型数据集时的局限性。在挖掘稀疏数据集时，Apriori算法表现较好，但在稠密数据集上效率低下；相反，Fp-growth算法在稠密数据集上有优秀的挖掘效率，却在稀疏数据集上表现不佳。为了克服这些不足，作者设计了一种新的频繁项目关系矩阵数据结构，并基于这一结构提出了一种新的关联规则挖掘方法。 文章中介绍了频繁项目关系矩阵的定义，这是一种以矩阵形式组织频繁项集的压缩数据结构，其核心目的是提高挖掘效率。频繁项目关系矩阵结合了FP-tree数据结构的思想，能够有效压缩存储事务数据库中的频繁信息，同时支持在不损失频繁信息的情况下将大数据集转换为较小的内存能够容纳的数据结构，从而提高挖掘效率。矩阵的上三角部分存储了所有频繁项目前缀树，而下三角部分存储了所有事务包含的所有候选2项集及其支持计数。在此基础上，文章进一步提出了频繁项目关系矩阵的剪枝策略，通过剪枝来进一步压缩频繁项集的搜索空间，得到更加精简的频繁项目关系矩阵。 文章还对关联规则进行了定义，区分了简单关联规则和非简单关联规则。简单关联规则指的是规则前后事件包含的项目数相等，即如果某条规则的前件和后件包含的项目数为1，那么它被认为是一条简单关联规则；反之，如果一条规则的前后件中包含的项目数不全为1，那么它被认为是一条非简单关联规则。 文章的研究对于大数据挖掘领域具有重要的理论和实践意义。它不仅提供了一种在大规模数据集中有效挖掘关联规则的方法，而且还对相关概念进行了清晰的定义，并设计了相应的数据结构和剪枝策略，对于提高关联规则挖掘效率和实用性具有指导作用。同时，该研究也揭示了频繁项集数据结构设计的重要性，对后续的关联规则挖掘算法优化研究具有启发性。 文章提到，该研究成果得到了国家自然科学基金的资助，并介绍了作者的相关学术背景。这也表明了该研究的学术价值得到了专业机构的认可。 本文通过针对大规模数据集中稠密和稀疏数据集在关联规则挖掘中的问题，提出了一种改进的挖掘算法，并验证了其有效性。这一研究成果不仅对关联规则挖掘理论具有重要贡献，而且对实际应用中处理大数据集提供了有效的技术方案。