Mining-Frequent-Pattern-from-Search-History:《大数据挖掘技术》@复旦 课程项目，试图...

搜索记录频繁模式挖掘 这是一个《大数据挖掘技术》@复旦课程项目，试图从搜狗实验室用户查询日志数据（2008）中找出搜索记录中有较高支持度关键词的频繁二项集。在实现层面上，我搭建了一个由五台服务器组成的微型 Hadoop 集群，并且用 Python 实现了 Parallel FP-Growth 算法中的三个 MapReduce 过程。 一、Demo 1.1 快速开始 请确保 Python 以及 jieba 中文分词库已安装。 若没有安装 jieba ，在命令行中： pip install jieba # for python pip3 install jieba # for python3 或者直接运行无 jieba 版本 find_pair_nojieba.py（会没有关键词近似匹配功能）。 不修改任何文件，运行 .src/demo/find_pair.py。 输入想要匹配的查询词即可。