基于Python CNN和词向量的句子相似性度量【100013330】

> # ♻️ 资源 > **大小：** 4.36MB > **文档链接：**[**https://www.yuque.com/sxbn/ks/100013330**](https://www.yuque.com/sxbn/ks/100013330) > **➡️ 资源下载：**[**https://download.csdn.net/download/s1t16/88506818**](https://download.csdn.net/download/s1t16/88506818) > **注：更多内容可关注微信公众号【神仙别闹】，如当前文章或代码侵犯了您的权益，请私信作者删除！** >  # 毕业设计：基于CNN和词向量的句子相似性度量 **注意：因为要计算WMD距离所以需要安装依赖库pyemd** ## 开发环境 Anaconda + Pycharm ## 项目说明 > 按照老师要求复现论文(论文提出了一个新概念'相似元'，通过相似元来计算两个句子的相似度‘)，同时参考WMD以及论文中提到的WJ算法实现三个算法的比较 毕业设计主要针对于句子相似度的计算，尤其是**长句**相似度，**使用GoogleNews预训练的模型** > GoogleNews-vectors-negative300.bin ## TODO > 由于项目只实现了GoogleNews预训练模型中有的单词的句子相似度，没有拓展到中文 - [ ] 将相似度的计算拓展到中文 - [ ] 可以进行多个预训练模型的选择，而非GoogleNews - [ ] 使用FAISS 框架优化相似向量的搜索 ## 数据来源 存放于本项目DataSet下 ## 项目运行 1. 配置config.json文件：model_path用于存放预训练模型存放的路径；dataset_path用于存放最后作实验评估的数据集存放的路径 2. 从main.py开始运行，首先要点击初始化按钮加载预训练模型 3. 在句子1和句子2处输入要计算相似度的句子 4. 计算结果显示在 相似度，WJ，WMD距离三个地方 5. 可以每次换一个句子，并点击计算 6. 计算完成，点击退出  ## 结论验证  ## 参考资料 1. [WMD算法以及WJ算法参考](https://github.com/jsksxs360/Word2Vec) 2. [Word2Vec中的sentence_similarity方法出处](http://xueshu.baidu.com/usercenter/paper/show?paperid=59d3626fc14491c996a983186cc6d155&site=xueshu_se&hitarticle=1) 3. [理论依据](https://kexue.fm/archives/4677#%E5%8F%A5%E5%AD%90%E7%9A%84%E7%9B%B8%E4%BC%BC%E5%BA%A6) 4. [From Word Embeddings To Document Distances -- Matt J. Kusner等](http://xueshu.baidu.com/usercenter/paper/show?paperid=80e0aebd3cb631a88e2b8ae3ef61d61d&site=xueshu_se) ## 代码结构 > 毕业设计源代码存放于GraduationDesign下，这里没有提到的代码文件均已过时，请以最新的代码为准 ``` . ├── GraduationDesign │ ├── main.py 项目运行点 │ ├── SSFN_V6_02 第6版：实现功能的垂直分割，同时实现三个算法的实验评估 │ │ ├── Methods │ │ │ ├── SSFN │ │ │ │──── └── SSF_V3.py 复现论文中的SSF函数 │ │ │ ├── WJ │ │ │ │──── └── wj_similarity.py 论文中的比对方法：计算两个句子的余弦相似度 │ │ │ ├── WMD │ │ │ │──── └── wmd_distance.py 论文中的比对方法2：计算两个句子的WMD距离 │ │ │ ├── Word2Vec.py 加载并使用GoogleNews预训练的模型进行计算 │ │ ├── util │ │ │ │──── └── util.py 工具模块，实现词语权重计算，模型的加载等 │ │ ├── view │ │ │ │──── └── view_data.py 使用PyQt5编写界面 │ │ ├── datahelper │ │ │ │──── └── data_process.py 对实验评估数据集的处理 │ │ ├── experiment_show │ │ │ │──── └── result_img.py 三种实验方法比对并在本地生成最后的比对结果图 ```