Python实现的自然语言处理系统

<center> <img style="border-radius: 0.3125em; box-shadow: 0 2px 4px 0 rgba(34,36,38,.12),0 2px 10px 0 rgba(34,36,38,.08);" src="./data/.logo图片/.img.jpg"width="180"> <br> <div style="color:orange; border-bottom: 1px solid #d9d9d9; display: inline-block; color: #999; padding: 2px;">NLP民工的乐园</div> </center> <br> [](https://github.com/fighting41love/funnlp) [](https://www.zhihu.com/people/mountain-blue-64) [](https://scholar.google.com/citations?hl=en&user=aqZdfDUAAAAJ) [](http://fighting41love.github.io/archives/) [](http://fighting41love.github.io/) <!-- [](https://github.com/fighting41love) --> <!-- [](http://fighting41love.github.io/archives/) --> ### The Most Powerful NLP-Weapon Arsenal ## NLP民工的乐园: 几乎最全的中文NLP资源库 在入门到熟悉NLP的过程中，用到了很多github上的包，遂整理了一下，分享在这里。 很多包非常有趣，值得收藏，满足大家的收集癖！ 如果觉得有用，请分享并star:star:，谢谢！ 长期不定时更新，欢迎watch和fork！:heart::heart::heart: | :eggplant: :cherries: :pear: :tangerine: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; | :sunflower: :strawberry: :melon: :tomato: :pineapple: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;| | ---- | ---- | | * [语料库](#语料库) <br> * [词库及词法工具](#词库及词法工具) <br> * [预训练语言模型](#预训练语言模型) <br> * [抽取](#抽取) <br> * [知识图谱](#知识图谱) <br> * [文本生成](#文本生成) <br> * [文本摘要](#文本摘要) <br> * [智能问答](#智能问答) <br> * [文本纠错](#文本纠错) | * [文档处理](#文档处理) <br> * [表格处理](#表格处理) <br> * [文本匹配](#文本匹配) <br> * [文本数据增强](#文本数据增强) <br> * [文本检索](#文本检索) <br> * [阅读理解](#阅读理解) <br> * [情感分析](#情感分析) <br> * [常用正则表达式](#常用正则表达式) <br> * [语音处理](#语音处理) | | * [常用正则表达式](#常用正则表达式) <br> * [事件抽取](#事件抽取) <br> * [机器翻译](#机器翻译) <br> * [数字转换](#数字转换) <br> * [指代消解](#指代消解) <br> * [文本聚类](#文本聚类) <br> * [文本分类](#文本分类) <br> * [知识推理](#知识推理) <br> * [可解释NLP](#可解释自然语言处理) <br> * [文本对抗攻击](#文本对抗攻击) | * [文本可视化](#文本可视化) <br> * [文本标注工具](#文本标注工具) <br> * [综合工具](#综合工具) <br> * [有趣搞笑工具](#有趣搞笑工具) <br> * [课程报告面试等](#课程报告面试等) <br> * [比赛](#比赛) <br> * [金融NLP](#金融自然语言处理) <br> * [医疗NLP](#医疗自然语言处理) <br> * [法律NLP](#法律自然语言处理) <br> * [文本生成图像](#文本生成图像) <br> * [其他](#其他) | <!-- 目录（Table of contents） ================= <table border="0"> <tr> <td><b style="font-size:30px">:star:</b></td> <td><b style="font-size:30px">:star::star:</b></td> <td><b style="font-size:30px">:star::star::star:</b></td> <td><b style="font-size:30px">:star::star::star::star:</b></td> </tr> <tr> <td> <!--ts--> <!-- * [语料库](#语料库) * [词库及词法工具](#词库及词法工具) * [预训练语言模型](#预训练语言模型) * [抽取](#抽取) * [知识图谱](#知识图谱) * [文本生成](#文本生成) * [文本摘要](#文本摘要) * [智能问答](#智能问答) * [文本纠错](#文本纠错) --> <!--te--> </td> <td> <!--ts--> <!-- * [文档处理](#文档处理) * [表格处理](#表格处理) * [文本匹配](#文本匹配) * [文本数据增强](#文本数据增强) * [文本检索](#文本检索) * [阅读理解](#阅读理解) * [情感分析](#情感分析) * [常用正则表达式](#常用正则表达式) * [语音处理](#语音处理) --> <!--te--> </td> <td> <!--ts--> <!-- * [常用正则表达式](#常用正则表达式) * [事件抽取](#事件抽取) * [机器翻译](#机器翻译) * [数字转换](#数字转换) * [指代消解](#指代消解) * [文本聚类](#文本聚类) * [文本分类](#文本分类) * [知识推理](#知识推理) * [可解释NLP](#可解释自然语言处理) * [文本对抗攻击](#文本对抗攻击) --> <!--te--> </td> <td> <!--ts--> <!-- * [文本可视化](#文本可视化) * [文本标注工具](#文本标注工具) * [综合工具](#综合工具) * [有趣搞笑工具](#有趣搞笑工具) * [课程报告面试等](#课程报告面试等) * [比赛](#比赛) * [金融NLP](#金融自然语言处理) * [医疗NLP](#医疗自然语言处理) * [法律NLP](#法律自然语言处理) * [其他](#其他) --> <!--te--> <!-- </td> </tr> </table> --> ---- # 语料库 | 资源名（Name） | 描述（Description） | 链接 | | :--- | :---- | :--- | | 人名语料库 | | [wainshine/Chinese-Names-Corpus](https://github.com/wainshine/Chinese-Names-Corpus) | | Chinese-Word-Vectors | 各种中文词向量 | [github repo](https://github.com/Embedding/Chinese-Word-Vectors) | | 中文聊天语料 | 该库搜集了包含豆瓣多轮, PTT八卦语料, 青云语料, 电视剧对白语料, 贴吧论坛回帖语料,微博语料,小黄鸡语料 | [link](https://github.com/codemayq/chaotbot_corpus_Chinese) | | 中文谣言数据 | 该数据文件中，每一行为一条json格式的谣言数据 | [github](https://github.com/thunlp/Chinese_Rumor_Dataset) | | 中文问答数据集 | | [链接](https://pan.baidu.com/s/1QUsKcFWZ7Tg1dk_AbldZ1A) 提取码 2dva | | 微信公众号语料 | 3G语料，包含部分网络抓取的微信公众号的文章，已经去除HTML，只包含了纯文本。每行一篇，是JSON格式，name是微信公众号名字，account是微信公众号ID，title是题目，content是正文 | [github](https://github.com/nonamestreet/weixin_public_corpus) | | 中文自然语言处理 语料、数据集 | | [github](https://github.com/SophonPlus/ChineseNlpCorpus) | | 任务型对话英文数据集 | 【最全任务型对话数据集】主要介绍了一份任务型对话数据集大全，这份数据集大全涵盖了到目前在任务型对话领域的所有常用数据集的主要信息。此外，为了帮助研究者更好的把握领域进展的脉络，我们以Leaderboard的形式给出了几个数据集上的State-of-the-art实验结果。 | [github](https://github.com/AtmaHou/Task-Oriented-Dialogue-Dataset-Survey) | | 语音识别语料生成工具 | 从具有音频/字幕的在线视频创建自动语音识别(ASR)语料库 | [github](https://github.com/yc9701/pansori) | | LitBankNLP数据集 | 支持自然语言处理和计�