机器学习中文文本分类实战代码+数据

# 人工智能原理实验：中文文本分类器 数据集来源：[http://thuctc.thunlp.org/](http://thuctc.thunlp.org/) ## 【实验目的】 1.掌握数据预处理的方法，对训练集数据进行预处理； 2.掌握文本建模的方法，对语料库的文档进行建模； 3.掌握分类算法的原理，基于有监督的机器学习方法，训练文本分类器； 4.利用学习的文本分类器，对未知文本进行分类判别； 5. 掌握评价分类器性能的评估方法。 ## 【实验类型】 数据挖掘算法的设计与编程实现。 ## 【实验要求】 1.文本类别数：>=10 类； 2.训练集文档数：>=50000 篇；每类平均 5000 篇。 3.测试集文档数：>=50000 篇；每类平均 5000 篇。 4. 分组完成实验，组员数量 <=3，个人实现可以获得实验加分。 ## 【实验内容】 利用分类算法实现对文本的数据挖掘，主要包括： 1.语料库的构建，主要包括利用爬虫收集 Web 文档等； 2.语料库的数据预处理，包括文档建模，如去噪，分词，建立数据字典，使用词袋模型或主题模型表达文档等； 注：使用主题模型，如 LDA 可以获得实验加分； 3.选择分类算法（朴素贝叶斯（必做）、SVM/其他等），训练文本分类器，理解所选的分类算法的建模原理、实现过程和相关参数的含义； 4.对测试集的文本进行分类 5.对测试集的分类结果利用正确率和召回率进行分析评价：计算每类正确率、召回率，计算总体正确率和召回率。 ## 【实验分析与总结】 ### 1.数据获取 从清华新闻语料库中获取 10 类每类一万文本数据，共总计 10 万数据。其中，一万数据对半分为训练集和测试集，将其拷贝至项目资源文件中。这么做的原因是能够利用贝叶斯的极大似然估计。  图 1 数据获取 ### 2.数据预处理  图 2 数据示例 利用 jeiba 库，将数据文本分为仅有名词的干净文本。其中，除了利用 jieba 库去除了专有名词、人名等无用名词外，还根据老师所给的停用词表删除了停用词。不仅仅如此，停用词操作也同时考虑到了名词和符号拼接的特殊情况。  图 3 判断停用词  图 4 分词并生成干净文本 图 5 干净文本示例 随后，将处理后的文件在每个类下整合为一个 all.txt 文件，以避免重复 IO  图 6 数据整合 ### 3.建立词典 词典的生成即特征提取部分，按如下方案执行：对于每一个类的训练集，先利用 jieba 内置的 TF/IDF 方法加权，得到前 1000 个关键词(得到 1000*2 的一个矩阵)，对于每个词，其权值再与卡方检验值相乘得到综合权值，每个类排序后的前 500 个词为该类的关键特征词。 首先需要将训练集中整合的干净文档转为 Python 的 Counter 数据结构方便后续处理：  图 7 文件数据初始化 利用 TF/IDF 与卡方值处理文本代码如下，利用 Counter 数据结构取得每类训练集中综合权值最大的前 500 个词  图 8 每类的字典生成 对于卡方检验，有如下定义： 假设欲得到词 W 和类 C 的关系，设置如下参数 Parm_A:包含 W 且属于 C 的文档数 Parm_B:包含 W 但不属于 C 的文档数 Parm_C:不包含 W 却属于 C 的文档数 Parm_D:既不包含 W 也不属于 C 的文档数则有： 表格 1 卡方检验表 | 特征选择 | 属于 C | 不属于 C | 总计 | | -------- | ------ | -------- | ---- | | 包含 W | A | B | A+B | | 不包含 W | C | D | C+D | | 总数 | A+C | B+D | N | 因此卡方值为  求卡方值函数代码编写如下：  图 9 求卡方值 生成总体关键词表，则需要将各个类的字典中的 500 个词进行整合去重，利用 Counter 数据结构即可方便的实现这个功能，随后将总体特征关键词表保存于本地  图 10 生成所有文档的关键词表 得到关键词维度为 3685 ### 4.生成词向量 通过所有文档的关键词表，首先生成 50000*3685 的词向量矩阵，由于数据稀疏性很大，因此采用 scipy 库的稀疏矩阵进行存储，生成的词向量稀疏矩阵用二进制保存在本地  图 11 生成词向量  图 12 生成并保存稀疏矩阵 ## 5.贝叶斯分类器 贝叶斯分类器的主要公式如下所示：  其中 a 代表类别，b 代表特征关键词 而在本实验中，测试集、训练集的每个类的数据量都是相同的（5000 个），即(a )的值将不影响训练结果，因此可以利用贝叶斯公式的极大似然估计，公式可以简化为：  贝叶斯分类器的训练过程关键在于构造每一类（10 类）的词频矩阵以便于 m-估计，由于在字典生成的过程中，干净文档转为 Counter 数据结构后实际上就生成了词频向量，因此通过读取先前存储的二进制文件即可较为容易的生成词频矩阵，随后，为了解决 0 概率问题，使用 m-估计来估计每个词相对于 10 个类各自的条件概率，公式如下（TF 为词频）：  图 13 训练贝叶斯分类器 训练数据集，则直接读取条件概率矩阵中的值，利用公式 2 对其概率相乘得到后验概率。排序 10 个类的后验概率，最高者即预测类。测试集采用词向量的稀疏矩阵进行读取，以加快测试速度。  图 14 利用贝叶斯分类器进行测试  图 15 贝叶斯分类器主要运行过程 训练与测试的主要过程则如下所示，结果将生成混淆矩阵： 得到的混淆矩阵如下所示： 表格 2 贝叶斯混淆矩阵 评价数据如下：  图 16 贝叶斯分类器评价数据 ### 6.SVM 调用 sklearn 的 SVM 分类模型，由于其接口支持 scipy