基于Python的机器学习之新闻上的文本分类.zip

# 新闻上的文本分类：机器学习大乱斗 2017.05.05 查看完整文档： https://zhuanlan.zhihu.com/p/26729228 ### 目标 1. 从头开始实践中文短文本分类，记录一下实验流程与遇到的坑 2. 运用多种机器学习（深度学习 + 传统机器学习）方法比较短文本分类处理过程与结果差别 ### 工具 深度学习：keras 传统机器学习：sklearn 参与比较的机器学习方法 1. CNN 、 CNN + word2vec 2. LSTM 、 LSTM + word2vec 3. MLP（多层感知机） 4. 朴素贝叶斯 5. KNN 6. SVM 7. SVM + word2vec 、SVM + doc2vec 第 1-3 组属于深度学习方法，第 4-6 组属于传统机器学习方法，第 7 组算是种深度与传统合作的方法，画风清奇，拿来试试看看效果 ### 数据集 搜狗实验室 搜狐新闻数据 下载地址：http://www.sogou.com/labs/resource/cs.php ### 先上结果  ### 实验结论 1. 引入预训练的 word2vec 模型会给训练带来好处，具体来说：（1）间接引入外部训练数据，防止过拟合；（2）减少需要训练的参数个数，提高训练效率 2. LSTM 需要训练的参数个数远小于 CNN，但训练时间大于 CNN。CNN 在分类问题的表现上一直很好，无论是图像还是文本；而想让 LSTM 优势得到发挥，首先让训练数据量得到保证 3. 将单词在 word2vec 中的词向量加和求平均获得整个句子的语义向量的方法看似 naive 有时真挺奏效，当然仅限于短句子，长度 100 以内应该可以 4. 机器学习方法万千，具体选择用什么样的方法还是要取决于数据集的规模以及问题本身的复杂度，对于复杂程度一般的问题，看似简单的方法有可能是坠吼地 免责声明： 1.本资源仅供学习和交流使用，不保证其准确性、完整性、及时性或适用性。 2.本资源仅包含一般信息，不构成专业建议。在使用本资源时，请务必自行研究并谨慎决策。 3.我已尽力确保本资源的正确性和合法性，但不对其准确性、完整性和及时性做出保证。 4.本资源不应用于商业用途。 5.在使用本资源的过程中，用户应自行承担所有风险和责任，并遵守相关法律法规。 6.对于因使用本资源而产生的任何损失或损害，我概不负责。 请确保在使用本资源时仔细阅读并遵守以上免责声明。如果您有任何疑问或需要进一步帮助，请联系我。