精选_Python实现的基于SVM、LR、GBDT和决策树算法进行垃圾短信识别和分类_源码打包

# Python实现的基于SVM、LR、GBDT和决策树算法进行垃圾短信识别和分类 # 摘 要 短信业务的迅猛发展在丰富了人们的沟通方式的同时，同样遭受到垃圾短信的困扰。对于运营商来说，垃圾短信造成基础设施资源的巨大浪费；对于移动用户来说，大量的垃圾短信使用户不能够及时查看正常的短信，干扰了用户的正常生活。垃圾短信的识别已经成为一个亟待解决的问题，而传统的基于黑白名单、关键字进行过滤的效果有限，不能起到很好的识别效果。针对该问题，我们基于垃圾短信的文本内容，将文本分类算法应用到垃圾短信的分类中。我们使用了SVM、LR、GBDT和决策树算法进行垃圾短信的识别工作，最后我们制作了线上演示系统。结果显示系统在垃圾短信的识别上有着良好的表现。 **关键词**：垃圾短信、文本分类、GBDT、LR # 一、概述 垃圾短信日益成为困扰运营商和手机用户的难题，严重影响人们的日常生活。根据腾讯《2018年上半年手机安全报告》[1]显示，2018年上半年，用户通过腾讯手机管家共举报垃圾短信近8.89亿条，其中广告类短信占比高达96.71%。除了广告类短信，根据短信内容不同，骚扰类、欺诈类、非法广告短信、危害国家安全、散布谣言、侮辱或诽谤他人的短信都属于垃圾短信的范畴。 对于运营商来说，大量的垃圾短信会耗费过多的资源，造成资源的浪费，并增加了网络遭到恶意攻击的风险；对于用户来说，大量的垃圾短信使用户无法及时查看到有用的信息，带来不良的用户体验。因而对垃圾短信进行有效识别是十分必要的。传统的基于黑白名单、关键词过滤等方法对于垃圾短信的识别效果有限。从垃圾短信的内容角度进行考虑，垃圾短信的识别问题可以归为文本二分类问题，目前在文本的二分类问题方面已经有诸多成熟的方法，因而可以将这些方法应用到垃圾短信的识别工作中。 我们针对垃圾短信的文本内容，对垃圾短信的文本进行特征提取并利用SVM、LR、GBDT、决策树方法进行分类工作，最后我们制作了线上演示系统来识别垃圾短信。 本文的组织结构如下：第一部分介绍了垃圾短信的概念与现状及本文的主要工作；第二部分介绍了文本分类的相关工作；第三部分为数据分析；第四部分为研究方法，介绍了我们所使用的分类算法；第五部分为实验设计，介绍了实验的过程及结果；第六部分为总结，包括对实验总结与人员分工情况。 # 二、相关工作 文本分类最早可以追溯到20世纪60年代，在这之前主要是采用手工分类的方法。进入60年代后，Maron发表了具有里程碑作用的论文《Automatic Indexing: An Experimental Inquiry》[2]，采用贝叶斯公式进行文本分类，大大推进了文本分类工作。在该文中，Maron还假设特征间是相互独立的，这就是后来被广泛采用的“贝叶斯假设”。 在随后的二十多年，主要是采用知识工程（Knowledge Engineering, KE）的方法进行文本分类，它通过在专家知识基础上手工建立一系列分类规则来构建分类器。知识工程方法需要大量领域的专家和工程师参与，势必耗费很多人力物力，当电子文档急剧增长时将无法满足需求。这种方法最典型的应用实例为由Carnegie Group开发的CONSTRUE系统[3]，该系统用来对路透社的新闻稿件自动分类。 直到进入20世纪90年代，随着Internet的迅猛发展，为了能够更好地处理大量的电子文档，并且伴随着人工智能、机器学习、模式识别、统计理论等学科的发展，基于知识工程的文本分类方法渐渐退出了历史舞台，文本分类技术进入了更深入的自动分类时代。由于基于机器学习的自动文本分类系统几乎可以达到与人类专家相当的正确度，但是却不需要任何知识工程师或领域专家的干预，节约了大量的人力，并且分类效率远远高于人类专家。 常用的文本分类算法主要包括三大类。一类是基于概率和信息理论的分类算法,如朴素贝叶斯算法（Naive Bayes）,最大熵算法（Maximum Entropy）等；另一类是基于TFIDF权值计算方法的分类算法，这类算法包括Rocchio算法，TFIDF算法，k近邻算法（k Nearest Neighbors）等；第三类是基于知识学习的分类算法，如决策树（Decision Tree），人工神经网络（Artificial Neural Networks），支持向量机（Support Vector Machine），逻辑回归模型（Logistic Regression）等算法。 # 三、数据分析 在进行数据分类之前，首先我们对数据进行了分析。此次垃圾短信分类共有80万条标注数据，其中垃圾数据80000条，其余为非垃圾数据。由此可见数据中正负样本不均衡的问题非常严重。 考虑到上采样方法会导致过拟合，下采样会浪费过多的实验数据面对这样的情况，我们的思路是改变错分数据的代价。对不同的数据赋予不同的权重，使得不同类别的错分代价不同。我们对垃圾短信赋予更高的权重，使其在分类过程中被错分的代价更大，根据经验，我们将权重比例设置为9:1。 # 四、研究方法 ## 4.1 逻辑回归（Logistic Regression） 逻辑回归模型一般都是用来二分类情况的，只有0，1两类。定义一个样本 是类别1的概率为：  该函数的输出值的取值范围为[0,1]，所以记：  逻辑回归模型的代价函数为：  然后用梯度下降就可以求得w，带入最开始的概率公式，只要概率大于0.5，就可以划分到类别1。 ## 4.2 支撑向量机（SVM） SVM的核心思想是求出一组权重系数，在线性表示之后可以进行分类。我们先使用一组训练集来训练SVM中的权重系数，然后可以对测试集进行分类。 说的更加高大上一些：SVM就是先训练出一个分割超平面（separation hyperplane），该平面就是分类的决策边界，分在平面两边的是两个类别的数据。显然，经典的SVM算法只适用于两类分类问题，当然，经过改进之后，SVM也可以适用于多类分类问题。  我们希望找到离分隔超平面最近的点，并确保它们离分隔面的距离尽可能远。这里点到分隔面的距离被称为间隔（margin）。我们希望这个间隔尽可能的大。支持向量（support vector）就是离分隔超平面最近的那些点，我们要最大化支持向量到分隔面的距离。那么为了达到上面的目的，我们就要解决这样的一个问题：如何计算一个点到分隔面的距离? 这里我们可以借鉴几何学中点到直线的距离，在SVM中，需要计算的是点到超平面的距离：  除了定义距离之外，需要设定两类数据的类别标记分别为1和-1，这样做是因为我们将标记y和距离相乘，不管属于哪一类，乘积都是一个正数，这样有利于我们设计目标函数。这样我们便可以定义我们SVM的目标函数：  然后我们可以转化为凸二次规划�