网络数据挖掘-垃圾短信分类实验报告1
需积分: 0 82 浏览量
2022-08-04
15:39:32
上传
评论 1
收藏 612KB PDF 举报
网络数据挖掘大作业报告——垃圾短信分类
摘要
短信业务的迅猛发展在丰富了人们的沟通方式的同时，同样遭受到垃圾短信
的困扰。对于运营商来说，垃圾短信造成基础设施资源的巨大浪费；对于移动用
户来说，大量的垃圾短信使用户不能够及时查看正常的短信，干扰了用户的正常
生活。垃圾短信的识别已经成为一个亟待解决的问题，而传统的基于黑白名单、
关键字进行过滤的效果有限，不能起到很好的识别效果。针对该问题，我们基于
垃圾短信的文本内容，将文本分类算法应用到垃圾短信的分类中。我们使用了
SVM、LR、GBDT 和决策树算法进行垃圾短信的识别工作，最后我们制作了线
上演示系统。结果显示系统在垃圾短信的识别上有着良好的表现。
关键词：垃圾短信、文本分类、GBDT、LR
一、概述
垃圾短信日益成为困扰运营商和手机用户的难题，严重影响人们的日常生
活。根据腾讯《2018 年上半年手机安全报告》
[1]
显示，2018 年上半年，用户通
过腾讯手机管家共举报垃圾短信近 8.89 亿条，其中广告类短信占比高达 96.71%。
除了广告类短信，根据短信内容不同，骚扰类、欺诈类、非法广告短信、危害国
家安全、散布谣言、侮辱或诽谤他人的短信都属于垃圾短信的范畴。
对于运营商来说，大量的垃圾短信会耗费过多的资源，造成资源的浪费，并
增加了网络遭到恶意攻击的风险；对于用户来说，大量的垃圾短信使用户无法及
时查看到有用的信息，带来不良的用户体验。因而对垃圾短信进行有效识别是十
分必要的。传统的基于黑白名单、关键词过滤等方法对于垃圾短信的识别效果有
限。从垃圾短信的内容角度进行考虑，垃圾短信的识别问题可以归为文本二分类
问题，目前在文本的二分类问题方面已经有诸多成熟的方法，因而可以将这些方
法应用到垃圾短信的识别工作中。
我们针对垃圾短信的文本内容，对垃圾短信的文本进行特征提取并利用
SVM、LR、GBDT、决策树方法进行分类工作，最后我们制作了线上演示系统
来识别垃圾短信。
本文的组织结构如下：第一部分介绍了垃圾短信的概念与现状及本文的主要
工作；第二部分介绍了文本分类的相关工作；第三部分为数据分析；第四部分为
研究方法，介绍了我们所使用的分类算法；第五部分为实验设计，介绍了实验的
过程及结果；第六部分为总结，包括对实验总结与人员分工情况。
剩余12页未读，继续阅读
评论0
最新资源