Python毕业设计基于机器学习朴素贝叶斯的微博评论情感分析项目源码+数据集

# 微博情感分析 ## 一、引言 情感分析（Sentimentanalysis），也称意见挖掘(OpinionMining)，主要是对带有感情色彩的主观性文本进行分析、处理、归纳然后进行推理的过程，例如对产品，话题，政策的意见。利用这些分析的结果，消费者可以深入了解商品的实用性，从而优化购买的决策，同时，生产者和经销商可以改善自己的服务，从而赢得竞争的优势。随着信息时代的到来，越来越多的公司开始组建数据分析团队对自身公司的数据进行挖掘、分析。比如某服装公司想调查自己制作的服装的受喜爱程度，就可以从服装的评论入手，挖据文本内容，判断留下评论的用户对服装的喜好态度，积极的、消极的或者是中性的评价。 微博的强大影响力已经深深的吸引了更多的人加入。而对微博的情感分析，不仅可以获取网民的此时的心情，对某个事件或事物的看法，还可以获取其潜在的商业价值，还能对社会的稳定做出一定的贡献。 ## 二、问题定义 通过对微博评论进行预处理、分词以及特征选择等，建立特征词典，构建每条评论的特征向量。之后利用分类算法，如朴素贝叶斯、SVM等，针对训练集的特征向量以及类标签进行训练，得到分类模型，并通过计算在测试集上的预测准确率、召回率等对分类器的分类效果以及不同参数影响进行性能评估。 ## 三、研究思路及算法过程 ### 算法思想 **朴素贝叶斯** 朴素贝叶斯是在独立性假设的前提下实现的，即在给定目标值时，假设特征之间是相互独立的。 朴素贝叶斯的公式表示为：  因为这部分需要独立编写代码实现，所以我详细了解并掌握了朴素贝叶斯的流程，并总结如下： 对已知的特征矩阵和标签矩阵，我们定义： 为一个样本特征向量，其中是每个特征的特征值。 为每个样本的真实所属类别。 为样本集，其中每个样本x_i是x的构成形式。 假设这些样本总共分为了3类，分别为class1,class2,class3。 第一步： 通过样本集的类别分布，对每个类别计算先验概率。也就是需要计算出这些样本分属3个类别各自的比例，比如：  这样，分别计算出。 第二步： 计算每个类别下每个特征属性值的出现概率。比如，当为类别1时，特征1的值为时的概率为：  第三步： 计算每个样本所属每个类别的概率。比如对于第一个样本，根据它每个特征值的情况，依次从第二步的结果中提取对应值并相乘，得到它分别属于这3个类别的概率，即  第四步： 比较样本预测属于这三个类别的概率值，找出最大概率对应的分类作为这个样本最终的预测分类结果。 ### 研究思路 本实验，在设计过程中主要考虑以下几点： ①文本分类属于有监督的学习，需要整理样本，确定样本数目以及记录样本标签。 ②针对样本需要进行分词操作得到评论的词语表示。 ③因为分词后每条评论中包含的词语是很多的，这些词并不都是表征能力强的词，所以需要根据词性、词长短等过滤掉大部分的无关词。 ④如何表征评论呢？在本实验中，我采用的特征提取模型是向量空间模型([VSM](http://en.wikipedia.org/wiki/Vector_space_model))，即将样本转换为向量。为了能实现这种转换，需要进行确定特征词典和得到特征向量的过程。 ⑤虽然可以将所有样本的词都提取出来作为词典，但随着样本数目的增多，词典规模可能达到万级、千万级甚至亿级，这么大的维度可能会带来[维度灾难](http://en.wikipedia.org/wiki/Curse_of_dimensionality)，因此就要想办法从大量的特征中选择一些有代表性的特征而又不影响分类的效果，这个环节，我采用了目前领域内认为比较好的卡方检验方法得到每类中的关键词。 ### 实验步骤 #### 1. 数据预处理 原始数据集中存在重复标记的情况，这部分数据属于噪声，针对噪声的处理，简单的方法有直接去除和随机保留一条数据。本实验中采取直接去除。 相关代码如下： ```python from collections import Counter dataset = open("dataset.txt", encoding='UTF-8') lines = [] for line in dataset.readlines(): lines.append(line[2:]) dataset.close() newlines = dict(Counter(lines)) # ls = [key for key, value in newlines.items() if value > 1] # 只展示重复元素 dic = {key: value for key, value in newlines.items() if value > 1} # 展现重复元素和重复次数 ``` #### 2. 分词和过滤 ##### 2.1 分词 jieba分词是国内程序员用Python开发的一个中文分词模块，其主要处理思路如下： 1、加载词典dict.txt。结巴分词自带了一个叫做dict.txt的词典，里面有2万多条词，包含了词条出现的次数(这个次数是于作者自己基于人民日报语料等资源训练得出来的)和词性。 2、依据词典dict.txt，基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图(DAG)。 3、对于词典中未收录词，采用了基于汉字成词能力的HMM模型，使用viterbi算法预测分词。 4、已收录词和未收录词全部分词完毕后，使用动态规划寻找DAG的最大概率路径，找出基于词频的最大切分组合。 5、输出分词结果。 jieba分词有专门的python包——jieba，通过安装及import即可使用。虽然jieba分词效果上不如中科院的ICTCLAS和哈工大的ltp，但其由python编写，代码清晰，扩展性好，所以在本实验中，采用jieba包进行分词。 相关代码如下： ```python file = open(dataFileName, encoding='UTF-8') # 读取文件中的所有行 contents = file.readlines() file.close() for line in contents: classVec.append(int(line[0])) # 利用正则表达式u'[\u4e00-\u9fa5]+'过滤掉输入数据中的所有非中文字符； contentstr = "".join(re.findall(u'[\u4e00-\u9fa5]+', line[2:])) content = (" ".join(jieba.cut(contentstr))).strip('\n').split(' ') ``` ##### 2.2 去除停用词 对于分词后的每个词语，都需要和停用词列表进行对比来决定是否保留。 相关代码如下： ```python stop = [row.strip() for row in open('stop.txt', 'r', encoding='utf-8').readlines()] # 停用词 content = [item for item in content if item not in stop] ``` ##### 2.3 一字词语过滤 分词结果中会出现一些一字名词词语，�