计算机毕业设计：基于词典方法和机器学习方法的中文情感倾向分析(源码+说明)，保证可靠运行，附赠计算机答辩PPT模板

# Python实现的基于词典方法和机器学习方法的中文情感倾向分析 # 1 项目介绍 ## 1.1 项目背景 文本情感分析又称意见挖掘， 是对包含用户观点、 喜好、 情感等主观性文本进行挖掘、 分析及判别它是一个多学科交叉的研究领域， 涉及概率论、数据统计分析、计算机语言学、自然语言处理、机器学习、信息检索、本体学(Ontology) 等多个学科及其相关技术 。 鉴于其在用户意见挖掘、 垃圾邮件过滤及舆情分析等 多个领域具有重要的应用价值， 文本情感分析正受到国内外众多研究机构和学者的重视。 情感分析可归纳为情感信息抽取、 情感信息分类及情感信息的检索与归纳三项层层递进的研究任务 。本文研究的重点是情感信息分类， 旨在将文本情感分为褒义、 贬义两类或者更细致的情感类别。 按照分析文本的粒度不同， 情感信息分类可分为词语级 、短语级 、句子级 、篇章级 等几个研究层次。 目前， 情感分类大致涌现出两种研究思路：基于情感知识和基于特征。前者主要是基于已有的情感词典或情感知识库 对文本中带有情感或极性的词( 或词语单元) 进行加权求和， 而后者主要是对文本提取具有类别表征意义的 特征， 再基于这些特征使用机器学习算法进行分类。 ## 1.2 项目目标 - 使用机器学习 和 情感词典 这两种方法 分别对中文新闻类文本进行情感极性分析 - 输入一段新闻文本能够得到文本的情感极性 ## 1.3 目标人群 - 需要对已有中文文本数据进行情感分析的企业及用户 - APP中需要集成中文文本情感分析功能的开发人员 - 从事中文文本情感分析与挖掘的研究人员 # 2 项目需求分析 ## 2.1 系统KAOS图  ## 2.2 用例分析 ### 2.2.1 概述 本系统有2个参与者，包括用户和管理员，用户为本系统所提供服务的使用者。用户可以直接使用系统所暴露的情感分析接口向后台传递一个中文字符串，从而获得一个文本的正负向情感结果。 用户也可以对系统返回的结果进行判断并反馈错误，具体操作如下： - 在文本框输入一段已知情感正负向的中文文本并且提供这段文本的正负向情感信息, 来获取结果。 - 用户判断系统返回的情感分析结果有误, 点击文本框下方的反馈错误按钮, 反馈错误样例 - 系统会自动的将用户所提供的错误样例的信息插入到“待审核样例数据库” 中， 并通知管理员去审核。 - 管理员在审核错误样例, 系统得到每条待审核错误样例的审核结果 - 如果错误样例的审核结果是 : 有效, 那么这条错误样例将被记录到错误样例数据库中 - 被管理员审核过的待审核测试样例从待审核样例数据库中删除 管理员为本系统的管理人员。 - 管理员也可以通过情感词典管理模块来对情感词典进行修改等操作 - 管理员还可以审核用户反馈的错误样例，和直接访问控制系统样例数据数据库, 对系统的样例进行管理,以方便开发人员修复系统的漏洞, 进一步提高系统提供的服务质量 ## 2.3 系统用例总图  # 3 概要设计 ## 3.1 原型设计  ## 3.2 业务架构  ## 3.3 技术架构  ## 3.4 部署结构  # 4 详细设计 目前，情感倾向分析的方法主要分为两类：一种是基于情感词典的方法；一种是基于机器学习的方法，如基于大规模语料库的机器学习。前者需要用到标注好的情感词典，英文的词典有很多，中文主要有知网整理的情感词典Hownet和台湾大学整理发布的NTUSD两个情感词典，还有哈工大信息检索研究室开源的《同义词词林》可以用于情感词典的扩充。基于机器学习的方法则需要大量的人工标注的语料作为训练集，通过提取文本特征，构建分类器来实现情感的分类。 文本情感分析的分析粒度可以是词语、句子也可以是段落或篇章。段落篇章级情感分析主要是针对某个主题或事件进行倾向性判断，一般需要构建对应事件的情感词典，如电影评论的分析，需要构建电影行业自己的情感词典效果会比通用情感词典效果更好；也可以通过人工标注大量电影评论来构建分类器。句子级的情感分析大多事通过计算句子里包含的所有情感词的平均值来得到。 篇章级的情感分析，也可以通过聚合篇章中所有的句子的情感倾向来计算得出。因此，针对句子级的情感倾向分析，既能解决较短文本的情感分析，同时也可以是篇章级文本情感分析的基础。 ## 4.1 过程流设计 **使用情感词典方法的过程流 **  **使用机器学习方法的过程流**  # 5 算法设计 ## 5.1 机器学习算法设计 机器学习的方法精确度更高，因为词典匹配会由于语义表达的丰富性而出现很大误差，而机器学习方法不会。而且它可使用的场景更多样。无论是主客观分类还是正负面情感分类，机器学习都可以完成任务。而无需像词典匹配那样要深入到词语、句子、语法这些层面。 而词典方法适用的语料范围更广，无论是手机、电脑这些商品，还是书评、影评这些语料，都可以适用。但机器学习则极度依赖语料，把手机语料训练出来的的分类器拿去给书评分类，那是注定要失败的。 使用机器学习进行情感分析，可以换一个相同意思的说法，就是用有监督的（需要人工标注类别）机器学习方法来对文本进行分类。 这点与词典匹配有着本质的区别。词典匹配是直接计算文本中的情感词，得出它们的情感倾向分值。而机器学习方法的思路是先选出一部分表达积极情感的文本和一部分表达消极情感的文本，用机器学习方法进行训练，获得一个情感分类器。再通过这个情感分类器对所有文本进行积极和消极的二分分类。最终的分类可以为文本给出0或1这样的类别，也可以给出一个概率值，比如”这个文本的积极概率是90%，消极概率是10%“。 Python 有良好的程序包可以进行情感分类，那就是Python 自然语言处理包，Natural Language Toolkit，简称NLTK 。同时Python 也有良好的程序包可以进行对中文文本进行分析，如jiaba。 ### 5.1.1 算法框架  ### 5.1.2 数据集 先以带有正向标签和负向标签的各1500条真实的中文酒店评论语料作为训练集用以训练分类器，剩余带有正向标签和负向标签的各500条真实的中文酒店评论语料作为测试集测试不同分类算法、不同特征提取方法、不同维度的准确度。 最后选择准确度最高的方案，将上述带有正向标签和负向标签的各2000条真实的中文酒店