没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
60页
随着计算机技术、网络技术、数据库技术的快速发展与普及应用,网络信息爆炸式 增长,而其中绝大部分信息以文本形式存在。如何从这海量的信息中快速高效的获取数 据,成为信息处理领域亟待解决的问题。文本自动分类技术作为处理和组织大量文本数 据的关键技术应运而生并取得了快速的发展。 基于主题的文本分类是根据文本的内容将文本划分到预先定义好的类别中去。机器 学习方法由于其自身的灵活性并能够取得较好的分类效果,因此在文本分类中得到了广 泛的应用。机器学习方法要经过文本的预处理,特征选择,特征加权,训练分类器并进 行分类等过程。特征加权是文本分类中的重要环节,对文本的分类性能有直接的影响。 通过考察传统的特征选择函数,发现互信息方法在特征加权过程中表现尤为突出。为了 提高互信息方法在特征加权时的性能,加入了词频信息、文档频率信息以及类别相关度 因子,提出了一种基于改进的互信息特征加权方法,实验表明,该方法比传统的特征加 权方法TFIDF具有更好的分类性能。 情感分类是文本分类的重要分支,它已经逐渐成为了信息检索和自然语言处理领域 的热点研究问题。机器学习方法同样适用于文本的情感分类,但是其效果却与传统的
资源推荐
资源详情
资源评论
硕 士 学 位 论 文
基 于 机 器 学 习 的 中 文 义 本 主 题 分 类 及 情 感 分 类 研 究
摘 要
随 着 计 算 机 技 术 、 网 络技 术 、 数 据 库 技 术 的 快速 发 展 与 普 及 应 用 , 网 络 信 息 爆 炸 式
增 长 , 而 其 中 绝 大 部 分 信 息 以 文 本 形 式 存 在 。 如 何
从
这 海 量 的 信 息 中 快速 高 效 的 获 取 数
据 , 成 为 信 息 处 理 领域 亟 待 解 决 的 问 题 。 文 本 自 动 分 类 技 术 作 为 处 理 和 组织 大 量 文 本 数
据 的 关 键 技 术 应 运 而 生 并 取 得 了 快速 的 发 展 。
基 于 主 题 的 文 本 分 类 是 根 据 文 本 的 内 容 将 文 本 划 分 到 预 先 定 义 好 的 类 别 中 去 。 机 器
学 习 方 法 由 于 其 自 身 的 灵 活 性 并 能 够 取 得 较 好 的 分 类 效 果 , 因 此在 文 本 分 类 中 得 到 了 广
泛 的 应 用 。 机 器 学 习 方 法 要 经 过 文 本 的 预 处 理 , 特 征 选 择 , 特 征 加 权 , 训 练 分 类 器 并进
行 分 类 等 过 程 。 特 征 加 权 是 文 本 分 类 中 的 重 要 环 节 , 对 文 本 的 分 类 性 能有 直接 的 影 响 。
通过 考 察 传 统 的 特 征 选 择 函 数 , 发现 互 信 息 方法 在 特 征 加 权 过程 中 表现 尤为 突 出 。 为 了
提 高 互 信 息 方 法 在 特 征加 权 时 的 性 能 , 加 入 了 词 频信 息 、 文 档 频率 信 息 以 及 类 别 相 关度
因 子 , 提 出 了 一 种 基 于 改进 的 互 信 息 特 征 加 权 方 法 , 实 验 表 明 , 该 方 法 比 传 统 的 特 征 加
权 方 法 具 有 更 好 的 分 类 性 能 。
情 感 分 类 是 文 本 分 类 的 重 要 分支 , 它 己 经逐 渐 成 为 了 信 息检 索 和 自 然 语 言 处 理 领域
的 热 点 研 宄 问 题 。 机 器 学 习 方 法 同 样 适用 于 文 本 的 情 感 分 类 , 但 是 其 效 果 却 与 传 统 的 基
于 主 题 的 文 本 分 类 有 所 不 同 。 本 文 选用 了 在 网 络上 被广 泛 使 用 的 中 文 情 感 分 类 数 据 集 ,
采 用 机 器 学 习 方 法 , 对 比 分 析 了 在 机 器 学 习 的 各 个 过 程 中 不 同 方 法 对情 感分 类 性 能 的 影
响 。
由 于 情 感 分 类 的 语 料 更 加 复 杂 多 变 , 传 统 的 机 器 学 习 方法 很 难 在 情 感 分 类 中 取 得较
高 的 性 能 。 本 文通 过 对 评 论 性 文 本 的 分 析 , 结 合基 于 词 典 和 规 则 的 方法将 文 本 划 分成 情
感 句 集 合 和 细 节 句 集合 , 进 一 步 提 取 出 文 中 的 关 键 句 集 合 , 分 别 对 全 部 文 本 ,
情
感 句
集
合 和 关
键
句 集 合进 行 训 练 得 到 不 同 的 分 类 器 , 最 后 使 用 投 票 策 略 将 得 到 的 个 分 类 器
进
行 融合 , 得 到 最 终 分 类 结 果 , 通过 实 验 表 明 此方 法 可 以 有 效 的 提 高 情 感 分 类 的 性能 。
关键词 : 文 本 分 类 , 互 信 息 , 情 感 分 类 , 情 感 句 , 关 键 句 , 特 征 融 合
硕 上 学 位 论
基 于 机 器 学 习 的 中 义 义 本 主 题 分 类 及 情 感 分 类 研 究
目
录
躲
研 宄 背 景 及 意 义
国 内 外 发 展 情况
国 际 会 议 和 评测 任 务
存 在 的 问 题 和 挑 战
本 文 研 宄 内 容 与 组 织 结 构
文本分类 方法综述
基于 机 器 学 习 方 法
文 本 预 处 理 过 程
文 本 的 表 示
特 征 选 择
特 征 加 权
分 类 方 法
评 价 标 准
基 于 语 义 的
方
法
分 词 和 词 性 标 注
情 感 词 的 获取
计 算 词 语 语 义 倾 向
计 算 句 子 和 篇 章 的 情 感 倾 向
本 章 小 结
基于 互信 息 的 文本特征 加 权方法
特征 力 口 权 算 法
传 统 的 互 信 息 方 法
基 于 改 进 的 互 信 息 的 特 征 加 权 方 法
基
于 词 频 的 改 进
基 于 文 档
频
率 的 改 进
类 别 相 关 度 平 衡 因 子
棘
数 据 集
实 验 设 置
目 录 硕 上 学 位 论 文
传 统 特 征 选 择 函 数加 权 效 果 比 较
改 进 的 互 信 息 特 征 加 权 方 法
本 章 小 结
机器 学 习 方法在情 感分 类 中 的对 比 分 析研 宄
中 文 预 处 理 对情 感 分 类 的 影 响
特 征 选 择 对情 感 分 类 的 影 响
特征 加 权 与 分 类 方 法对 情
感
分 类 的 影 响
实 檢
实 验 数据 集
实 验结 果 及 分 析
本 章 小 结
基于情感 句 抽 取 的 分类器融 合 情 感分类 方法研 宄
主 客 观 句 的 识 别
关 键 句 集 合 的 抽 取
特 征 融 合 方 法
她
实
验
数 据 集
实
验
设
置
实验 结 果 分 析
本 章 总 结
总 结 与 展 望
总 结
展 望
参
考
文
献
硕 士 学 位 论 文 基 于 机 器 学 习 的 中 文 本 主 题 分 类 及 情 感 分 类 研 究
绪论
世 纪 初 以 来 , 文 本 的 情 感 分 析 在 自 然 语 言 处 理 领域 成 为 了 研 宄 的 热 点 , 吸 引 了 众
多 学 者 越 来 越 多 的 关 注 。 对 于 中 文 文 本 的 情 感倾 向 性 研 宄 在 这 样 一 个 大 环 境 下 也 得 到 了
显 著 的 发展 , 研 宄 成 果 日 见 增 多 。 本 章 首 先 介 绍 情 感 分 类 的 研 宄 背 景 及 意 义 , 接 着 阐 述
国 内 外 情 感 分类 的 研 究 现 状 , 然 后 概述 了 目 前 研 究 中 遇 到 的 主 要 问 题 , 最 后 说 明 了 本 文
的 主 要 研 究 内 容 及 论 文 的 组 织 结 构 。
研 宄 背 景及 意 义
随 着 互 联 网 的 迅速 发 展 , 特 别 是 技 术 快速 普及 和 应 用 , 使得 每个 互 联 网 用
户 不仅 仅 是 一 个信 息 的 获 取 者 , 同 时 也 成 为 一 个 信 息 的 制 造 者 ,
从
原 来 的 简 单 的 “ 读 ”
模 式 转 变 成 为 了 “ 读 写 ” 模 式 , 从 互 联 网 信 息 的 被动 接 受 者 转 变 成 为 了 信 息 的 主 动 创 造
者 , 这 也 在 一 定 程度 上 使 得 互 联 网 信 息 爆 炸 式增 长 , 使 我 们 进 入 一 个 信 息 极度 丰 富 的 时
代 。 根据 年 月 第 次 《 中 国 互 联 网 络 发 展 状 况 统 计 报 告 》 的 数 据 , 截 至
年 月 底 , 我 国 网 民 规 模 达 亿 , 全 年 共 计 新 增 网 民 万 人 , 互 联 网 普 及 率 为
我 国 网 页 数 量 己 经 突 破 亿 个 。 快 速 增 长 的 网 络 用 户 以 及 模式 的 互
联 网 应 用 获 得 的 巨 大 成功 , 使 网 络信 息 的 数量 和 访 问 量 都 以 前 所 未 有 的 速度 增 大 , 互 联
网 不 仅 成 为 人们 获取 信 息 的 重 要 途 径 , 同 时 也 是用 户 表 达观 点 的 重 要 场 所 。
互 联 网 中 网 页 信 息 以 上 以 文 本 形 式 存 在 , 我们 可 以 从主 客 观 的 角 度将 它 们 分 成
两 类 , 客 观 信 息 和 主 观 信 息 。 客 观 信 息 主 要 是 描 述 了 事 物 的 性 质 、 功 能 、 特 点 等 , 反应
了 独 立 于 人 的 意 志 的 客 观 存 在 。 而 主 观 信 息 是 用 户 对 于 某 个 特 定 对 象 的 意 见 、 态 度 、 立
场 等 , 带 有 强 烈 主观 感 情 色 彩 , 不 同 的 用 户 对 同 一 个评 价 对 象 所 反 应 出 来 的 结 果 可 能 千
差 万 别 。
个 人 用 户 通 过 、 博 客 、 微 博 、 评 论 、 即 时 通 讯 工 具 等 渠道 发表 了 大 量 的 主 观 信
息 , 同 时 在 网 上 分 享 自 己 对 某 事 物 的 情 感 也 渐 渐 成 为 了 个人 用 户 的 一 种 习 惯 , 尤 其 是 在
购 物 、 旅 游 、 观看 影 视 剧 集 、 资 源 使 用 等 领域这 一 习 惯 产 生 了 重 大 且深 远 的 影 响 。 例 如 ,
互 联 网 大 量 的 主 观 信 息 改变 了 个 人 用 户 的 消 费 模 式 。 在 互 联 网 普 及 之 前 , 个 人 需 要
购
买
某 一 产 品 , 往 往 是 通 过 身 边 的 朋 友 了 解 产 品 的 相 关 信 息 , 在 得 到 了 所 谓 的 产 品 “ 口 碑 ”
之 后 再 做 出 消 费 的 决 定 , 个 人 获 取 主 观 性 信 息 的 手 段 非 常 有 限 ; 而 如 今 , 消 费 者 在 购 物
之 前 除 了 听 取 朋 友 家 人 的 意 见 外 , 还 可 以 从 网 上 获取 主 观 信 息 来 对 是 否 购 买 的 做 出 决
策 , 个 人 获 取 主 观 信 息 的 手段 越 来 越 多 , 能 够 获 得 的 信 息 量 也 越 来 越 大 。 此 外 电 子 商 务
的 蓬 勃 发 展 , 使 得 网 购 、 团 购 成 为 了 人 们 的 一 种 重要 购 物 方 式 , 由 于 在 网 上 购 物 无 法 看
到 实 物 , 消 费 者 除 了 参 考 店 主 意 见 , 通 过 搜 索 引 擎 来 收 集 货 品 信 息 外 , 更 多 的 是通 过 购
绪 论 硕 上 学 位 论 文
买 此 商 品 的 消 费 者 的 评 论 意 见 来 决 定 是 否 购 买 。 据 淘 宝 网 统 计 数 据 显 示 年 底 淘
宝注 册 用 户 达 到 亿 , 在 线 商 品 数 达 到 亿 , 最 多 的 时 候每 天 万 用 户 访 问 淘 宝
页 面 , 平 均 每 分 钟 售 出 万 件 商 品 , 同 时 , 以 淘 宝 商 城 为 代 表 的 业 务 交 易 额 在
年 翻 了 倍 , 未 来 几 年 也 仍 将 保 持 这一 增 速 。 对 于 企 业 而 言 , 要 了 解 自 身 产 品 的
优 劣 , 调 查 市 场 对产 品 的 反 馈 , 相 比 于 利 用 传 统 的 调 查 问 卷 和 电 话 回 访 等 形 式 , 利 用 网
络 收 集 用 户 对 本 产 品 的 主 观 信 息 显 然 更 加 高 效 , 成 本 更 加 低廉 ; 对 于 政 府 而 言 , 通 过 对
于 网 络 信 息 的 归 纳 分 析 , 可 以 更 快 更 好 的 了 解 民 众 对 于 热 点 话 题 的 观 点 倾 向 , 迅 速 掌 握
大 众 舆 论 , 及 时 过 滤 栏 截 有 害 信 息 , 保 留 正 面 的 、 具 有 积 极 意 义 的 信 息 , 引 导 大 众 正 确
的
舆
论 方 向 。
但是 网 络 上 的 信 息 是海
量
的 , 而 且 在 不 断 的 快 速增 长 , 仅 仅 依 靠 人 工 的 方 式 收 集 、
分 析 、 处 理这 些 信 息 , 进 而 做 出 综 合 判 断 , 显 然 是 低 效 的 , 甚 至 根 本 无 法 解 决 快 速 决 策
与 海 量信 息 之 间 的 矛 盾 。 那 么 , 如 何 能 够 从 海 量 信 息 中 快 速 高 效 的 区 分 获 取 的 特 定 的 主
客 观 信 息 ? 如 何将 带 有 感 情 色彩 的 数 据 划 分 到 不 同 的 情 感 类 别 ? 这 一 系 列 问 题 的 解 决 ,
都要 依赖 于 情 感 分 类 技 术 。 通 过情 感 分 类 技 术 对 信 息 进 行 归 纳 处 理 , 能够 使 互 联 网 资 源
得 到 更 加 充 分 的 利 用 , 可 以 发现 商 品 的 特 定 感 情 色 彩 信 息 , 掌 握 用 户 的 消 费 习 惯 , 分 析
总 结 热 点 事 件 的 舆 情 , 从 而 为 个 人 、 企 业 、 政 府 等 提 供 重 要 的 决 策 依 据 。
此外 , 近 几 年 来 , 学 术 界 的 许 多 学 者 对 于 情 感 分 类 也 保 持 了 高 度 的 关 注 , 情 感 分 类
成 为 了 自 然 语 言 处 理 和 信 息 检 索 领域 的 热 点 研 究 问 题 。 最 近 几年 在
、
、 、
等 国 际 顶 级 会 议 上 , 许 多 学 者 发 表 了 有 关 情 感 分 类
的 文 章 , 取 得 了 丰 硕 的 成 果 。
综上 所 述 , 对 于 情 感 分 类 技 术 的 研 究 , 无论 是 在 理 论 研 究 领 域还 是 在 实 用 领域 都 有
着 极 其 重 要 的 价 值 与 意 义 。
国 内 外发 展情 况
文 本 情 感 分 类 是 文 本 分 类 中 的 一 个 重 要 分 支 , 也 称 之 为 意 见 挖 掘 。 简 而 言 之 文 本 的
情 感 分 类 就 是 对 带 有 情 感 色 彩 的 主 观性 文 本 进 行 分 析 、 处 理 、 归 纳 和 推 理 的 过 程 ⑸ 。 情
感 分 类 中 , 按 照 处 理 文 本 的 粒度 不 同 , 可 分 为 词 语 短 语 级 、 句 子 级 、 篇 章 多 篇 章 级 等 几 个
研 究 层 次 。 最 初 的 情 感 分 类 问 题 可 以 追 溯 到 年 教授 提 出 的 “ 情感 计 算 ”
’ , 文 中 提 出 了 如 何 对 带有 情 感 色 彩 旳 词 语进 行 定 量 分 析 。 在 此 之 后 , 国 内 外许 多 学 者
对
情
感 分 类 做 出 了 杰 出 的 贡 献 , 下 面 按 照 处 理 文 本 粒 度 不 同 介 绍 国 内 外 发 展 情 况 。
词 语 短 语 级
剩余59页未读,继续阅读
资源评论
- qq_374044522023-11-13感谢资源主分享的资源解决了我当下的问题,非常有用的资源。
- m0_572037072022-05-17用户下载后在一定时间内未进行评价,系统默认好评。
- m0_539268912022-11-19资源不错,很实用,内容全面,介绍详细,很好用,谢谢分享。
- lijian00862022-12-15资源不错,对我启发很大,获得了新的灵感,受益匪浅。
「已注销」
- 粉丝: 794
- 资源: 3613
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功