没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
2页
【课程简介】 本课程适合所有需要学习自然语言处理技术的同学,课件内容制作精细,由浅入深,适合入门或进行知识回顾。 本章为该课程的其中一个章节,如有需要可下载全部课程 全套资源下载地址:https://download.csdn.net/download/qq_27595745/85221099 【全部课程列表】 第01章 自然语言处理概论 共64页.pptx 第02章 基础知识-数学基础与语言学基础 共75页.ppt 第03章 汉语的分词与频度统计 共88页.pptx 第04章 汉语语料库的多级加工 共82页.pptx 第05章 n-gram语言模型 共78页.ppt 第06章 Markov模型 马尔科夫模型 共57页.ppt 第07章 句法分析技术 共61页.ppt 第08章1 问答系统基础 共24页.ppt 第08章2 问答式信息检索的理论与方法研究进展报告 共31页.ppt 相似的认知心理学模型:系统相似模型 共65页.ppt 一篇论文的诞生 共70页.ppt 自然语言处理大总结 脑图总结.pdf
资源推荐
资源详情
资源评论
字
词
短语
语句
基础
篇章
多篇章
海量文档
字处理
编码
输入
输出
词处理
词法分析
分词与频度统计
分词
分词的难点
切分歧义
交集型
覆盖型
真歧义
伪歧义
未登录词
常用分词方法
正向最大匹配
(Occam's
Razor):
逆向最大匹配
双向最大匹配
最少分词
词网格
频度统计
词频统计的重要作用
两个统计分布规律
Zipf 's law
Heap's law
语料库的多级加工
目的、意义、顺序、规范
人名、地名、机构名识别的常用方法
词性标注
基于规则
基于转移
基于隐马尔科夫模型
句法标注
语义标注
语料库多级加工系统
人机互助的语料加工模型
n-gram
统计模型
噪声信道模型
概念、基本思想
平滑
目的:解决数据稀疏的问题
常用平滑算法
修改频率值
加
1
法
加
λ
法
Good-turing
法
修改条件概率本身
简单线性插值平滑
平滑算法的两条基本原则
是原概率为
0
的条件概率非
0
所有概率分布之和保持为
1
规则与统计相结合
统计模型解决一般性问题
规则模型解决个别性问题
规则需颗粒度小,确定性好,甚至是基于词的
语言处理技术发展具有阶段性的特点
句法分析是瓶颈
随着语言处理层面的由词法、句法向语义语用的不断深入,
统计方法的作用逐步降低,手工方法的作用不断提高
这是由语言的任意性决定的
三种不同方式的计算语言学研究
抢占高地型
Subtopic
没有严格的规范和国家标准
语言是各民族共同构建的伟大的纪念碑
,
与之相比
,
个人的技术探索显得十分渺小
,
只能说是一些相对成熟的经验
:
谢谢大家!
passionSnail
- 粉丝: 385
- 资源: 5623
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
- 1
- 2
- 3
前往页