【免费】思维导图1资源-CSDN文库

自然语言处理

需积分: 0 167 浏览量 2022-08-03 15:39:16 上传评论收藏 2.89MB PDF 举报

资源详情

资源评论

资源推荐

NLP

LEC5词法分析

统计语󰤛模型 N元法模型

1gram 独󰐩于历史

2gram 1阶󰶹尔可夫链

3gram 2阶󰶹尔可夫链

应󰉁

󰵋节转换问题

汉语分词问题问题

数据稀疏引起0概率的问题

解决数据平滑

加1法

减值法

神经󰕲络

固定窗的神经语󰤛模型

循环神经󰕲络

循环神经󰕲络主要󰉁于处󰇹（变

󰲊）序数据

语󰤛模型的评估计算困惑度

LEC4中词法分析

词语

内部粘合度󰷼

外部环境替换度󰷼

本身频度󰷼

本分词中的歧义

交集型歧义

看|重

看重|

组合型歧义

混合型歧义

链󰲊

交集型歧义字段中含有交集字段的

个数

分词法基于字典的分词法

最匹配法问题

存在分词错误

法发现分词歧义

正向最匹配和逆向最匹配结果

同意味着存在分词歧义

最󰩁径法词数最少的󰩁径最优

半词罚分法半词法

半词：如果个字单独作为词使

󰉁就是半词

最概率法最概率分词

能解决所有的交集型歧义

LEC3

词性

将词按照相似的语法结构󰢩为和典

型的语义类型聚成同的类

分类

开放类

封闭类

词法

构词的过程

主要类别

变形

派󰈿

复合

短语结构表示树

法分析

法分析是指给出个特殊的词语

序，重构其短语结构树的过程

构建的颗短语结构树称为

个分析

个特定的词语序可以给出多个

同的短语结构树，个通常

能找到上百个分析的这种现象称为

短语结构歧义/法结构歧义

附着歧义

发󰈿在可以被两个同结点󰈿成的

短语中

The children ate cake with a

spoon

指代消解

发󰈿在涉及到同个或物的多个

名词短语之间，是种语󰉁现象

法语义语󰉁之间的关系

汉字编码的输输出

LEC1

主要研究内容

机翻译

信息检索

󰉁计算机系统从󰮢档中找到

符合󰉁户需要的相关信息

󰙵动摘将原档的主要内容提取出来

观点挖掘

问答系统

通过计算机系统对提出的问题的

󰇹解，󰉁󰙵动推󰇹的段，在有

关知识资源中󰙵动求解答案并作出

相应的回答。

信息抽取

从指定档中或者󰀚󰮢本中抽取

出󰉁户感兴趣的信息

档分类

对󰮢的档按照定的分类标准

实现󰙵动归档

字编辑和󰙵动校对

对字拼写、󰉁词、甚󰙸语法󰙵动

检查、校对和排版

问题

形态学单词的识别/汉语的分词

法问题

研究结构成分之间的相互关系

和组成序的规则

语义问题

研究如何从个语中推导出词的

意义，以及这些词在语法结构

中的作󰉁来推导出该语的意义。

语󰉁学

研究在同下上中语的应󰉁，

以及上下对语󰇹解所产󰈿的影

响

困难

󰮢的歧义

词法歧义欢迎新󰖭师󰈿前来吃饭

词性歧义 Time ﬂies like an arrow

结构歧义喜欢乡下的孩

语义歧义

同的词在同的中的意义

样

󰮢的未知语󰤛现象

新词

新含义

LEC2数学基础

信息检索

󰙵动问答

对话系统

数学应󰉁实 词汇歧义消解

如何区分同上下中的词汇语义

解决思󰩁：将多义词的上下区别

开，其词义󰙵然就明确

基于上下分类的消歧法基于󰧍叶斯分类

LEC6法分析

法分析是󰙵然语󰤛处󰇹中的基础

性作，它分析的法结构

（主谓宾结构）和词汇间的依存关

系

短语结构分析

上下关法

线图分析法

概率上下关法

对于可能产󰈿多种语法分析结果的

问题，给每棵树计算个概率

依存法分析

与短语结构的关系

LEC7问答与对话

问答发展历程

答案从知识库中检索得到或者在知

识库上推󰇹得到

󰉁信息检索以及浅层󰙵然语󰤛处

󰇹技术从规模本库或者󰕲󰵎中

抽取出答案

社区问答系统提问由其他󰉁户回答

问答式检索法

信息检索+信息抽取

从问中提取关键词语，󰉁信息检

索的法找出包含候选答案的段落

或，然后基于问答类型󰉁信息

抽取的法在这些段落和中找

出答案

信息检索+模式匹配

信息检索+󰙵然语󰤛处󰇹技术

基于统计翻译模型的问答技术

较

社区问答系统

主要任务

问题分类

将󰉁户提问󰙵动分到社区问答系统

对应的类别体系中

难点

类别多且均衡

包含的信息少，提问短

问题

准确率很低

数据稀疏

相似问题检索

问题检索指基于规模󰉁户产󰈿的

问答数据集提供的信息检索服务，

即从数据集中找出与󰉁户提问相似

的问题，这些相似问题的答案可以

作为󰉁户提问问题的答案候选

挑战

问题般较短包含的信息少，词

汇鸿沟很严重

基于图结构的专家󰉁户发现

阅读󰇹解式问答系统

机阅读󰇹解的法

传统特征程的法

基于神经󰕲络的法

章表示

问表示

其中，正向RNN的尾部单词隐层节

点（图中绿󰚬节点）正向融合 

整个语义信息；相对的，反向

RNN的尾部单词（局󰶳词）隐层

节点（图中橙󰚬节点）则逆向融合

整个的语义信息。

章与问题的匹配

维匹配

维匹配

插对抗负样本

原本模型能够得到正确答案。在

档后󰴯插和包含答案的线索

形式上相似的负样本(图

中蓝󰚬部分)。结果，模型受到

扰，得出错误答案。

对话系统

对话管󰇹法

有限状态机

存在问题

基于框架的对话管󰇹

基于机学习的对话管󰇹系统

聊天机

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

评论0

内容反馈

挽挽深铃

粉丝: 8
资源: 274

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip