文件检索作业_基于深度学习的自然语言处理.docx
版权申诉
149 浏览量
2022-11-12
13:13:32
上传
评论
收藏 166KB DOCX 举报
基于深度学习的自然语言处理
摘要：深度学习是当前机器学习领域的研究的前沿与热点之一，深度学习的概念源于人工神
经网络的研究。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发
现数据的分布式特征表示。自然语言处理是计算机科学领域与人工智能领域中的一个重要方
向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。本文讨论了
深度学习在句法分析和语义分析等相关任务中的主要算法，总结了存在的问题及深度学习在
中文信息处理的发展方向。
关键词：深度学习 机器学习 自然语言处理
1. 引言
深度学习在图像的语音领域取得了突出成果，但是在自然语言处理上还未取得重大突破，
与语音和图像不同，语言是一种经过人类大脑产生并加工处理的符号系统，似乎模仿人脑结
构的人工神经网络应该在自然语言处理领域拥有更多优势，但实际情况并非如此.同时，近
几十年来，基于统计的模型成为自然语言处理非主流方法之后，属于统计方法典型代表的人
工神经网络在自然语言处理领域依然没有得到足够重视.当然，这一切在 Hinton等提出深度
学习以后，情况发生了变化，当前结合深度学习模型开展自然语言处理相关应用已经取得了
一定成果，并成为研究热点之一 。
[6]
2. 深度学习与自然语言处理的关系
自然语言处理的主要目标是让人类语言能够更容易被计算机识别、操作，其主要应用包
括信息抽取、机器翻译、摘要、搜索及人机交互等。传统的自然语言处理，不管是英文还是
中文，仍然选择分而治之的方法，把应用分解成多个子任务来发展和分析自然语言处理，很
少能够发展一个统计的架构，并且为了更好地提高性能，从而导致需要加入大量为特定任务
指定的人工信息 。从这点来说，大多数系统主要有这样的几个缺点：首先这些系统是浅
[7]
层结构，并且分类器是线性的；其次为了一个线性分类器有更好的性能，系统必须融入大量
为特定任务指定的人工特征；最后这些系统往往丢弃那些从其他任务学来的特征。
从 2006年开始，研究者们开始利用深层神经网络在大规模无标注语料上无监督的为每
个词学到了一个分布式表示，形式上把每个单词表示成一个固定维数的向量，当作词的底层
特征。在此特征基础上，Collobert&Weston 完成了词性标注、命名实体识别和语义角色标
注等多个任务，Richard Socher 等人则利用递归神经网络完成了句法分析、情感分析和句
资源评论
