没有合适的资源?快使用搜索试试~ 我知道了~
用于金融文本挖掘的多任务学习预训练金融语言模型.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 198 浏览量
2022-06-10
14:27:10
上传
评论
收藏 792KB DOCX 举报
温馨提示
试读
29页
用于金融文本挖掘的多任务学习预训练金融语言模型.docx
资源推荐
资源详情
资源评论
摘 要 近年来,机器学习,尤其是深度神经网络方法促进了金融文本挖
掘研究的发展,在金融科技领域起着越来越重要的作用如
何从金融大数据中提取有价值的信息已经成为学术界和工业界一个非
常有挑战的研究由于深度神经网络需要大量标注数据,但是金融领域
缺乏训练数据,因此,将深度学习应用于金融大数据挖掘并没有取得
很好效果为了更好地解决该问题,利用自监督学习和多任务学习等深
度学习领域最新的思想和技术,提出了基于 模型架构的开源金
融预训练语言模型 是一种针对特定领域金融文本数
据的预训练语言模型,它通过在大型金融语料库上进行无监督训练得
到基于 架构, 可以有效地自动将知识从金融大数据中
提取出并记忆在模型中,而无需进行特定于金融任务的模型结构修改
从而可以直接将其应用于下游各种金融领域任务,包括股票涨跌预测
金融情绪分类、金融智能客服等在金融关系提取、金融情绪分类、金
融智能问答任务上的大量实验表明了 模型的有效性和鲁棒性
同时, 在这 个有代表性的金融文本挖掘任务上均取得了很
高的模型准确率,进一步验证了模型的性能
关键词 ;金融文本挖掘;多任务学习;预训练;迁移学习;金
融科技
海量的互联网金融信息在金融市场中有着举足轻重的地位对网络
金融文本信息的挖掘工作具有很大的实际价值随着大数据时代的到来,
金融大数据挖掘已成为行业热点趋势面向金融的机器学习技术吸引了
越来越多的关注面对每日产生的数量惊人的金融文本数据,如何从中
提取有价值的信息已经成为学术界和工业界一个非常有挑战的研究如
果我们采取人工的方式来分析这些文本信息并从中获得可行的见解几
乎是一项极其艰巨的任务机器学习技术的进步使金融科技中的金融文
本挖掘模型成为可能但是,在金融文本挖掘任务中,构建有监督训练
数据代价非常高昂,因为这需要使用财务领域的专家知识由于可用于
金融文本挖掘任务的有标签训练数据量很少,因此大多数金融文本挖
掘模型无法直接利用深度学习技术
在本文中,我们创新地提出了 模型,通过利用自监督学习
和多任务学习的深度神经网络方法来解决该问题当前,金融科技中的
金融文本挖掘模型主要是采取基于深度学习的自然语
言处理技术
目前,自然语言处理主要使用基于深度神经网络的技术,其发展
主 要 有 两 大 里 程 碑 工 作 首 先 是 年 提 出 并 不 断 发 展 的 以
!"
为代表的词向量技术,例如 ,#
!"
等;第
个里 程 碑 是 在 $ 年 底 由 谷 歌提 出 的 以 %
&'&'
!"
为典型代表的预训
练 语 言 模 型 ' 技 术 , 例 如
,()*
!+"
等其中,诸如 ,# 之类的词编码是从
无监督语料库中提取知识的一种方式,已成为自然语言处理的主要进
步之一但是,由于在金融领域中包含了很多专业术语,因此这些简单
的词向量方法不够有效另一方面,预先训练的语言模型技术,例如
,,(
!-"
等,采取在大规模无监督数据例如维基百科数据等
上进行了预先训练,经过大规模语言模型预训练, 获得了有效
的上下文表示与 词向量相比, 能够充分利用深度预
训练模型的参数,可以更有效地学习上下文知识但是,模型的预训练
例如 主要使用基于简单的预训练任务来对语言模型进行训练,
从而使得模型具备掌握单词或句子共现的能力实际上,除了共现之外,
还有其他词汇、句法和语义信息需要在训练语料库中进行检查尤其是
对于金融文本数据,例如,股票、债券类型和金融机构名称之类的命
名实体包含唯一的词汇信息此外,诸如句子顺序和句子之间的接近度
之类的信息也使模型能够学习语义感知表示并且, 的预训练数
据来自 ./ 和英文维基百科,这些语料不一定和目标任务
的语言环境相近,如金融领域因此,如果我们直接使用 进行金
融文本挖掘,效果并不是很好
为了在大型金融训练语料库中有效地捕获语言知识和语义信息,
我们构建了涵盖更多知识的 + 个自监督学习的预训练任务,并通过对
训练数据进行多任务学习来训练 具体而言,我们创新地提出
了 模型,在该模型架构中,我们构建了 + 个自监督学习预训
练任务,并同时对普通文本语料和金融领域文本语料进行了学习,从
而使得 可以更好地捕获金融文本数据的语言知识和语义等信
息总结来说,本文的主要贡献有 - 个方面:
利用深度学习领域的自监督学习和多任务学习技术,提出了一
种基于 模型架构的大规模语料上训练的开源金融预训练模型
构建了 + 个自监督学习预训练任务,可以通过多任务自监督学
习来进行同时预训练,通过该机制可以有效地捕获大规模预训练语料
中的金融语言知识和语义等信息
分别在金融关系提取、金融情绪分类、金融智能问答任务上进
行了金融任务实验,验证了 的有效性和鲁棒性实验结果表明
模型在这 个有代表性的金融文本挖掘任务均取得了最佳准
确性,优于所有当前其他模型性能;另外,针对金融命名实体识别、
金融短文本分类这 个实际金融科技任务也进行了实验验证,所提出
的 模型均取得了最佳准确性
+采取了一种混合精度训练方法,并在 01 框架上进行
的分布式训练,既使得整个训练过程具有稳定加速比,同时拥
有较好的可扩展性
-在 #% 上进行了 的开源,包括其模型架构、源代
码、超参数、训练模型,以及用于微调的源代码通过该开源代码,
可用于各种其他下游金融文本挖掘任务,对特定金融文本分析
任务进行最少的修改即可帮助实现最新的性能
1 相关工作
1.1 预训练模型
预训练模型最早应用于机器图像和计算机视频领域在 年的
大 规 模 图 像 识 别 竞 赛 2'3
!4"
中 , 当 时 取 得 第 一 名 成 绩 的
,53
!6"
横空出世,它采取了基于 /33
!$"
的卷积神经网络模型架构此
后,,53 被广泛应用在众多的机器视觉任务中虽然很多新模型并
不是完全借鉴 ,53 模型架构从头开始训练,而是主要利用在
2'3 上训练得到的 ,53 模型的参数和神经网络架构,再进
一步结合实际任务进行少量修改,然后在新的数据上训练和优化实验
结果表明,复用预训练模型可以显著增加目标任务的准确度,也大大
缩短了新模型的训练时间
预训练模型的一大优势是,可以利用在其他相似任务的大量数据
上建立有效的模型再迁移到目标任务,从而解决了目标任务例如股票
涨跌预测训练数据不足的问题另外,从垂直领域文档例如金融文本
数据等中提取有价值的信息正在变得越来越重要,深度学习促进了有
效的垂直领域文本挖掘的研究发展
1.2 预训练语言模型 BERT
# 在 $ 年下半年发布了预训练语言模型
!"
,在自然
语言处理界具有开创时代的意义接下来, 模型在十多个自然语
言理解任务中全部取得了最佳模型准确率,在多个公开自然语言处理
竞赛上取得大幅提升,甚至在常识推理、自动问答、情绪分析、关系
抽取、命名实体识别等竞赛均取得了超过了人类准确率的成绩同时,
剩余28页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3652
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功