没有合适的资源?快使用搜索试试~ 我知道了~
pretraining-for-language-understanding:训练语言模型以进行语言理解
共20个文件
py:8个
pth:3个
txt:3个
需积分: 9 1 下载量 100 浏览量
2021-03-14
23:51:39
上传
评论
收藏 418KB ZIP 举报
温馨提示
语言理解预训练 现在,针对语言理解的语言模型预训练是NLP上下文中的重要一步。 语言模型将在庞大的语料库上进行训练,然后我们可以将其用作需要处理语言的其他模型的组成部分(例如,将其用于下游任务)。 概述 语言模型 语言模型(LM)捕获所有可能句子的分布。 输入:一个句子 输出:输入句子的概率 虽然语言建模是大规模语料库上的典型无监督学习,但我们在此回购中将其转变为一系列有监督的学习。 自回归语言模型 自回归语言模型基于所有先前的标记来捕获下一个标记的分布。 换句话说,它查看上一个标记,并预测下一个标记。 自回归语言模型的目标用以下公式表示: 因为自回归语言模型应该是向前或向后的,所以只能使用单向单向上下文信息。 因此,很难同时理解两个方向的上下文。 RNNLM,ELMo是自回归语言模型的典型示例,此存储库涵盖了单向/双向LSTM语言模型。 cf. 双向LSTM LM,ELM
资源推荐
资源详情
资源评论
收起资源包目录
pretraining-for-language-understanding-master.zip (20个子文件)
pretraining-for-language-understanding-master
inference.py 5KB
lm_trainer.py 7KB
.gitattributes 42B
dataset_utils.py 1KB
tokenization.py 3KB
models
logs
bilstm_lm.txt 557KB
lstm_lm.txt 547KB
bilstm_lm_large.txt 557KB
bilstm_lm10.pth 134B
bilstm_lm_large10.pth 134B
lstm_lm10.pth 134B
parallel.py 7KB
images
multi_gpu_training.png 133KB
build_corpus
wikipedia_en.sh 155B
wikipedia_ko.sh 130B
build_corpus.py 990B
models.py 4KB
LICENSE 11KB
README.md 14KB
build_vocab.py 3KB
共 20 条
- 1
资源评论
刘岩Lyle
- 粉丝: 41
- 资源: 4680
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功