没有合适的资源?快使用搜索试试~ 我知道了~
Prime:一个简单的模块在具有SoTA性能的主要NMT数据集上始终优于自我关注和Transformer模型
共211个文件
py:162个
md:15个
rst:13个
需积分: 8 1 下载量 115 浏览量
2021-05-01
21:39:55
上传
评论
收藏 1.67MB ZIP 举报
温馨提示
消息 二○一九年十二月十日我们已经从MUSE(平行MU lti-小号Cale的ATTëntion)改变型号,以PRIME(P A R等位基因我ntersected中号ULTI规模ATTÈntion) 介绍 相关链接: : : :examples / parallel_intersected_multi-scale_attention(Prime)/README.md 关于本文: TL; DR:一个简单的模块在具有SoTA性能的主要NMT数据集上始终优于自我关注和Transformer模型。 我们问三个问题: 光是注意力就够了吗? 并行表示学习是否适用于序列数据和任务? 如何设计一个将卷积的归纳偏差和自我注意相结合的模块? 我们发现独立的自我注意存在缺陷,并提出了一个新模块,该模块将输入映射到隐藏空间并并行执行自我注意,卷积和非线性三个操作,简单地堆叠该模块的性能优于所有
资源推荐
资源详情
资源评论
收起资源包目录
Prime:一个简单的模块在具有SoTA性能的主要NMT数据集上始终优于自我关注和Transformer模型 (211个子文件)
make.bat 805B
docutils.conf 25B
libbleu.cpp 3KB
module.cpp 791B
theme_overrides.css 192B
convert_model.lua 3KB
convert_dictionary.lua 897B
Makefile 607B
README.md 15KB
README.md 11KB
README.md 8KB
README.md 4KB
README.md 4KB
README.md 3KB
README.md 3KB
README.md 3KB
README.md 3KB
README.md 2KB
README.md 1KB
CONTRIBUTING.md 1KB
README.md 897B
README.md 625B
CODE_OF_CONDUCT.md 241B
PATENTS 2KB
transformer_bm.py 48KB
transformer.py 38KB
lightconv.py 35KB
multihead_attention.py 29KB
fconv.py 26KB
sequence_generator.py 26KB
options.py 24KB
lstm.py 24KB
combine_transformer.py 23KB
test_binaries.py 23KB
fconv_self_att.py 23KB
test_noising.py 19KB
trainer.py 19KB
semisupervised_translation.py 19KB
multilingual_translation.py 15KB
masked_lm.py 15KB
indexed_dataset.py 14KB
fp16_optimizer.py 14KB
fairseq_model.py 14KB
transformer_lm.py 13KB
block_pair_dataset.py 13KB
masked_lm_dataset.py 12KB
noising.py 12KB
train.py 11KB
checkpoint_utils.py 11KB
lightweight_convolution.py 11KB
dynamic_convolution.py 11KB
utils.py 10KB
test_sequence_generator.py 10KB
dictionary.py 10KB
preprocess.py 10KB
fairseq_task.py 10KB
lightconv_lm.py 10KB
downsampled_multihead_attention.py 10KB
language_modeling.py 9KB
progress_bar.py 9KB
translation_moe.py 9KB
multilingual_transformer.py 9KB
language_pair_dataset.py 9KB
adafactor.py 9KB
search.py 9KB
iterators.py 9KB
translation.py 8KB
layer_mha.py 8KB
eval_lm.py 8KB
generate.py 7KB
monolingual_dataset.py 7KB
utils.py 7KB
adaptive_softmax.py 7KB
transformer_sentence_encoder.py 7KB
data_utils.py 6KB
distributed_utils.py 6KB
cross_lingual_lm.py 6KB
legacy_distributed_data_parallel.py 6KB
token_block_dataset.py 6KB
masked_lm_loss.py 6KB
backtranslation_dataset.py 6KB
transformer_from_pretrained_xlm.py 6KB
adam.py 6KB
score_moe.py 6KB
interactive.py 6KB
lamb.py 6KB
adamod.py 5KB
character_token_embedder.py 5KB
average_checkpoints.py 5KB
cosine_lr_scheduler_bound.py 5KB
average_checkpoints.py 5KB
multi_corpus_sampled_dataset.py 5KB
cosine_lr_scheduler_cut.py 5KB
rm_pt.py 5KB
cosine_lr_scheduler.py 5KB
fconv_lm.py 5KB
masked_lm.py 5KB
__init__.py 5KB
test_train.py 5KB
layer_norm.py 4KB
共 211 条
- 1
- 2
- 3
资源评论
帝哲
- 粉丝: 43
- 资源: 4669
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功