没有合适的资源?快使用搜索试试~ 我知道了~
bert-stable-fine-tuning:关于微调BERT的稳定性
共523个文件
py:242个
md:94个
yaml:89个
需积分: 42 2 下载量 83 浏览量
2021-03-21
04:08:39
上传
评论
收藏 3.46MB ZIP 举报
温馨提示
关于微调BERT的稳定性:误解,解释和强大的基准 Marius Mosbach,Maksym Andriushchenko,Dietrich Klakow 萨尔大学和EPFL 该存储库包含有关“。它是(v2.5.1)的分支。 抽象的 微调经过预训练的基于变压器的语言模型,例如BERT,已成为控制各种NLP基准排行榜的一种普遍做法。尽管微调模型具有强大的经验性能,微调还是一个不稳定的过程:使用多个随机种子训练同一模型可能会导致任务性能产生较大差异。先前的文献(Devlin等人,2019; Lee等人,2020; Dodge等人,2020)确定了观察到的不稳定的两个潜在原因:灾难性的遗忘和较小的微调数据集。在本文中,我们证明了这两种假设都无法解释微调的不稳定性。我们分析了GLUE基准测试的三个常用数据集上的BERT,RoBERTa和ALBERT,并表明观察到的不稳定性是由导致梯度消失的优化困
资源推荐
资源详情
资源评论
收起资源包目录
bert-stable-fine-tuning:关于微调BERT的稳定性 (523个子文件)
setup.cfg 568B
huggingface.css 5KB
code-snippets.css 257B
Dockerfile 2KB
Dockerfile 656B
Dockerfile 640B
Dockerfile 635B
Dockerfile 629B
Dockerfile 613B
Dockerfile 608B
.gitignore 43B
favicon.ico 47KB
MANIFEST.in 16B
02-transformers.ipynb 31KB
01-training-tokenizers.ipynb 14KB
03-pipelines.ipynb 14KB
custom.js 16KB
train-v2.0.json 9KB
dev-v2.0.json 9KB
distilroberta-base.json 364B
distilbert-base-multilingual-cased.json 278B
distilbert-base-cased.json 277B
distilbert-base-uncased.json 277B
distilgpt2.json 168B
dummy-config.json 29B
LICENSE 11KB
Makefile 676B
Makefile 585B
README_transformers.md 39KB
README.md 22KB
README.md 15KB
quickstart.md 10KB
CONTRIBUTING.md 9KB
README.md 9KB
README.md 7KB
README.md 6KB
README.md 6KB
README.md 6KB
README.md 6KB
README.md 6KB
README.md 6KB
migration.md 6KB
README.md 5KB
README.md 5KB
README.md 5KB
README.md 5KB
README.md 5KB
README.md 5KB
README.md 5KB
README.md 4KB
README.md 4KB
README.md 4KB
README.md 4KB
README.md 4KB
README.md 4KB
bert-base-german-cased-README.md 4KB
README.md 3KB
README.md 3KB
README.md 3KB
README.md 3KB
README.md 3KB
README.md 3KB
README.md 3KB
README.md 3KB
README.md 3KB
benchmarks.md 3KB
README.md 3KB
README.md 3KB
README.md 3KB
README.md 3KB
README.md 2KB
README.md 2KB
README.md 2KB
README.md 2KB
README.md 2KB
README.md 2KB
installation.md 2KB
README.md 2KB
README.md 2KB
README.md 2KB
README.md 2KB
README.md 2KB
README.md 2KB
README.md 2KB
README.md 2KB
README.md 2KB
model_sharing.md 2KB
README.md 2KB
README.md 2KB
README.md 2KB
README.md 2KB
README.md 2KB
README.md 2KB
README.md 2KB
README.md 2KB
README.md 2KB
README.md 2KB
README.md 1KB
README.md 1KB
README.md 1KB
共 523 条
- 1
- 2
- 3
- 4
- 5
- 6
资源评论
帝哲
- 粉丝: 35
- 资源: 4669
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功