没有合适的资源?快使用搜索试试~ 我知道了~
GlomImpl:文本的GLOM模型的实现
共18个文件
py:5个
json:4个
png:4个
需积分: 9 0 下载量 93 浏览量
2021-03-04
21:33:43
上传
评论
收藏 207KB ZIP 举报
温馨提示
格洛姆 这是针对文本域的GLOM模型()的简单实现。 它很大程度上建立在ALBERT模型的上()。 方法 使用t变压器层(t =您要建模的GLOM时间步数) 使用L个关注头(L =您要建模的GLOM级别数) 将这些小修改应用于ALBERT模型: 删除查询,键,值的线性投影; 只需通过[(d/L)*i..(d/L)*(i+1)]到第i个头 修改/约束关注的密集层,使其输出的每个分区[(d/L)*i..(d/L)*(i+1)]仅由(第i-1),第i和第(i + 1)头(这将模拟对较低和较高GLOM级别的访问) 请参阅实际的农业逻辑。 删除跳过连接和位于关注层顶部的MLP 对于屏蔽语言模型训练:仅将输入令牌嵌入到[0..(d/L)] (第一级)中。 同样,仅从最终的隐藏状态中获取这些尺寸即可预测被屏蔽的令牌。 所有其他维度都将获得一个(与位置无关,但与电平相关的)偏差,作为零时步输入。
资源推荐
资源详情
资源评论
收起资源包目录
GlomImpl-master.zip (18个子文件)
GlomImpl-master
run_hf_mlm.py 24KB
results
prediction_results_glom_clustering_3pv0cnaf.tsv 19KB
configs
glom
glom-paper.json 651B
glom-albert-base-v2.json 651B
src
models
glom
modeling_glom.py 52KB
configuration_glom.py 8KB
__init__.py 0B
trainer.py 643B
images
GLOM_architecture.png 32KB
WandB_2.3.2021_04-14-07_loss.png 82KB
WandB_2.3.2021_04-14-07_flos.png 5KB
wandb_comparison_long-run_loss.png 84KB
.vscode
launch.json 4KB
settings.json 45B
workspace.code-workspace 61B
requirements.txt 34B
README.md 3KB
.gitignore 2KB
共 18 条
- 1
资源评论
男爵兔
- 粉丝: 42
- 资源: 4591
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功