没有合适的资源?快使用搜索试试~ 我知道了~
weighted_hybrid_transformer:一种编码器-解码器变压器模型,可以通过几种训练变体进行实验
共15个文件
py:10个
png:3个
md:1个
需积分: 10 0 下载量 74 浏览量
2021-02-13
21:28:38
上传
评论
收藏 89KB ZIP 举报
温馨提示
weighted_hybrid_transformer 在“开放字幕”数据集上进行训练的编码器-解码器变压器模型。 变压器有四个变体,可以“混合”,“加权”,“ weighted_plus”和“基线”使用。 “混合”模型是一个多任务转换器,除了执行响应生成外,还执行响应检索和重新排序任务。 “加权”和“加权加”模型对高频词的交叉熵损失应用修饰符,以减少其在数据集中过分表达的影响,并在理论上减少模型的产生。 “基准”是没有上述任何一项的常规变压器。 所使用的特定变压器架构在很大程度上是Vaswani等人(2017) 变压器的较小版本。 依存关系: 张量流> = 2.3.1 nltk> = 3.5 数据集> = 1.2.0 胭脂> = 1.0.0 这些文件可以通过Trainer类进行操作。 实例化Trainer类时,可以更改有关模型超参数的特定详细信息。 见下文: trainer
资源推荐
资源详情
资源评论
收起资源包目录
weighted_hybrid_transformer-main.zip (15个子文件)
weighted_hybrid_transformer-main
README.md 1KB
generator_loss.png 26KB
config.py 4KB
metrics.py 1KB
trainer.py 8KB
retrieval_loss.png 24KB
reranker_loss.png 31KB
Figures
.dummy 1B
Models
multi_head_attention.py 2KB
decoder.py 3KB
encoder.py 9KB
transformer.py 14KB
tfidf.py 1023B
dataloader.py 3KB
tokenizer.py 2KB
共 15 条
- 1
资源评论
苏鲁定
- 粉丝: 23
- 资源: 4574
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功