# MyTransformer_pytorch
关于Transformer模型的最简洁pytorch实现,包含详细注释
> 本实现版本相比参考代码删去了每个模块不必要的返回(如注意力矩阵),力求最精简明晰的实现,适用于初学者入门学习
- 参考代码有:
1. https://wmathor.com/index.php/archives/1455/
2. http://nlp.seas.harvard.edu/annotated-transformer/ (哈佛NLP团队实现版本)
- file_list
- MyTransformer.ipynb
- jupyter notebook中的实现,与.py文件相比,添加了更多的说明文字
- images
- 为方便理解绘制的一些图,在 MyTransformer.ipynb 中被用到
- data.py
- 数据预处理
- model.py
- 模型文件
- train.py
- 训练模型
- test.py
- 读入训练好的pth模型文件,测试模型,完成一个翻译任务
- .pth
- My_Transformer.pth
- 是按照原concat写法训练1000次后得到的模型,Loss约为3e-6
- My_Transformer_concat.pth
- 是按照我修改后的concat写法训练1000次后得到的模型,Loss也为3e-6
- MyTransformer_fault.pth
- 只训练了5个epoch的模型,用于验证所做的测试是有意义的(用此模型预测会出错)
- 训练好的模型文件链接:
- 链接:https://pan.baidu.com/s/133Ud8f0yHV3kFnawdZGsQA
- 提取码:2022
- 下载后解压到项目根目录下即可
- 我的邮箱:crazystone_lei@163.com
- 欢迎来信交流
- 以上内容均为原创,参考的代码已列出,如要转载请注明出处,best wishes.
没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
收起资源包目录
【课程设计】基于pytorch实现Transformer模型的最简洁方式源码+模型+详细注释+运行说明.zip (12个子文件)
code
model.py 14KB
data.py 3KB
images
Transformer_structure.jpg 910KB
Transformer_layer.png 275KB
Transformer_test.jpg 398KB
Positional Encoding.jpg 96KB
Subsequence Mask.jpg 89KB
data.jpg 86KB
MyTransformer.ipynb 1.25MB
train.py 1KB
test.py 3KB
README.md 2KB
共 12 条
- 1
资源评论
熬夜写代码的平头哥
- 粉丝: 3417
- 资源: 7310
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功