[TOC]
# 1. 算法整体架构
- 1. 整体架构
![zVzVka](https://raw.githubusercontent.com/errolyan/tuchuang/master/uPic/zVzVka.jpg)
- 2. 编码器和解码器
![3IGSdn](https://raw.githubusercontent.com/errolyan/tuchuang/master/uPic/3IGSdn.jpg)
- 3. 编码器和解码器可能有N层
![Cd0Ucp](https://raw.githubusercontent.com/errolyan/tuchuang/master/uPic/Cd0Ucp.jpg)
- 4. 编码器和解码器内部结构
![BAMuyo](https://raw.githubusercontent.com/errolyan/tuchuang/master/uPic/BAMuyo.jpg)
# 2. 注意力
![jjUPPQ](https://raw.githubusercontent.com/errolyan/tuchuang/master/uPic/jjUPPQ.jpg)
计算过程
![bVvU14](https://raw.githubusercontent.com/errolyan/tuchuang/master/uPic/bVvU14.jpg)
单头注意力:有一组QKV向量
多头注意力:有多组QKV向量
# 3. 词向量编码
- ![9chpgi](https://raw.githubusercontent.com/errolyan/tuchuang/master/uPic/9chpgi.jpg)
- transformer和rnn是不同的,根据不同的位置记录含义不同.
# 4. MASK
- ![GfVvsB](https://raw.githubusercontent.com/errolyan/tuchuang/master/uPic/GfVvsB.jpg)
- 上三角mask
- ![8jYtnW](https://raw.githubusercontent.com/errolyan/tuchuang/master/uPic/8jYtnW.jpg)
# 5.Encoder
![7lIoUS](https://raw.githubusercontent.com/errolyan/tuchuang/master/uPic/7lIoUS.jpg)
- Encoder和Decoder计算
![Q3yAzX](https://raw.githubusercontent.com/errolyan/tuchuang/master/uPic/Q3yAzX.jpg)
没有合适的资源?快使用搜索试试~ 我知道了~
动手写transformer算法来计算字符串的翻译.zip
共10个文件
py:5个
pyc:4个
md:1个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 29 浏览量
2023-06-21
10:55:27
上传
评论
收藏 14KB ZIP 举报
温馨提示
动手写transformer算法实现字符串翻译,可以根据自己需求改写。 内含transformer算法的结构以及环境搭建教程,NLP进阶必备
资源推荐
资源详情
资源评论
收起资源包目录
动手写transformer算法来计算字符串的翻译.zip (10个子文件)
动手写transformer算法来计算字符串的翻译
util.py 6KB
main.py 3KB
mask.py 2KB
model.py 3KB
data.py 3KB
__pycache__
model.cpython-38.pyc 3KB
mask.cpython-38.pyc 839B
util.cpython-38.pyc 3KB
data.cpython-38.pyc 3KB
README.md 1KB
共 10 条
- 1
资源评论
小码蚁.
- 粉丝: 2520
- 资源: 4067
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功