没有合适的资源?快使用搜索试试~ 我知道了~
ALBERT_STUDY:ALBERT研究
共10个文件
py:6个
txt:2个
json:1个
需积分: 20 0 下载量 153 浏览量
2021-02-14
17:04:02
上传
评论 1
收藏 6.95MB ZIP 举报
温馨提示
ALBERT_STUDY BERT모델모델ALBERT가나왔습니다。 BERT에비해서나나나에서에서에서한국어해해한목표목표목표목표。 ALBERT무엇이달라졌는가? 1)嵌入参数分解 ALBERT配置BERT와의이를있었습니다。 바로嵌入尺寸가。 ALBERT의바로이것입니다。 在BERT中隐藏了大小,然后在嵌入ALBERT中添加了大小。 BERT의전의사전의기(사전편인데요)가꽤꽤。 이런사전。됩니。다。 阿尔伯特V(隐藏层大小)释放H(隐藏层大小)释放E(嵌入层大小)释放E(嵌入层大小)。 V존HⅩ사이즈가VⅩE+EⅩH로줄어들게다。 BERT는사갯수30000레이어가768사사이즈는23,040,000반면ALBERT는30000 X 128 + 128 X 768 = 3,938,304개의사이즈를가지즈는다。 2)跨层参数共享 ALBERT는图层공유합니다。 层공유한다
资源推荐
资源详情
资源评论
收起资源包目录
ALBERT_STUDY-master.zip (10个子文件)
ALBERT_STUDY-master
nsmc_vocab.txt 228KB
data
nsmc_corpus.txt 16.7MB
classifier_utils.py 35KB
create_pretraining_data_ns.py 23KB
tokenization_ns_kor.py 16KB
albert_config.json 504B
run_pretraining.py 22KB
README.md 7KB
run_classifier_ns.py 19KB
fine_tuning_utils.py 3KB
共 10 条
- 1
资源评论
在南极找不到南
- 粉丝: 28
- 资源: 4605
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功