没有合适的资源?快使用搜索试试~ 我知道了~
tta:文章“用于无监督学习的快速,准确的深度双向语言表示形式”的资料库
共17个文件
py:7个
txt:3个
tta-layer-3-enwiki-lower-sub-32k:1个
需积分: 12 1 下载量 44 浏览量
2021-04-23
03:56:07
上传
评论
收藏 141KB ZIP 举报
温馨提示
贸易协定 该存储库用于,其中详细描述了我们的方法。 介绍 T-TA或T基于ransformer-T EXT一个utoencoder,是监督学习任务的新深双向语言模型。 T-TA学习了直接的学习目标,即语言自动编码,该功能可以只使用上下文自动预测句子中的所有标记。 与“掩蔽语言模型”不同,T-TA具有自掩蔽机制,以避免仅将输入复制到输出。 与BERT(用于微调整个预先训练的模型)不同,T-TA特别有利于获得上下文嵌入,这些嵌入是从训练的语言模型的隐藏层生成的每个输入令牌的固定表示。 T-TA模型体系结构基于模型体系结构,而模型体系结构主要是标准的体系结构。 我们的代码基于 ,其中包括用于构建自定义词汇表,准备Wikipedia数据集等的方法。 此代码在以下条件下进行了测试: Ubuntu 16.04 LTS Python 3.6.10 TensorFlow 1.12.0 T-TA的用法
资源推荐
资源详情
资源评论
收起资源包目录
tta-master.zip (17个子文件)
tta-master
.gitignore 55B
tfrecords
tta-librispeech-lower-sub-32k 93B
tokenization.py 12KB
data
corpus-eval.librispeech-lower.sub-32k.txt 98B
stsbenchmark 86B
corpus-train.librispeech-lower.sub-32k.txt 99B
run_unsupervisedstsb.py 9KB
__init__.py 616B
run_training.py 16KB
models
tta-layer-3-enwiki-lower-sub-32k 125B
LICENSE 11KB
optimization.py 6KB
modeling.py 37KB
README.md 5KB
configs
config.layer-3.vocab-lower.sub-32k.json 330B
vocab-lower.sub-32k.txt 215KB
create_tfrecords.py 9KB
共 17 条
- 1
资源评论
钟离舟
- 粉丝: 34
- 资源: 4667
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- CocosDashboard-v2.1.3-win-042311.exe
- 基于yolov5和deepsort算法的车辆检测项目源码+数据集(高分项目).zip
- 基于YOLOv5+Deepsort实现车辆行人追踪和计数(完整源码+说明文档+数据).zip
- 150360364459673Pex10_9.py
- 74ls138译码器Multisim仿真设计
- 深度学习在图像分类任务中的应用
- 华为OD资源整理-包含华为OD概述,招聘流程等
- 基于BP神经网络的供热管道压力和温度预测(代码完整,数据齐全)
- 架空电力线弧垂计算公式
- 基于BP神经网络的四分类预测,基于RBF的四分类预测,基于GRNN的四分类预测,基于PNN的四分类预测
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功