Megatron-LM:正在进行的大规模研究培训变压器语言模型，包括_如何使用Megatron-LM训练语言模型资源-CSDN文库

共149个文件

py：113个

sh：16个

h：4个

需积分: 38 168 浏览量 2021-04-12 12:25:13 上传评论收藏 459KB ZIP 举报

资源推荐

资源详情

资源评论

收起资源包目录

package

Megatron-LM:正在进行的大规模研究培训变压器语言模型，包括（149个子文件）

helpers.cpp 27KB

layer_norm_cuda.cpp 5KB

scaled_masked_softmax.cpp 3KB

scaled_upper_triang_masked_softmax.cpp 2KB

layer_norm_cuda_kernel.cu 25KB

scaled_masked_softmax_cuda.cu 4KB

scaled_upper_triang_masked_softmax_cuda.cu 3KB

.gitignore 64B

scaled_upper_triang_masked_softmax.h 23KB

scaled_masked_softmax.h 21KB

type_shim.h 2KB

compat.h 895B

MANIFEST.in 65B

LICENSE 14KB

Makefile 279B

README.md 35KB

README.md 3KB

cases_april2021.png 159KB

arguments.py 37KB

training.py 35KB

transformer.py 26KB

text_generation_utils.py 22KB

dataset_utils.py 22KB

test_layers.py 19KB

optimizer.py 19KB

schedules.py 18KB

gpt_dataset.py 18KB

language_model.py 18KB

indexed_dataset.py 18KB

layers.py 16KB

checkpointing.py 16KB

initialize.py 14KB

merge_mp_partitions.py 14KB

bert_tokenization.py 13KB

gpt2_tokenization.py 13KB

autoaugment.py 13KB

biencoder_model.py 12KB

random.py 12KB

finetune_utils.py 11KB

bert_dataset.py 10KB

p2p_communication.py 10KB

finetune_utils.py 9KB

bert_model.py 9KB

realm_model.py 9KB

initialize.py 8KB

distributed.py 8KB

global_vars.py 8KB

realm_index.py 8KB

evaluate.py 8KB

evaluate_utils.py 8KB

preprocess_data.py 8KB

eval_utils.py 8KB

biencoder_dataset_utils.py 8KB

nq.py 7KB

utils.py 7KB

tokenizers.py 7KB

realm_dataset_utils.py 7KB

module.py 7KB

blacklist_urls.py 7KB

orqa_wiki_dataset.py 7KB

vit_model.py 7KB

test_random.py 7KB

microbatches.py 7KB

find_duplicates.py 7KB

tokenizer.py 6KB

data_samplers.py 6KB

pretrain_ict.py 6KB

filter_ngrams.py 6KB

ict_dataset.py 6KB

learning_rates.py 6KB

datasets.py 6KB

qa_utils.py 6KB

fused_softmax.py 6KB

ensemble_classifier.py 6KB

clip_grads.py 6KB

multiple_choice.py 5KB

memory.py 5KB

gpt_model.py 5KB

indexer.py 5KB

cross_entropy.py 5KB

classification.py 5KB

pretrain_bert.py 5KB

data.py 5KB

test_indexed_dataset.py 5KB

mappings.py 4KB

__init__.py 4KB

generate_samples_gpt.py 4KB

grad_scaler.py 4KB

cleanup_dataset.py 4KB

data.py 4KB

qqp.py 4KB

__init__.py 4KB

test_cross_entropy.py 4KB

pretrain_gpt.py 4KB

main.py 4KB

test_initialize.py 4KB

data_utils.py 3KB

eval_utils.py 3KB

__init__.py 3KB

finetune.py 3KB

共 149 条

内容反馈

纯文本文档

粉丝: 39
资源: 4643

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip