LLaMA剪枝-通过结构化剪枝加速大语言模型LLaMA预训练-附项目源码+详细流程教程-优质项目实战.zip_结构化剪枝资源-CSDN文库

共107个文件

py：49个

sh：15个

pyc：15个

版权申诉

155 浏览量 2024-05-20 15:40:29 上传评论收藏 15.82MB ZIP 举报

资源推荐

资源详情

资源评论

收起资源包目录

package

LLaMA剪枝-通过结构化剪枝加速大语言模型LLaMA预训练-附项目源码+详细流程教程-优质项目实战.zip （107个子文件）

reference_loss_estimation.ipynb 4KB

teaserwlegend.jpg 666KB

sft_prompt.json 183B

sample_book1.jsonl 9.54MB

sample_c4-rp2.jsonl 2.36MB

sample_c4-rp1.jsonl 2.29MB

sample_stackexchange1.jsonl 2.17MB

sample_stackexchange2.jsonl 2.04MB

sample_book2.jsonl 1.53MB

sample_github1.jsonl 1.09MB

sample_wiki1.jsonl 668KB

sample_wiki2.jsonl 606KB

sample_github2.jsonl 547KB

sample_arxiv1.jsonl 486KB

sample_arxiv2.jsonl 396KB

sample_cc2.jsonl 149KB

sample_cc1.jsonl 55KB

README.md 17KB

README.md 4KB

README.md 1KB

README.md 202B

tokenizer.model 488KB

composer_llama.py 37KB

l0_module.py 28KB

composer_pythia.py 26KB

streaming_dataset.py 21KB

decode.py 16KB

test_pruning.py 15KB

common.py 13KB

flash_llama.py 12KB

train.py 12KB

flash_opt.py 11KB

data_preprocessor.py 10KB

callbacks.py 6KB

utils.py 6KB

sample.py 6KB

partition.py 6KB

supervised.py 6KB

composer_to_hf.py 5KB

load_text_dataloader.py 5KB

inference.py 5KB

dynamic_loading_callback.py 4KB

test_composer_hf_eq.py 4KB

trainer_utils.py 3KB

main.py 3KB

logging.py 3KB

merge_data.py 3KB

metrics.py 3KB

index.py 3KB

torch_ops.py 2KB

test_streaming_dataset.py 2KB

post_pruning_processing.py 2KB

constants.py 2KB

distributed_utils.py 2KB

pruning_callback.py 2KB

tokenize_single_file.py 2KB

llama_tokenizer.py 1KB

state.py 1KB

data_utils.py 1KB

tensor_ops.py 1KB

model_registry.py 997B

apex_patch.py 914B

utils.py 803B

data_postprocessor.py 791B

setup.py 705B

types.py 634B

accelerate_patch.py 612B

get_all_jsonl.py 314B

__init__.py 22B

__init__.py 1B

__init__.py 1B

composer_llama.cpython-310.pyc 24KB

l0_module.cpython-310.pyc 17KB

composer_pythia.cpython-310.pyc 16KB

streaming_dataset.cpython-310.pyc 15KB

callbacks.cpython-310.pyc 6KB

load_text_dataloader.cpython-310.pyc 5KB

dynamic_loading_callback.cpython-310.pyc 4KB

metrics.cpython-310.pyc 4KB

test_composer_hf_eq.cpython-310.pyc 3KB

pruning_callback.cpython-310.pyc 3KB

partition.cpython-310.pyc 3KB

post_pruning_processing.cpython-310.pyc 2KB

state.cpython-310.pyc 1KB

model_registry.cpython-310.pyc 880B

utils.cpython-310.pyc 813B

test_pruning.sh 5KB

pruning.sh 4KB

test_continue_pretrain.sh 3KB

continue_pretrain.sh 3KB

run_eval.sh 3KB

sft.sh 2KB

launch.sh 1KB

SLURMinference.sh 711B

inference.sh 684B

SLURMsft_LLaMA2.sh 659B

hf_open_llm.sh 351B

tokenize_all_files.sh 243B

sample_all_domains.sh 223B

cleanshm.sh 134B

共 107 条

内容反馈

版权申诉

极智视界

粉丝: 2w+
资源: 1615

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip