MindSpore Transformers套件的目标是构建一个大模型训练、推理、部署的全流程套件

# MindFormers大模型使用教程 ## 配套版本 | 版本对应关系 | MindFormers | MindPet | MindSpore | Python | 芯片 | | :----------: | :---------: | :-----: | :-------: | :---------: | :----------------: | | 版本号 | dev | 1.0.0 | 2.0/1.10 | 3.7.5/3.9.0 | Ascend910A NPU/CPU | ## 支持镜像 ### 裸金属镜像 - docker下载命令 ```shell docker pull swr.cn-central-221.ovaijisuan.com/mindformers/mindformers_dev_mindspore_2_0:mindformers_0.6.0dev_20230616_py39_37 ``` - 创建容器 ```shell # --device用于控制指定容器的运行NPU卡号和范围 # -v 用于映射容器外的目录 # --name 用于自定义容器名称 docker run -it -u root \ --ipc=host \ --network host \ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \ --device=/dev/davinci4 \ --device=/dev/davinci5 \ --device=/dev/davinci6 \ --device=/dev/davinci7 \ --device=/dev/davinci_manager \ --device=/dev/devmm_svm \ --device=/dev/hisi_hdc \ -v /etc/localtime:/etc/localtime \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ -v /var/log/npu/:/usr/slog \ -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \ --name {请手动输入容器名称} \ swr.cn-central-221.ovaijisuan.com/mindformers/mindformers_dev_mindspore_2_0:mindformers_0.6.0dev_20230616_py39_37 \ /bin/bash ``` ### AICC镜像 **详情请参考[MindFormers AICC使用教程](aicc_cards/README.md)** 我们在[镜像仓库网 (hqcases.com)](http://mirrors.cn-central-221.ovaijisuan.com/)上发布了一些经过验证的**标准镜像版本**，可以通过几行简单的docker命令的形式，直接使用验证过的标准镜像拉起MindFormers套件的训练任务，而无需进行较为繁琐的自定义镜像并上传的步骤。 - 镜像列表 ```text 1. swr.cn-central-221.ovaijisuan.com/mindformers/mindformers_dev_mindspore_1_10_1:mindformers_0.6.0dev_20230615_py39 ``` - 在一台准备好docker引擎的计算机上，root用户执行docker pull命令拉取该镜像 ```shell docker pull swr.cn-central-221.ovaijisuan.com/mindformers/mindformers_dev_mindspore_1_10_1:mindformers_0.6.0dev_20230615_py39 ``` ## 模型矩阵 **此处给出了MindFormers套件中支持的任务名称和模型名称，用于高阶开发时的索引名** | 模型 | 任务（task name） | 模型（model name） | | :-------------------------------------: | :----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------: | :-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | [BERT](model_cards/bert.md) | masked_language_modeling<br>[text_classification](task_cards/text_classification.md)<br>[token_classification](task_cards/token_classification.md)<br>[question_answering](task_cards/question_answering.md) | bert_base_uncased <br>txtcls_bert_base_uncased<br>txtcls_bert_base_uncased_mnli <br>tokcls_bert_base_chinese<br>tokcls_bert_base_chinese_cluener <br>qa_bert_base_uncased<br>qa_bert_base_chinese_uncased | | [T5](model_cards/t5.md) | translation | t5_small | | [GPT2](model_cards/gpt2.md) | text_generation | gpt2_small <br>gpt2_13b <br>gpt2_52b | | [PanGuAlpha](model_cards/pangualpha.md) | text_generation | pangualpha_2_6_b<br>pangualpha_13b | | [GLM](model_cards/glm.md) | text_generation | glm_6b<br>glm_6b_lora | | [GLM2](model_cards/glm2.md) | text_generation | glm2_6b | | [LLama](model_cards/llama.md) | text_generation | llama_7b <br>llama_13b <br>llama_65b <br>llama_7b_lora | | [Bloom](model_cards/bloom.md) | text_generation | bloom_560m<br>bloom_7.1b <br>bloom_65b<br>bloom_176b | | [MAE](model_cards/mae.md) | masked_image_modeling | mae_vit_base_p16 | | [VIT](model_cards/vit.md) | [image_classification](task_cards/image_classification.md) | vit_base_p16 | | [Swin](model_cards/swin.md) | [image_classification](task_cards/image_classification.md)