海通国际MaaS Model as a Service

大模型，又称为预训练模型、基础模型等，是“大算力+强算法”结合的产物。大模型 通常是在大规模无标注数据上进行训练，学习出一种特征和规则。基于大模型进行 应用开发时，将大模型进行微调，如在下游特定任务上的小规模有标注数据进行二 次训练，或者不进行微调，就可以完成多个应用场景的任务。 迁移学习是预训练技术的主要思想。当目标场景的数据不足时，首先在数据量庞大 的公开数据集上训练基于深度神经网络的 AI 模型，然后将其迁移到目标场景中，通 过目标场景中的小数据集进行微调，使模型达到需要的性能。在这一过程中，这种 在公开数据集训练过的深层网络模型,即为“预训练模型”。使用预训练模型很大程度 上降低了下游任务模型对标注数据数量的要求，从而可以很好地处理一些难以获得 大量标注数据的新场景。大模型正是人工智能发展的趋势和未来。