数据规模缩小 200 倍！超低训练成本的指令微调，完美复刻大模型

最近大型语言模型（LLMs）的指令微调备受研究人员的关注，因为它可以开发 LLM 遵循指令 的潜力，使其更加符合特定的任务需求。虽然指令微调（Instruction Tuning）作为一种微调 方法，与传统的微调相比，所需要的数据较少并更具有人类友好性，还可以用于多种不同的下 游任务。这为促进 LLM 适应下游任务提供了优势，但在大量数据上训练拥有数千万甚至数十 亿个参数的模型会导致高昂的计算成本。 为了解决上述问题，该论文作者提出将重点放在减少 LLM 指令微调所需的数据量，以降低训 练成本和提高数据效率，这被称为低训练数据指令微调（LTD instruction tuning）。具体来 说，本文对 LLM 训练中使用的数据进行了初步探索，并确定了多个关于 LLM 训练任务专业化 的观察结果，例如优化特定任务的性能、指令微调所需的指令类型数量以及任务特定模型所需 的数据量。研究结果表明，只需要使用原始数据集的不到 0.5％ 便足以训练出高性能的任务专 用模型，相比使用完整任务相关数据进行训练的模型，其性能提高了2%