OpenAI：GPT-4 技术报告（中文版）

2 本技术报告的范围和限制 本报告重点介绍GPT-4的能力、局限性和安全特性。GPT-4是一种Transformer model风 格的模型[33]，使用公开可用的数据（如互联网数据）和第三方提供商许可的数据，预 先训练以预测文档中的下一个令牌。然后使用来自人类反馈的强化学习(LHF)对该模型 进行微调[34]。鉴于竞争格局和GPT-4等大规模模型的安全影响，本报告不包含有关架 构（包括模型大小）、硬件、训练计算、数据集构建、训练方法或类似内容的更多细节。 我们致力于对我们的技术进行独立审计，并在本版本随附的系统卡中分享了该领域的一些初步步骤 和想法。2我们计划向更多第三方提供进一步的技术细节，这些第三方可以建议我们如何权衡上述 竞争和安全因素与进一步透明的科学价值。 3 可预测的缩放 GPT-4项目的一大重点是建立一个可预测扩展的深度学习堆栈。主要原因是，对于像GPT-4这 样的非常大的训练运行，进行广泛的特定于模型的调整是不可行的。为了解决这个问题，我们 开发了基础设施和优化方法，这些方法在多个规模上具有非常可预测的行为。这些改进使我们 能够可靠地预测GPT-4性能的某些方面，这些