GPT-4技术报告
OpenAI*
摘要
我们报告了GPT-4的开发，这是一个大规模的多模态模型，可以接受图像和文本
输入并产生文本输出。虽然在许多现实世界的场景中不如人类，但GPT-4在各种
专业和学术基准上表现出人类水平的表现，包括以大约前10%的分数通过模拟律师
考试。GPT-4是一个基于Transformer model的模型，经过预训练，可以预测文档
中的下一个令牌。培训后的调整过程提高了真实性和对期望行为的遵守程度。这个
项目的一个核心组成部分是开发基础设施和优化方法，这些方法在广泛的规模范围
内表现得可预测。这使我们能够根据不超过GPT 4计算量1/1000的模型准确预测
GPT 4性能的某些方面。
1
导言
本技术报告介绍了GPT-4，这是一个大型多模态模型，能够处理图像和文本输入并产生文本输
出。这种模型是一个重要的研究领域，因为它们具有广泛应用的潜力，如对话系统、文本摘要
和机器翻译。因此，近年来，它们一直是人们极大兴趣和进步的主题【1-28】。
开发这种模型的主要目标之一是提高它们理解和生成自然语言文本的能力，特别是在更复杂和微妙的
场景中。为了测试它在这种情况下的能力，GPT-4在最初为人类设计的各种考试中进行了评估。在这
些评估中，它表现得相当好，通常得分超过绝大多数人类考生。例如，在一次模拟律师考试中，
GPT-4的分数在考生中排名前10%。这与GPT的3.5分形成鲜明对比，后者排名倒数10%。
在一套传统的NLP基准测试中，GPT-4优于以前的大型语言模型和大多数最先进的系统（通常有特定
于基准测试的训练或手工工程）。在MMLU基准【29，30】上，一套涵盖57个科目的英语多项选择
题，GPT-4不仅在英语方面远远超过现有模型，而且在其他语言方面也表现强劲。在MMLU的翻译
版本上，GPT-4在26种语言中的24种超过了英语的最先进水平。我们将在后面的章节中更详细地讨
论这些模型功能结果，以及模型安全性改进和结果。
该报告还讨论了该项目的一个关键挑战，即开发深度学习基础设施和优化方法，这些方法在广泛的规
模上表现可预测。这使我们能够预测GPT-4的预期性能（基于以类似方式训练的小跑步），并在最
后一次跑步中进行测试，以增加我们训练的信心。
尽管GPT-4有其功能，但它与早期的GPT模型有类似的局限性[1，31，32]：它不完全可靠（例
如，可能出现“幻觉”），具有有限的上下文窗口，并且不学习
*请将此作品引用为“OpenAI（2023）”。完整的作者贡献声明出现在文件的末尾。
http://chat.xutongbao.top
