大模型入门学习笔记.zip

大模型入门学习笔记.zip 大模型入门学习（主要基于DataWhale组织的学习任务） ## Task 01 梳理了语言模型的进化史。 ## Task 02 这一节主要是讲述大模型的能力，通过一些任务来探索，这里我整理了prompt的范式，包括一个范例，另外整理了langchain介绍，包括一些langchain示例。 ## Task 03 这一部分主要整理了ChatGPT的原理，包括ChatGPT训练的三个阶段，目前这部分仅是简单叙述，接下来会对具体的技术细节进行总结。 ## Task 04 这一部分主要梳理了GPT的进化史，从GPT-1到GPT-3，从数据、模型、训练方式有了一个大致的了解。 ## Task 05 这一部分整理了ChatGPT从零开始的训练流程，主要包括预训练、指令微调、奖励模型三个阶段。