万字长文教你如何做出 ChatGPT.pdf
需积分: 1 130 浏览量
2023-05-18
11:53:47
上传
评论
收藏 2.93MB PDF 举报
4/23/23, 1:09 PM
万字长文教你如何做出 ChatGPT
https://mp.weixin.qq.com/s/8IFcQDhsLIWJIx8siF-wdQ
1/32
万字长文教你如何做出 ChatGPT
作者：monychen，腾讯 IEG 应用研究员
简单来说，ChatGPT 是自然语言处理（NLP）和强化学习（RL）的一次成功结合，考虑到读者可能
只熟悉其中一个方向或者两个方向都不太熟悉，本文会将 ChatGPT 涉及到的所有知识点尽可能通俗
易懂的方式展现出来，有基础的同学可以选择性跳过一些内容。
GPT 的进化史
本节的主要目的是介绍自然语言处理中语言模型的一些基础知识，理解语言模型到底在做什
么。
GPT
所 谓 的 GPT(Generative Pre-trained Transformer) ， 其 实 是 Generative Pre Training of a
language model（语言模型）。那什么是语言模型呢？可以简单地把语言模型理解为“给定
一些字或者词，预测下一个字或者词的模型”，这里的字或者词在 NLP 领域通常也被称为
token，即给定已有 token，预测下一个 token 的模型，这里举个例子，我们在搜索引擎里进
行搜索时，自动会往后联想就是种语言模型的体现。
腾讯程序员 2023-02-16 18:01 发表于广东
原创
腾讯技术工程
剩余31页未读，继续阅读
资源评论
