最近 ChatGPT 的问答对话在网上真是赚足了眼球,想必大家都已经见识到了。
不知道大家有没有这样的疑问,ChatGPT 的实现原理到底是什么,他的能力边界又在哪里?
为了解决这一问题,我进行了大量的网上冲浪,但网上很多内容要不就是讲了跟没讲一样,
要不就是讲的过于专业,理解起来比较困难。
如果你希望能够以通俗易懂的方式去理解 ChatGPT 的实现原理,那么就请继续往下看吧。
ChatGPT 是 Chat 和 GPT 两个词的组合,实际上是 GPT 在聊天场景下的应用,所以要理解
ChatGPT 首先要从理解 GPT 开始。
一、理解 GPT(Generative Pre-Trained Transformer)
我们可以把 GPT 理解为一个会做文字接龙的模型。当我们给出一个不完整的句子,GPT 会接
上一个可能的词或字。类似我们在使用输入法时,我们输入上文,输入法会联想出下文一样。
举个例子:
当你输入“我们”,GPT 可能会给出“去哪”;
当你输入"我们去哪",GPT 可能会给出“吃饭”;
当你输入“我们去哪吃饭”,GPT 可能会给出“呀”
... ...
以此类推。最后可能生成一句话“我们去哪吃饭呀?”
用 GPT 的好处是:它可以利用互联网中大量的文本内容进行学习,这种学习可以自动进行,
不需要人工标注。
然而 GPT 也有他的弊端
1.GPT 不是以问答的形式进行内容输出的。
例如:当你输入“中国最高的山是哪座?”,GPT 输出的可能是“谁能告诉我答案呀?”。显
然这并不是你想要得答案。
2.GPT 是按照概率对结果进行输出的,因此它可能会输出各种各样的结果。