最近 ChatGPT 可以说是火遍了全世界,作为由知名人工智能研究机构 OpenAI 于 2022
年 11 月 30 日发布的一个大型语言预训练模型,他的核心在于能够理解人类的自然语言,
并使用贴近人类语言风格的方式来进行回复。模型开放使用以来,在人工智能领域引起
了巨大的轰动,也成功火出了技术圈。从数据上看,ChatGPT 用户数在 5 天内就达到了
100 万,2 个月就达到了 1 亿;另外,在很多非人工智能领域,已经有机构在尝试用
ChatGPT 去做一些智能生成的事。例如财通证券发布了一篇由 ChatGPT 生成的行业研
报,从研报的可读性和专业性上来看,虽然在细节上有很多需要推敲的地方,但是整体
框架内容已经比较成熟。对于其他内容生产者来说,应用 ChatGPT 也能够提升个人的
生产效率。
ChatGPT 的强大能力是显而易见的,但对于人工智能领域不太熟悉的人,对这种黑盒的
技术仍然会担忧或者不信任。恐惧通常来自于不了解,因此本文将为大家全面剖析
ChatGPT 的技术原理,尽量以简单通俗的文字为大家解惑。
通过本文,你可以有以下收获:
1、知道 ChatGPT 是什么
2、ChatGPT 有哪些核心要素
3、ChatGPT 能做哪些事
4、ChatGPT 不能做哪些事
一、ChatGPT 是什么?
上文说到 ChatGPT 实际上是一个大型语言预训练模型(即 Large Language Model,后
面统一简称 LLM)。什么叫 LLM?LLM 指的是利用大量文本数据来训练的语言模型,
这种模型可以产生出强大的语言关联能力,能够从上下文中抽取出更多的信息。其实语
言模型的研究从很早就开始了,随着算力的发展和数据规模的增长,语言模型的能力随
着模型参数量的增加而提升。下图分别展示了 LLM 在参数量和数据量上的进化情况,其
中数据量图例展示的是模型在预训练过程中会见到的 token 数量,对于中文来说一个
token 就相当于一个中文字符。