比尔·盖茨（微软前 CEO）说：“这种 AI 技术出现的重大历史意义，不亚于互联网和个人
电脑的诞生。”
马斯克（特斯拉 CEO）说：“ChatGPT 好吓人，我们离强大到危险的 AI 不远了。”
黄仁勋（英伟达 CEO）说：“ChatGPT 类似 AI 界的 iPhone。”
火出圈的 ChatGPT，仅仅是 GPT 的子功能之一，上线 2 个月 MAU 即突破
1 亿人，创下人类历史最快的记录，今天我们就从其最基础的逻辑展开，对
其进行初探。
文章包含（1）NLP；（2）Transformer；（3）BERT、GPT 两者对比；三个部分，
没有复杂的公式、图表，仅探索逻辑，欢迎留言共同探讨。
� NLP（Natural Language Processing,自然语言处理）
自然语言处理（NLP）是研究人与计算机交互的语言问题的一门学科。NLP 任务
（自然语言处理，AI 的一个技术领域，即文本类的 AI 任务）的核心逻辑是一个
“猜概率”的游戏。
比如说，“我今天被我老板___”，经过大量的数据训练后，AI 预测空格处会出
现的最高概率的词是“PUA 了”，那么 PUA 就会被填到这个空格中，从而答案产
生——“我今天被我老板 PUA 了”。
虽然非常不可思议，但事实就是这样，现阶段所有的 NLP 任务，都不意味着机器
真正理解这个世界，他只是在玩文字游戏，进行一次又一次的概率解谜，本质
上和我们玩报纸上的填字游戏是一个逻辑。只是我们靠知识和智慧，AI 靠概率
计算。
NLP 问答分为 2 个层次：（1）语句通顺；（2）符合知识；比如人工智能回复：
中国的首都是上海，就实现了语句通顺，但是不符合知识。
而在目前的“猜概率”游戏环境下，基于大型语言模型（LLM，Large Language
Model）演进出了最主流的两个方向，即 BERT（Bidirectional Encoder
Representations from Transformers）和 GPT（Generative Pre-trainning
Transformers），可以看到这两个方向最后一个单词都是 Transformers，因此
我们先讲讲这个词背后的意思，再讲具体的 BERT、GPT。
�
