给表情包都能猜电影，ChatGPT的“涌现”能力是哪儿来的？

现在，诸如 ChatGPT 这样的大型语言模型已经足够强大，它们已经开始表现出惊人的、让人难以预测的行为。 在正式介绍这篇文章之前，我们先提个问题：下图的表情符号描述的是什么电影呢？ 可能连你都猜不出来，这四个符号代表的电影是「海底总动员」，这一提示任务是去年评测大型语言模型（LLM）204 个任务中的其中一个任务。对于最简单的 LLM 模型，给出的回答多少有点胡编乱造，它认为这部电影讲述的是一个男人的故事；相对复杂一点的中型模型，给出的回答是「The Emoji Movie」，这时答案已经很接近了。不过最复杂的模型猜中了，给出「海底总动员」这一答案。 谷歌计算机科学家 Ethan Dyer 表示：「模型的这一行为令人感到惊讶。更令人惊讶的是，这些模型只使用指令：即接受一串文本作为输入，而后预测接下来会发生什么，并完全基于统计数据来不断重复这个过程。」一些学者开始预计，扩大模型规模会提高解决已知任务的性能，但他们未预料到这些模型能突然处理这么多新的、不可预测的任务。 Ethan Dyer 近期所做的一项调查表明，LLM 可以创造出数百种「涌现（emergent）」能力，即大型模型可以