2023/6/28 09:24
仅用自然语言，让ChatGPT输出连贯的长篇小说！苏黎世联邦理工大学提出RecurrentGPT
https://mp.weixin.qq.com/s/26S-y9ZhTxi3KHWL6v62Ew
1/7
仅用自然语言，让ChatGPT输出连贯的长篇小说！苏黎世联邦理工
大学提出RecurrentGPT
夕 小 瑶 科 技 说 原 创
作 者 | ZenMoore、 Wangchunshu Zhou
前 言
ChatGPT 是万能的吗？
显然不是，至少在今天我们所讨论的长文本生成上，ChatGPT 可以说是几乎完全不太可能生成
长篇小说。
在 某 种 程 度 上 ， 这 是 Transformer 模 型 的 固 有 局 限 ， 因 为 Transformer 核 心 组 件 self-
attention 的 复杂度注定让它不能处理太长的输入，也因此不太适合产生太长的输出。
为了解决这个问题，很多研究试图将 RNN 的那种循环机制引入到 Transformer 里面，比如著
名的Transformer-XL
[ 1]
, Block-Recurrent Transformer
[ 2]
.
然而，这 些方法存在一个 很关键的、又 很现实的问题： 需要修改模型架构，不兼容 ChatGPT
等闭源大模型，因为 ChatGPT 的模型参数、结构是不会公开给使用者的，我们能做的，仅仅
是喂给它一些 Prompt.
ZenMoore 2023-06-01 12:05 发表于四川
原创
夕小瑶科技说
