没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
2023/6/28 09:24
仅用自然语言,让ChatGPT输出连贯的长篇小说!苏黎世联邦理工大学提出RecurrentGPT
https://mp.weixin.qq.com/s/26S-y9ZhTxi3KHWL6v62Ew
1/7
仅用自然语言,让ChatGPT输出连贯的长篇小说!苏黎世联邦理工
大学提出RecurrentGPT
夕 小 瑶 科 技 说 原 创
作 者 | ZenMoore、 Wangchunshu Zhou
前 言
ChatGPT 是万能的吗?
显然不是,至少在今天我们所讨论的长文本生成上,ChatGPT 可以说是几乎完全不太可能生成
长篇小说。
在 某 种 程 度 上 , 这 是 Transformer 模 型 的 固 有 局 限 , 因 为 Transformer 核 心 组 件 self-
attention 的 复杂度注定让它不能处理太长的输入,也因此不太适合产生太长的输出。
为了解决这个问题,很多研究试图将 RNN 的那种循环机制引入到 Transformer 里面,比如著
名的Transformer-XL
[ 1]
, Block-Recurrent Transformer
[ 2]
.
然而,这 些方法存在一个 很关键的、又 很现实的问题: 需要修改模型架构,不兼容 ChatGPT
等闭源大模型,因为 ChatGPT 的模型参数、结构是不会公开给使用者的,我们能做的,仅仅
是喂给它一些 Prompt.
ZenMoore 2023-06-01 12:05 发表于四川
原创
夕小瑶科技说
资源评论
地理探险家
- 粉丝: 1043
- 资源: 5416
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功