一文跟进Prompt进展!综述+15篇最新论文逐一梳理 .pdf
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
Prompt 进展综述 Prompt 技术是近期自然语言处理领域的一个热门话题。自从 Dr.Pengfei Liu 的那篇 prompt 综述发表以来,prompt 技术逐渐红得发紫。近期清华、谷歌等单位涌现了好多好多 prompt 相关的论文。无论是在工业界还是学术界,想必大家都在疯狂 follow。 本文基于 7 月份的 prompt survey 做了一个简单的扫盲,然后再为大家梳理一下其后 4 个月的 prompt 最新进展,共包括 15 篇论文。无论是作为大家调研 prompt 的 starter 也好,还是作为大家技术分享的 checklist 也好,希望都可以帮助到大家。 lets talk about 什么是 Prompt?Prompt 简单来说就是:将下游任务的输入输出形式改造成预训练任务中的形式,即 MLM(Masked Language Model)的形式。例如,对于情感分类,原本的任务形式是:输入:“今天天气好”输出:“正面情绪”标签的判别结果。在 prompt 范式下,这会将输入改造为:输入:“今天天气好,我的情绪是[MASK]的。输出:“开心”当然,具体实现的时候,还需要一个额外的映射将“开心”识别为“正面情绪”标签。 在 prompt 范式下,需要通过以下三个步骤建立从输入到输出的 pipeline。1. Prompt Addition : 将原本的输入代入 prompt 模板(也叫模式),得到一个新的输入。2. Answer Search : 将 x' 输入 LM,得到“最高分”的输出。3. Answer Mapping : 上一步得到的输出是预训练任务形式的输出,可能和下游任务需要的输出形式少许区别,所以还需要一步转换。 在使用 prompt 时,主要从以下五个方面进行考虑: 1. 预训练模型的选择 2. Prompt Engineering : 也就是模板的实现方式,涉及两个方面 Prompt Shape : prompt(准确地说应该是槽 [X])在文本开头叫做 prefix prompt, 在文本中间或者结尾叫做 cloze prompt。 Prompt 的构建:可以手动设计,也可以自动构建(搜索、优化、生成等)。 3. Answer Engineering : 如何选择 prompt 结果的目标空间的选择;以及得到答案后如何完成的映射。 4. Multi-prompt:如何设计多个 prompt 获得更好的效果?常见方法包括以下 5 种 Prompt Ensembling : 集成学习(利用不同的 prompt 来进行各模型的差异化)Prompt Augmentation : 对 prompt 进行数据增强 Prompt Composition : 把几个 prompt 进行合并 Prompt Decomposition : 把一个 prompt 拆解为若干 sub-prompt Prompt Sharing : 不同的模型、task 等共享一套 prompt 5. Prompt 范式下的训练策略:是否存在 prompt-related 参数? 对 LM 的参数以及 prompt-related 参数要不要进行 tuning? 根据这两个问题的答案进行组合,可得 5 种 parameter 更新方式,如下图所示: prompt 技术正在逐渐走向成熟,大家可以根据自己的需求选择合适的 prompt 技术来解决实际问题。
- 粉丝: 1264
- 资源: 5619
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助