一文跟进Prompt进展！综述+15篇最新论文逐一梳理 .pdf

Prompt 进展综述 Prompt 技术是近期自然语言处理领域的一个热门话题。自从 Dr.Pengfei Liu 的那篇 prompt 综述发表以来，prompt 技术逐渐红得发紫。近期清华、谷歌等单位涌现了好多好多 prompt 相关的论文。无论是在工业界还是学术界，想必大家都在疯狂 follow。 本文基于 7 月份的 prompt survey 做了一个简单的扫盲，然后再为大家梳理一下其后 4 个月的 prompt 最新进展，共包括 15 篇论文。无论是作为大家调研 prompt 的 starter 也好，还是作为大家技术分享的 checklist 也好，希望都可以帮助到大家。 lets talk about 什么是 Prompt？Prompt 简单来说就是：将下游任务的输入输出形式改造成预训练任务中的形式，即 MLM（Masked Language Model）的形式。例如，对于情感分类，原本的任务形式是：输入：“今天天气好”输出：“正面情绪”标签的判别结果。在 prompt 范式下，这会将输入改造为：输入：“今天天气好，我的情绪是[MASK]的。输出：“开心”当然，具体实现的时候，还需要一个额外的映射将“开心”识别为“正面情绪”标签。 在 prompt 范式下，需要通过以下三个步骤建立从输入到输出的 pipeline。1. Prompt Addition : 将原本的输入代入 prompt 模板（也叫模式），得到一个新的输入。2. Answer Search : 将 x' 输入 LM，得到“最高分”的输出。3. Answer Mapping : 上一步得到的输出是预训练任务形式的输出，可能和下游任务需要的输出形式少许区别，所以还需要一步转换。 在使用 prompt 时，主要从以下五个方面进行考虑： 1. 预训练模型的选择 2. Prompt Engineering : 也就是模板的实现方式，涉及两个方面 Prompt Shape : prompt（准确地说应该是槽 [X]）在文本开头叫做 prefix prompt, 在文本中间或者结尾叫做 cloze prompt。 Prompt 的构建：可以手动设计，也可以自动构建（搜索、优化、生成等）。 3. Answer Engineering : 如何选择 prompt 结果的目标空间的选择；以及得到答案后如何完成的映射。 4. Multi-prompt：如何设计多个 prompt 获得更好的效果？常见方法包括以下 5 种 Prompt Ensembling : 集成学习（利用不同的 prompt 来进行各模型的差异化）Prompt Augmentation : 对 prompt 进行数据增强 Prompt Composition : 把几个 prompt 进行合并 Prompt Decomposition : 把一个 prompt 拆解为若干 sub-prompt Prompt Sharing : 不同的模型、task 等共享一套 prompt 5. Prompt 范式下的训练策略：是否存在 prompt-related 参数？ 对 LM 的参数以及 prompt-related 参数要不要进行 tuning？ 根据这两个问题的答案进行组合，可得 5 种 parameter 更新方式，如下图所示： prompt 技术正在逐渐走向成熟，大家可以根据自己的需求选择合适的 prompt 技术来解决实际问题。