2023/6/28 16:54
MIT发现语言模型内的事实知识可被修改??
https://mp.weixin.qq.com/s/R-NCJtFONYbN5jvsZiGaWA
1/7
MIT发现语言模型内的事实知识可被修改??
文 | 小 伟
前言
众所周知,自回归语言模型( 如GPT-2) 里存储着大量的事实知识,比如语言模型可以正确的预
测出埃菲尔铁塔所在的城市是巴黎市。
那 么语 言 模型 是 在什 么 地 方 存 储 这些 知 识呢? 我 们是 否 可以 修 改 存 储在语 言 模型 里 的知 识
呢?
来自于MIT的这篇文章就对这些问题做出了解答。
它发现GPT中的事实知识对应于可以直 接 编 辑 的局部计算。通过对GPT的一 小 部 分 参 数 进 行
小 的 改 变 就可以修改其内部的知识,实现我们把埃菲尔铁塔搬到英国的小目标 :)
论文标题:
Locating and Editing Factual Associations in GPT
论文链接:
https://arxiv.org/abs/2202.05262
概览
小伟 2022-11-28 12:05 发表于北京
原创
夕小瑶科技说