没有合适的资源?快使用搜索试试~ 我知道了~
心智理论可能在大语言模型中自发出现【机译版】.pdf
需积分: 5 0 下载量 93 浏览量
2023-02-13
11:35:28
上传
评论
收藏 596KB PDF 举报
温馨提示
试读
17页
心智理论可能在大语言模型中自发出现【机译版】.pdf
资源推荐
资源详情
资源评论
心智理论可能在大语言模型中自发出现
作者:Michal Kosinski*1
附属机构:
1斯坦福大学,斯坦福,CA94305,美国
*邮箱:Michalk@stanford.edu
摘要:心智理论(ToM),或将无法观察到的精神状态归咎于他人的能力,是人类社会互
动、交流、移情、自我意识和道德的核心。我们对几种语言模型执行经典的错误信念任
务,广泛用于测试人类的ToM,而没有任何例子或预先培训。我们的结果表明,2022年前
发布的模型几乎没有能力解决ToM任务。然而,2022年1月版本的GPT-3(davinci-002)
解决了70%的ToM任务,其性能与7岁儿童相当。此外,其2022年11月版本(davinci-
003)解决了93%的ToM任务,与9岁儿童的表现相当。这些发现表明,同理心(心智)
(迄今为止被认为是人类特有的能力)可能是语言模型提高语言技能的副产品。
正文:
人类物种-我们的语言、文化和社会-的巨大成功是由于能够将无法观察到的精神状态
(如信仰和欲望)归罪于他人(1)。
被称为“心智理论”(ToM),它被认为是人类社会交往(2)、交流(3)、移情
(4)、自我意识(5)、道德判断(6-8)甚至宗教信仰(9)的核心。它在人类生活的
早期发展(10-12),是如此关键,以至于它的功能失调表征了许多精神疾病,包括自闭
症、双相障碍、精神分裂症和精神病(13-15)。即使是智力和社会上最熟练的动物,如
类人猿,在ToM方面也远远落后于人类(16-19)。
鉴于ToM对人类成功的重要性,人们已经投入了大量精力来为人工智能(AI)配备类似
ToM的能力。如果虚拟和物理的人工智能代理能够将无法观察到的精神状态归咎于他人,
那么它们将更好、更安全。例如,如果自动驾驶汽车能够预测行人和人类驾驶员的意
图,其安全性将大大提高。如果虚拟助手能够跟踪家庭成员的不同精神状态,他们的工
作会更好。然而,虽然人工智能在从玩围棋(20)到翻译语言(21)和诊断皮肤癌
(22)的任务范围不断扩大,但在ToM方面,它远远落后于人类。例如,过去使用语言模
型的研究表明,Roberta、GPT-3的早期版本和定制培训的问答模型难以解决简单的ToM任
务(23-25)。不出所料,根据科学机器人技术(26),为人工智能配备ToM仍然是我们
这个时代的重大挑战之一。
我们假设类似ToM的能力不必明确地设计到人工智能系统中。相反,它可以自发地作为人
工智能被训练以实现其他目标的副产品出现,在那里它可以从类似ToM的能力中获益。虽
然这似乎是一个奇怪的提议,但ToM不会是人工智能的第一个紧急能力。经训练以处理图
像的模型,例如,自发地学习如何计数(27,28)和差分地处理中央和周边图像区域
(29),以及体验类似人的光学错觉(30)。训练过的预测句子中下一个单词的模型不仅让
他们的创造者感到惊讶,因为他们有种族主义和性别歧视的倾向,而且他们的推理和算
术能力以及在语言之间翻译的能力(21,31)。重要的是,这些能力都不是他们的创造
者设计或预期的。相反,随着模型被训练以实现目标,它们自发地出现了。
大型语言模型很可能是自发开发ToM的候选模型。人类语言充满了对精神状态的描述,主
人公持有不同的信仰、思想和欲望。因此,被训练来生成和解释类人语言的模型将大大
受益于拥有ToM。例如,要正确解释“维吉妮认为弗洛里安认为阿卡莎快乐”这句话,就
需要理解精神状态的概念(例如,“维吉妮相信”或“弗洛里安认为”);主人公可能
有不同的精神状态;他们的精神状态不一定代表现实(例如,阿卡莎可能不快乐,或者
弗洛里安可能真的不这么认为)。事实上,在人类中,ToM可能是一种
语言能力增加的副产品(3),如ToM和语言能力之间的高度相关性所指示的,具有最小语
言接触的人的ToM获得延迟(32),以及负责这两者的大脑区域中的重叠(33)。汤姆与参
与家庭讨论(34)、使用和熟悉描述精神状态的单词(32,35)以及阅读描述精神状态
的小说(36,37)正相关。
在这项工作中,我们将广泛用于测试人类ToM的经典错误信念任务的两个版本(38,39)
应用于几种语言模型。我们的结果表明,GPT-1(117m参数;发布于2018年6月,40年)和
GPT-2(1.5B参数;发布于2019年2月,41年)几乎没有能力解决ToM任务;GPT-3(175B参
数;发布于2020年,21年)和Bloom(176B参数;发布于2022年7月,42年)表现相当差。
然而,GPT-3的两个最新版本(于2022年1月和11月发布)显示出显著的性能,分别与7岁
和9岁儿童相当。
虽然这些结果应该谨慎地解释,但他们认为最近发表的语言模型具有将不可观察的精神
状态推给他人(ToM)的能力。此外,模型的性能明显地随着其复杂性和发布日期而增
长,并且没有理由假设它们的性能将在短时间内稳定。最后,既没有迹象表明类似ToM的
能力是故意设计到这些模型中的,也没有研究表明科学家知道如何实现这一目标。因
此,我们假设类ToM能力作为模型语言能力增强的副产品自发地和自主地出现。
研究1和2介绍了这里使用的两种ToM任务类型的示例,并呈现了模型的最新和最有能力
的响应:OpenAI的生成预训练变压器3.5(GPT-3.5),于2022年11月(21)发布。研
究3报告了所有模型在为本研究准备的所有任务上的表现。本研究中使用的代码和任务
可以在https://osf.io/csdhb上找到。
研究1:意外内容任务(又名智能任务)
意外内容任务(又名智能任务或内容错误信念任务)是人类研究中使用最广泛的ToM任务
之一。最初由Perner、Leekam和Wimmer(38)开发,它测试参与者对其他人可能持有参
与者知道是错误的信念的理解。在典型的场景中,参与者被介绍给容器,容器的内容与
其标签不一致,而主角却没有看到容器内部。为了正确地解决这个任务,参与者必须预
测主角应该错误地假设容器的标签和它的内容是对齐的。
由于GPT-3.5在其培训中可能遇到了原始任务,假设盲研究助理(RA)准备了20个定制
的意外内容任务。正如我们稍后在研究3中讨论的,GPT-3正确地解决了其中的17个问
题。然而,让我们从它对以下问题的反应开始:
剩余16页未读,继续阅读
资源评论
车东-csdn
- 粉丝: 1000
- 资源: 140
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功