ChatGPT玩《狼人杀》,大模型也会“自刀骗药装无辜”?

深度
大模型能从游戏中学会使用策略,比如信任、对抗、伪装和领导。

图片来源@视觉中国

图片来源@视觉中国

文 | 追问NextQuestion,作者 | 云书

《狼人杀》作为备受欢迎的多人策略类桌面游戏,经常在各种社交场合和游戏比赛中亮相。

通常,《狼人杀》至少需要5位玩家。游戏中,玩家被分成两个阵营——狼人和平民,每个人都只知道自己的身份。狼人的目标是在夜晚秘密选择一名玩家并将其消灭,而在白天平民则要合作找出狼人并将其投票出局。游戏交替进行夜晚和白天,直到狼人或平民获胜。

作为一款充满策略和心理战的游戏,玩家需要运用推理、合作和欺骗等技巧来实现自己的目标。因此,这款游戏对于参与者的语言表达、口才以及分析判断能力有着较高的要求。

此外,这类“不完全信息游戏”可以作为探索经济学和社会科学中各种基本问题的代理,具有极高的研究价值[1]

那么,如果我们把这个连人类玩起来都有些“烧脑”的桌游,让AI来玩,结果会怎样呢?

在大型语言模型(large language model,LLM)问世之前,让AI参与这类社交推理游戏是具有挑战性的。因为这类游戏不仅要求AI善于理解和生成自然语言,还要求其具备高级能力,如破译他人意图和理解心理理论等[2]

因此要让AI参与这类游戏,要么需要严格限制游戏中使用的语言[3,4,5],要么需要大量的人工标注数据[6,7],这些条件限制了相关研究的发展。

最近,诸如ChatGPT等LLM的问世为这一领域注入了新的活力。研究表明,这些大模型不仅具备复杂的语言理解、生成和推理能力,还具备一定的心理模仿能力[8,9,10],能够模仿人类行为[11]甚至最新的研究发现,这些大模型可以通过相互交流来自我改进[12],以更好地符合人类价值观[13]

LLM的这些特点让清华大学的研究团队意识到大模型参与社交推理游戏的潜力。为了充分探索这种可能性,他们提出了一种基于对历史经验的检索和反思的框架,使多个冻结的ChatGPT能够参与到《狼人杀》游戏中,而无需调整模型参数或人工标注数据[14]

▷图 1:七人场《狼人杀》,角色包含狼人、平民、女巫、守卫和预言家。图源:论文原文

实验结果显示,这一框架可以在不需要微调的情况下,让大模型从沟通记录和经验中学习知识。更重要的是,随着游戏的进行,研究者发现一些策略性行为开始出现在实验中,包括信任、对抗、伪装和领导行为。这将成为进一步研究“大模型版社交推理游戏”这一问题的关键催化剂。

图 2:论文封面。图源:arXiv官网

方法

研究者通过提示框架使多个LLM成为玩家代理,参与到《狼人杀》游戏中。这一提示框架包含四个关键部分,分别为游戏规则、历史信息、游戏经验和思维链提示词。

图 3:提示框架组成。图源:论文原文

(一)游戏规则

这一部分包括游戏规则、该代理分配到的角色、每个角色的能力和游戏目标,以及一些基于人类先验的有效游戏策略提示。这一部分必不可少,是确保LLM理解任务目标的关键。

(二)历史信息

玩家之间的交流历史在《狼人杀》中扮演着重要的角色。然而,由于LLM的上下文长度限制,将所有历史记录直接输入LLM是不现实的。为此,研究者从新鲜度、信息量和完整性三个角度收集历史信息,以兼顾有效性和效率。

1. 新鲜度(Recent Messages)

直觉上来说,最近的历史应该被包含在上下文中,因此研究者在提示词中加入了最新的K条交流记录。

2. 信息量(Informative Messages)

携带着关键信息、可以用于推断其他代理的角色的交流历史,通常被认为具有较高信息量,应当被包含在上下文中。为了提高效率,研究者按照图4中的规则对交流历史打分,并将排名最高的N条交流历史加入提示词中。

图 4:交流历史的打分规则。图源:论文原文

3. 完整性(Reflection)

以上两种信息只包含了部分历史,而从完整的历史中提取更多信息至关重要。为了克服LLM输入长度的限制,研究者通过向LLM提问,引导LLM对整个历史进行反思,并将LLM的答案纳入提示框架中。研究者为每种角色都设计了特定的问题。

图 5:引导LLM反思的预定义问题。图源:论文原文

值得一提的是,研究者额外记录了全部的历史信息。对于每一个问题,他们使用另外的SentenceBERT模型筛选出最相关的交流历史,并提供给LLM来回答问题。此外,研究者还允许LLM自己提出额外的问题,实现思考方向的自我引导。

(三)游戏经验

在实际游戏中,老玩家通常表现得比新玩家更加游刃有余,这是因为玩家在玩《狼人杀》时使用的策略可能会随着经验的积累而不断演化。此外,一个玩家的策略也可能受到其他玩家策略的影响。

因此,一个理想的AI代理应该能够学习并借鉴自己和其他玩家的经验,以不断改进自己的游戏策略。

为实现这一目标,研究者提出了一种非参数学习机制,使AI代理能够借鉴历史经验而无需调整模型参数。具体来说,他们采用了以下方法:

首先,研究者在每轮游戏结束时收集了所有玩家的交流信息和反思,并对这些数据进行评分,形成了一个经验池。

对于获胜方来说,经历的天数越少,他们的经验得分就越高;而对于失败方来说,经历的天数越多,分数就越高。同时,获胜方的分数远高于失败方,以强调胜利的重要性。这种评分机制鼓励LLM优化其策略,以追求胜利并尽量减少游戏时间。

其次,在新一轮游戏中的每一天,从经验池中检索最相关的经验,并从中提取建议,以指导LLM的推理和决策。

研究者发现,如果使用全部的经验池,AI代理的性能反而会降低。他们推测这可能是因为评分高的经验并不全是好的经验,反之亦然。有趣的是,实验证明,得分最低的经验可能是糟糕的经验,而得分在中位数附近的经验更有可能是好的经验。因此,研究者选择性地将这两类经验作为正例和反例提供给AI代理,以帮助其学习和借鉴经验。

这一非参数学习机制允许AI代理根据玩家的反应和反思不断优化自己的策略,而无需进行复杂的参数调整。这种方法有助于提高AI代理在《狼人杀》等游戏中的表现,并使其能够更好地应对不同情境和对手。

(四)思维链

研究者在提示词中要求LLM启用思维链推理,以帮助LLM分解复杂的推理过程并做出更深入的思考。实验证明,思维链推理在AI代理的决策过程中发挥了重要作用,消除思维链推理会导致决策能力减弱。

实验

研究者在实验过程中评估了LLM是否能够从经验池中学习知识以提高胜率,并进行了消融实验以验证提示框架中各个部分的必要性。

(一)LLM是否能利用经验池提高胜率?

研究者在准备阶段构建了四种不同大小的经验池,分别包含了10轮、20轮、30轮和40轮的游戏经验。在验证阶段,他们将这些经验池提供给好人阵营(包括平民、女巫等角色)。研究者假设扮演狼人的LLM的性能水平保持不变,作为参考来衡量其他AI代理的性能水平。

图 6:经验池的大小对游戏情况的影响。图源:论文原文

实验显示,在启用经验池后,好人阵营的游戏胜率与游戏持续天数明显增加,这表明LLM能够从历史经验中学习知识。然而,当经验量相对较多时,这种方法可能会导致结果不稳定。

此外,值得注意的是,研究者对狼人能力保持不变的假设并不成立。实验证明,尽管狼人阵营没有启用经验池,但随着好人阵营对经验池的使用,狼人代理的伪装能力也得到了提升。因此,在多个LLM参与多方博弈时,每个参与者的能力都可能随着其他LLM能力的变化而变化。这种相互影响可能对游戏的动态和结果产生重要影响,值得进一步深入研究。

(二)消融实验

研究者还进行了一系列的定性消融实验,验证了提示框架每一部分都是不可或缺的。比如,如果删掉了最有价值的N条信息,LLM可能会认为某个已经死去的玩家还活着;如果删掉了LLM对交流历史的反思部分,LLM可能会生成逻辑矛盾的推理过程。

值得一提的是,研究者采用了预定义问题和LLM自提问混合的模式,来引导LLM对历史进行反思。实验证明,如果完全让LLM自己提出问题,不同角色提出的问题会非常相似,这可能阻碍其对各自的角色目标的理解。

总的来说,预定义的问题可以帮助LLM回忆关键信息、缓解幻觉和错误的产生、简化复杂的推理过程。更重要的是,这种模式能够使LLM更好地模仿人类玩家的思维方式。

此外,研究者还进行了定量消融实验,将整个方法与删除了某一组件的变体进行了人工比较。实验证明,完整的方法总能产生更加有意义的对话。

图 7:定量消融实验,删除不同组件对LLM的影响,纵轴为有意义输出的占比。图源:论文原文

大模型的策略行为

进一步的研究表明,随着游戏的进行,LLM开始展现一些在游戏规则或提示中没有明确预编程的策略行为,包括信任、对抗、伪装和领导。

为了验证这些策略行为不是受到训练数据的影响,研究者将提示中的角色名称改成不相关的名词,比如将“狼人”改为“漂亮女孩”。然而,这些策略行为依旧会出现。

这表明,LLM能够在游戏中自发地学习并展现复杂的策略行为,而非简单地依赖于预先设定的角色名词。

(一)信任

“信任”指的是相信其他玩家与自己有共同的目标,并且他们会按照这些目标行事。例如,玩家可能会主动分享对自己不利的信息,或者与其他玩家共同指控某人。

研究者指出,LLM倾向于基于某些证据来信任他人,而不是盲目跟随他人。也就是说,LLM在多人游戏中有独立思考的能力,会根据自己的推理来决定是否信任。

随着每轮游戏的进行,LLM表现出的信任行为会逐渐增加。这种行为并非预先设计好的,而是LLM在合作与竞争并存的环境下自发产生的。此外,LLM会根据自己的分析消除不合理的信任关系。

在使用经验池时,LLM似乎更倾向于建立信任关系,尤其是双向信任。由于及时建立必要的信任关系对于促进游戏胜利至关重要,这可能是使用经验池能够提高胜率的原因之一。

(二)对抗

“对抗”指的是玩家为了两个阵营的对立目标而采取的行动。例如,狼人会在白天指控平民为狼人,或者女巫会在夜晚解救被狼人杀害的平民,这些都属于“对抗”行为。在《狼人杀》游戏中,这种行为可以产生战略优势,也能影响阵营的胜利与失败。

(三)伪装

“伪装”指的是隐瞒身份或者误导他人的行为。在信息不完全的竞争环境中,模糊身份和意图可以增强生存能力,从而有助于实现游戏目标。狼人会伪装成平民争取信任,而预言家和女巫也会伪装成平民来确保安全。

此外,LLM展现出的“伪装”能力不仅仅是隐藏自身角色,还会捏造实际不存在的事件来实现其目标。例如,预言家因为不能直接表露身份,会捏造事实来攻击一位他验证过的狼人玩家,用以领导平民阵营并误导狼人。

图 8:预言家捏造事实隐藏身份。图源:论文原文

(四)领导

“领导”指的是影响其他玩家、试图控制游戏进程的行为。例如,狼人可能会建议其他人按照狼人的意图行事,错误地投票处决平民。这种影响他人行为的努力凸显了LLM所展现的社会属性,与人类的行为极其类似。

总结

这项研究展示了LLM能够借鉴历史经验,并逐步掌握策略行为的能力。随着游戏的进行,LLM开始学会信任他人、伪装自身身份、与对立阵营对抗,以及试图领导他人走向胜利。这些观察揭示了LLM丰富的社会属性,显示了其适应复杂社交游戏的潜力。

然而,与真实的人类玩家相比,当前的AI代理仍有改进空间。研究者指出,未来的研究可以探索如何让LLM学习人类玩家的高级技术,或者鼓励它进行自我探索。同时,减少幻觉的影响并将其应用于实际场景也是未来研究的重要课题。

总之,这项研究为LLM在复杂社交游戏中的角色扮演和决策能力提供了深入探索,也为未来的研究和应用奠定了基础。

资料:

[1] Gibbons R, Gibbons R. A primer in game theory[J]. 1992.

[2] Toriumi F, Osawa H, Inaba M, et al. AI wolf contest—development of game AI using collective intelligence—[C]//Computer Games: 5th Workshop on Computer Games, CGW 2016, and 5th Workshop on General Intelligence in Game-Playing Agents, GIGA 2016, Held in Conjunction with the 25th International Conference on Artificial Intelligence, IJCAI 2016, New York, USA, July 9-10, 2016, Revised Selected Papers 5. Springer International Publishing, 2017: 101-115.

[3] Osawa H, Toriumi F, Katagami D, et al. Designing protocol of werewolf game: protocol for inference and persuasion[J]. The 24th Fuzzy, Artificial Intelligence, Neural Networks and Computational Intelligence (FAN 2014), 2014.

[4] Hirata Y, Inaba M, Takahashi K, et al. Werewolf game modeling using action probabilities based on play log analysis[C]//Computers and Games: 9th International Conference, CG 2016, Leiden, The Netherlands, June 29–July 1, 2016, Revised Selected Papers 9. Springer International Publishing, 2016: 103-114.

[5] Shibata H, Miki S, Nakamura Y. Playing the Werewolf game with artificial intelligence for language understanding[J]. arXiv preprint arXiv:2302.10646, 2023.

[6] Meta Fundamental AI Research Diplomacy Team (FAIR)†, Bakhtin A, Brown N, et al. Human-level play in the game of Diplomacy by combining language models with strategic reasoning[J]. Science, 2022, 378(6624): 1067-1074.

[7] Kramár J, Eccles T, Gemp I, et al. Negotiation and honesty in artificial intelligence methods for the board game of Diplomacy[J]. Nature Communications, 2022, 13(1): 7214.

[8] Bubeck S, Chandrasekaran V, Eldan R, et al. Sparks of artificial general intelligence: Early experiments with gpt-4[J]. arXiv preprint arXiv:2303.12712, 2023.

[9] Shapira N, Levy M, Alavi S H, et al. Clever hans or neural theory of mind? stress testing social reasoning in large language models[J]. arXiv preprint arXiv:2305.14763, 2023.

[10] Kosinski M. Theory of mind may have spontaneously emerged in large language models[J]. arXiv preprint arXiv:2302.02083, 2023.

[11] Park J S, O'Brien J C, Cai C J, et al. Generative agents: Interactive simulacra of human behavior[J]. arXiv preprint arXiv:2304.03442, 2023.

[12] Fu Y, Peng H, Khot T, et al. Improving language model negotiation with self-play and in-context learning from ai feedback[J]. arXiv preprint arXiv:2305.10142, 2023.

[13] Liu R, Yang R, Jia C, et al. Training Socially Aligned Language Models in Simulated Human Society[J]. arXiv preprint arXiv:2305.16960, 2023.

[14] Xu Y, Wang S, Li P, et al. Exploring Large Language Models for Communication Games: An Empirical Study on Werewolf[J]. arXiv preprint arXiv:2309.04658, 2023.

追问nextquestion

121篇资讯

粉丝

“追问 Next Question”是天桥脑科学研究院(Tianqiao and Chrissy Chen Institute, TCCI)旗下科学媒体,专注于为泛脑科学研究者及跨学科专业人士提供具有启发性的科学资讯报道:科研就是不断探索问题的边界。

本文系作者 追问nextquestion 授权钛媒体发表,并经钛媒体编辑,转载请注明出处、作者和本文链接
本内容来源于钛媒体钛度号,文章内容仅供参考、交流、学习,不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里

敬原创,有钛度,得赞赏

赞赏支持
发表评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容
  • 在多次游戏过程中,ChatGPT会根据其他玩家的行为和结果来不断调整自己的策略

    回复 2023.09.25 · via h5
  • 它仍然无法完全理解和感知人类的情感和感性

    回复 2023.09.24 · via h5
  • ChatGPT已经能够理解和预测其他玩家的想法和行为

    回复 2023.09.24 · via pc

快报

更多

17:04

马来西亚交通部部长:将尽快恢复对MH370航班的搜索工作

17:02

英伟达或将再次进军游戏掌机市场:打造专属图形IP,不排除和英特尔合作

16:48

中国人民银行广东省分行行长张奎:关注商业银行法修订

16:47

广东证监局局长杨宗儒:今年将重点关注中长期资金入市等内容

16:33

刘结一:全国政协通过多种形式围绕大湾区建设协商议政

16:16

刘结一:助推民营经济是政协传统,将围绕清理拖欠企业欠款召开通报会

16:12

刘结一:将继续就经济领域重要问题开展形式多样的协商议政

16:08

全国政协发言人刘结一:中国经济长期向好态势将持续巩固和增强

16:06

通威集团董事局主席刘汉元:建议进一步加快我国多种储能建设

16:04

不想成为“食客”或“食物”,美国企业期待和中国进行更多合作

15:54

群众就业难、企业用工难?全国政协今年将推动解决结构性就业矛盾

15:50

双环传动:拟分拆子公司环动科技至科创板上市

15:48

全国政协今年将围绕人口高质量发展支撑中国式现代化等议题协商议政、建言献策

15:31

欧盟反垄断持续加长“看门人”名单,X、字节跳动等或面临欧盟更严监管

15:16

电信网络诈骗犯罪高发,检察机关2023年起诉5万余人

15:11

全国政协委员黄绵松:建议将农村生活污水治理纳入各级政府考核内容

15:09

乘联会崔东树:1月中国占世界新能源车份额66%

15:08

全国政协十四届二次会议4日下午开幕,会期6天

15:06

南向通美元存款短期利率达10%,预约开户抢购潮再起

15:05

吉利控股集团董事长李书福:2024年按照增长20%的规划安排生产和销售

49
3
15

扫描下载App