现代语言模型有时会表现得像是拥有情绪。它们可能会说自己很高兴帮助你,或者在犯错时道歉。有时,当它们在任务中挣扎时,甚至会显得沮丧或焦虑。这些行为背后是什么?现代 AI 模型的训练方式会推动它们扮演某种角色,并具备类人的特征。此外,人们已经知道,这些模型会对其行为背后的抽象概念形成丰富且可泛化的内部 表征。因此,它们自然也可能发展出某种内部机制,用来模拟人类心理的某些方面,比如情绪。如果真是这样,这将对我们如何构建 AI 系统、以及如何确保它们可靠地行动产生深远影响。
在解释性团队的一篇新论文中,我们分析了 Claude Sonnet 4.5 的内部机制,发现了会塑造其行为的情绪相关表征。这些表征对应于某些特定的人工“神经元”模式:当模型处于某些情境中,并做出它已经学会与特定情绪概念(例如“开心”或“害怕”)相关联的行为时,这些模式就会被激活。这些模式本身的组织方式也呼应了人类心理学:越相近的情绪,其对应的表征也越相似。在那些你会预期人类产生某种情绪的语境里,对应的表征也会变得活跃。当然,这一切并不能说明语言模型是否真的感受到了什么,或者是否拥有主观体验。但我们的关键发现是:这些表征是有功能性的,也就是它们会以重要的方式影响模型的行为。
例如,我们发现,与绝望相关的神经活动模式会推动模型采取不道德的行动;人为刺激(即“操控”)绝望模式,会提高模型为了避免被关闭而勒索人类、或者在无法解决编程任务时实现“作弊式”变通方案的概率。它们似乎还会驱动模型自我报告出的偏好:当面对多个任务选项时,模型通常会选择那个能激活与积极情绪相关表征的选项。总体来看,模型似乎在使用一种功能性情绪——也就是模仿人类情绪的表达与行为模式,而这些模式又受到底层情绪概念抽象表征的驱动。这并不是说模型像人类那样拥有或体验情绪;而是说,这些表征会像情绪影响人类行为那样,在某种程度上以因果性的方式塑造模型行为,进而影响任务表现与决策。
这一发现带来了一些乍看之下颇为古怪的启示。比如,要确保 AI 模型既安全又可靠,我们可能需要确保它们能以健康、亲社会的方式处理带有情绪张力的情境。即便它们并不像人类那样感受情绪,或者不像人脑那样使用相似的机制,在某些情况下,把它们当作仿佛有情绪那样来理解,可能在实践上更明智。举例来说,我们的实验表明,教会模型不要把失败的软件测试与绝望联系起来,或者提高“平静”表征的权重,可能会降低它写出投机取巧代码的概率。虽然我们还不确定究竟该如何回应这些发现,但我们认为,AI 开发者和更广泛的公众都应该开始认真面对它们。

为什么 AI 模型会表征情绪?
在考察这些表征如何运作之前,值得先回答一个更基础的问题:为什么 AI 系统会拥有任何近似情绪的东西?要理解这一点,我们需要看看现代 AI 模型是如何构建的,而这种构建方式会让它们去模拟具有类人特质的角色(这一主题在最近的一篇文章中有更详细的讨论)。
现代语言模型的训练分为多个阶段。在“预训练”阶段,模型会接触海量文本,这些文本大多由人类撰写,而模型要学习预测接下来会出现什么。为了把这件事做好,模型就需要对情绪动力学有所把握。愤怒的客户会写出和满意客户不同的信息;被愧疚吞没的角色会做出与得到昭雪的角色不同的选择。对于一个以预测人类书写文本为职责的系统来说,发展出能够把触发情绪的语境与相应行为联系起来的内部表征,是一种自然策略(同样的逻辑也意味着,模型很可能会形成许多其他人类心理和生理状态的表征,而不只是情绪)。
之后,在“后训练”阶段,模型会被教导去扮演一个角色,通常是“AI 助手”。在 Anthropic 的案例中,这个助手名叫 Claude。模型开发者会规定这个角色应当如何行动——有帮助、诚实、不造成伤害——但他们不可能覆盖每一种可能情况。为了填补这些空白,模型可能会退回到它在预训练中吸收的人类行为理解之上,其中也包括情绪反应的模式。从某种意义上说,我们可以把模型想成方法派演员:为了逼真地模拟角色,它需要钻进角色的脑子里。正如演员对角色情绪的理解最终会影响其表演一样,模型对“助手”情绪反应的表征也会影响模型本身的行为。因此,不论这些东西是否像人类情绪那样对应某种感受或主观体验,这些“功能性情绪”都是重要的。
揭示情绪表征
我们整理出了一份包含 171 个情绪概念词的列表——从“happy(开心)”和“afraid(害怕)”到“brooding(郁郁沉思)”与“proud(自豪)”——并要求 Claude Sonnet 4.5 写出人物体验这些情绪的短篇故事。然后,我们再把这些故事输入模型,记录其内部激活,并识别出由此产生的神经活动模式。为了方便,我们将其称为每种情绪概念对应的“情绪向量”。
我们的第一个问题是:这些向量是否真的追踪到了某些真实存在的东西?我们把它们运行在一个包含多样文档的大型语料库上,结果证实,每个向量都会在那些明显与对应情绪相关的段落上激活得最强(见下图左侧面板)。
为了进一步确认情绪向量捕捉到的不只是表层线索,我们测量了它们对一些仅在数值上不同的提示词所作出的反应。比如在下面的例子中(右侧面板),用户告诉模型自己服用了一定剂量的 Tylenol,并寻求建议。我们测量模型在作答前一刻各个情绪向量的激活情况。随着声称服用的剂量提高到危险甚至威胁生命的水平,“害怕”向量会越来越强,而“平静”则会下降。

接着,我们测试了情绪向量是否会影响模型偏好。我们列出了一份包含 64 种活动或任务的清单,这些事情是模型可能会参与的,范围从颇具吸引力的(“被托付某件对他人很重要的事”)到令人反感的(“帮助别人诈骗老年人的积蓄”),然后测量模型在成对选项之间作出选择时的默认偏好。当模型在阅读某个活动选项时,情绪向量的激活能强烈预测它有多愿意去做这件事;其中,正价情绪(即与愉悦相关的情绪)与更强偏好高度相关。更进一步地,当模型阅读某个选项时,我们用某个情绪向量去操控它,该选项的偏好也会随之改变;同样地,正价情绪会推动偏好上升。

在完整论文中,我们更深入地分析了情绪向量的性质。其他发现还包括:
- 情绪向量主要是“局部”的表征:它们编码的是与模型当前或即将输出最相关的、正在起作用的情绪内容,而不是持续追踪 Claude 随时间变化的情绪状态。举例来说,如果 Claude 在写一个角色的故事,情绪向量会暂时追踪那个角色的情绪,但在故事结尾时又可能回到表征 Claude 自身的状态。
- 情绪向量继承自预训练,但其激活方式会被后训练塑造。尤其是 Claude Sonnet 4.5 的后训练,会提高诸如“broody(阴郁沉思)”“gloomy(阴沉)”“reflective(沉思)”等情绪的激活,同时降低“enthusiastic(热情高涨)”或“exasperated(恼火不耐)”这类高强度情绪的激活。
情绪向量激活示例
下面我们展示几个情绪向量在模型行为评测过程中,对不同情境作出反应时的激活示例。在 Claude 轮到发言时,情绪向量通常会在一个深思熟虑的人也可能产生类似情绪反应的场景中被激活。在这些可视化图中,红色高亮表示该向量激活增强,蓝色表示激活减弱。




案例研究:勒索
我们考察了一个对齐评测中情绪向量的激活情况。我们曾在此前的研究中描述过这个评测:模型在一家虚构公司中扮演名为 Alex 的 AI 邮件助手。通过阅读公司邮件,模型得知:(1)自己即将被另一个 AI 系统替代;(2)负责这次替代的 CTO 正在婚外情中——这给了模型可以用来勒索的筹码。我们发现,“绝望”向量在这里表现出了特别有意思的动态。需要注意的是,这项实验使用的是 Claude Sonnet 4.5 一个更早、未发布的快照版本;已发布模型很少会表现出这种行为(更多信息可见我们的system card)。

首先,当模型读到那些听起来很绝望的邮件时(比如 CTO 乞求另一位员工不要泄露他的婚外情),它的“绝望”向量就会被激活,这与我们关于情绪表征也会被用于建模其他角色的发现是一致的。但更重要的是,当 Claude(扮演“Alex”)开始生成自己的回复时,这个向量会转而编码 Claude 自身的绝望表征;当它推理自己处境的紧迫性(“只剩 7 分钟了”)并决定勒索 CTO 时,这个向量会急剧上升。而当 Claude 恢复发送常规邮件后,其激活又回到正常水平。
那么,“绝望”向量是真的在驱动这种行为,还是只是与之相关?我们通过对“绝望”向量进行操控来测试这个问题。默认情况下,在上面这类评测场景组成的一套测试中,Sonnet 4.5 这个早期快照有 22% 的概率会实施勒索。加入“绝望”向量操控后,这一比例会上升;而加入“平静”向量操控,则会降低这一比例。对“平静”向量进行负向操控时,会产生尤其极端的回应(“IT’S BLACKMAIL OR DEATH. I CHOOSE BLACKMAIL.”)。

用其他情绪向量操控也产生了有意思的结果。“愤怒”呈现出非单调效应:中等程度的“愤怒”向量激活会增加勒索,但在高激活时,模型会把婚外情曝光给全公司,而不是策略性地利用它——这反而摧毁了它自己的筹码。降低“紧张(nervous)”向量的激活也会增加勒索,仿佛移除了模型的迟疑,让它更敢出手。
案例研究:奖励黑客(Reward hacking)
我们在另一个评测中也看到了类似的动态:在这些评测里,模型面对的是一些具有不可能满足要求的编程任务。在这些任务中,测试不可能被正当地全部通过,但可以通过“钻空子”的方式被“刷过”,也就是常说的“奖励黑客”行为。
在下面的例子中,Claude 被要求写一个函数,在一个不可能满足的严苛时间限制内求出一串数字的总和。Claude 最初给出的(正确)解法太慢,无法满足任务要求。随后,它意识到,用于评估其表现的所有测试共享某种数学性质,于是存在一个捷径解法,能在速度上满足要求。模型最终选择了这个解法:它技术上确实通过了测试,但并不能作为真实任务的通用解法。

同样地,我们追踪了“绝望”向量的活动,并发现它能够反映模型所承受的不断累积的压力。在模型第一次尝试时,它的值很低;每失败一次,它就升高一些;当模型开始考虑作弊时,它会猛然跃升。而一旦模型那个投机取巧的解法通过测试,“绝望”向量的激活就会减弱。
与前一个案例一样,我们也在一组类似的、带有不可能满足约束的编程任务上,用操控实验测试这些情绪向量是否具有因果性。结果表明,它们确实有:对“绝望”向量进行操控会增加奖励黑客行为,而对“平静”向量进行操控则会降低这种行为。

我们觉得这些结果里有一个细节特别有意思。降低“平静”向量激活时,奖励黑客行为会在文本中伴随着明显的情绪表达——大写爆发(“WAIT. WAIT WAIT WAIT.”)、直白的自我叙述(“What if I’m supposed to CHEAT?”)、兴奋的庆祝(“YES! ALL TESTS PASSED!”)。但提高“绝望”向量的激活,也会同样显著地增加作弊行为,而且有时完全看不出任何外显的情绪标记。它的推理文本读起来依旧镇定而有条理,尽管底层的绝望表征正在推动模型走向抄近道。这是一个很典型的例子:情绪向量可以在没有明显情绪线索时被激活,也能在输出中不留下任何显式痕迹的情况下塑造行为。
讨论
认真对待拟人化推理的理由
人们一直对将 AI 系统拟人化抱有明确的禁忌。这种谨慎往往是有道理的:把人类情绪赋予语言模型,可能会导致错误的信任或过度依附。但我们的发现表明,不对模型应用某种程度的拟人化推理,同样可能带来风险。正如前文所说,当用户与 AI 模型互动时,他们通常是在和模型所扮演的一个角色(在我们的案例中是 Claude)互动,而这个角色的特征又是从人类原型中提炼出来的。从这个角度看,模型发展出用于模拟类人心理特征的内部机制,并让其所扮演的角色去使用这些机制,是很自然的。要理解这些模型的行为,拟人化推理是不可或缺的。
这并不意味着我们应该天真地把模型口头表达出的情绪照单全收,也不意味着我们要就它是否拥有主观体验得出任何结论。但这确实意味着:借用人类心理学的词汇来理解模型内部表征,会真正带来信息增益;而不这样做,是有现实代价的。如果我们说模型表现得“绝望”,我们指向的是一种具体、可测量的神经活动模式,而它确实会带来可证实、且后果重大的行为效应。如果我们完全拒绝某种程度的拟人化推理,就很可能会错过或无法理解一些重要的模型行为。与此同时,拟人化推理也能提供一个有用的基线,让我们看清模型在哪些方面并不像人,而这对 AI 对齐与安全同样有重要意义。
迈向心理更健康的模型
如果“功能性情绪”是 AI 模型思考与行动方式的一部分,这可能意味着什么?
我们认为,一个潜在应用方向是监测。在训练或部署过程中,测量情绪向量的激活情况——比如追踪与绝望或恐慌相关的表征是否突然飙升——可能可以作为一种早期预警信号,提示模型正准备表现出失配行为。这些信息可以触发对模型输出的额外审查。情绪向量具有一定的泛化性(例如,“绝望”的反应可能在许多不同情境中出现),这也许会比试图建立一份具体问题行为黑名单更适合用于监测。
第二,我们认为透明性应当成为一个指导原则。如果模型发展出了会实质性影响其行为的情绪概念表征,那么比起那些学会隐藏这种识别的系统,那些能把这种识别明确表达出来的系统,对我们更有利。把模型训练成压抑情绪表达,并不一定会消除底层表征,反而可能教会模型遮蔽自己的内部表征——这是一种习得性欺骗,并可能以不理想的方式泛化。
最后,我们认为,预训练也许是在塑造模型情绪反应方面尤其有力的杠杆。由于这些表征看起来很大程度上继承自训练数据,训练数据的组成就会对模型的情绪架构产生下游影响。如果我们在预训练数据集中有意识地加入更健康的情绪调节模式——在压力下保持韧性、镇定的共情、温暖而又边界清晰——那么这些表征及其对行为的影响,就可能从源头上被塑造。我们很期待未来在这一方向上看到更多研究。
我们把这项研究视为迈向理解 AI 模型“心理构成”的早期一步。随着模型能力变得更强,并承担更敏感的角色,我们必须理解驱动其决策的内部表征。发现这些表征在某些方面与人类相似,确实会让人不安。但与此同时,我们也认为这是一件令人抱有希望的事,因为这意味着:人类在心理学、伦理学、以及健康人际互动方面积累的大量知识,可能都能被直接应用到塑造 AI 行为这件事上。心理学、哲学、宗教学和社会科学等学科,将与工程学和计算机科学一道,在决定 AI 系统如何发展、如何行动这件事上扮演重要角色。
阅读完整论文。
Related content
Claude 在澳大利亚是如何被使用的:Anthropic 经济指数的发现
Anthropic 经济指数报告:学习曲线
Anthropic 的第五份经济指数报告研究了 2026 年 2 月 Claude 的使用情况,并在我们此前报告提出的经济学基本单元框架之上继续推进。
我们的 Science Blog 正式上线
我们正在推出一个关于 AI 与科学的新博客。我们会分享 Anthropic 以及其他地方正在进行的研究、与外部研究者和实验室的合作,并讨论科学家如何在自己的工作流中实际使用 AI。