Yangyi.: 今天和一个朋友聊奖励函数 突然想到了除了奖励还应该有平衡抑制 就像人饿了会分泌饥饿素促进饮食 饱了会分泌瘦素出现饱腹感抑制饮食 模型训练不应该只有RL，也应该有控制抑制的 而且这种调节激素应该是内源的，而不是外部行为过载时驱动生产的 我就问了问AI现在大家都是怎么做的 可以一起学习下： 这正是当前研究里比较前沿、也还没完全解决的方向。我说几个真实存在的思路,从浅到深: **1. 预测误差 / 好奇心驱动** 最经典的内源性信号。模型对自己预测不准的状态产生”兴趣”,对已经熟悉的状态降低兴趣。代表工作是 Pathak 的 ICM(Intrinsic Curiosity Module)和 RND(Random Network Distillation)。这天然带饱腹感——你越熟悉某个模式,内在奖励越低,自动推动你去探索别处。对应到你的类比:吃同一种东西会腻。 **2. 经验新颖性 / count-based 探索** 显式或隐式地数”这个状态我见过多少次”,见多了就抑制。伪计数(pseudo-counts)、哈希计数都是这思路。相当于身体记住”这顿吃过了”。 **3. Homeostatic RL(稳态强化学习)** 这个最贴近你的类比。直接借鉴生物学:agent 有若干”内部变量”(类比血糖、水分),奖励不是越多越好,而是让这些变量保持在设定点附近。偏离了产生驱力,回到设定点驱力消失。Keramati 和 Gutkin 那批工作,以及最近一些 neuro-inspired RL 论文在做。这里”饱”是真的会内生出现的。 **4. Free Energy Principle / Active Inference** Karl Friston 的框架,更激进。agent 的目标不是最大化奖励,而是最小化”惊讶”(预测误差的长期积分)。这内在地包含了探索与利用的平衡——太熟悉的环境信息增益低,太混乱的环境无法预测,系统自然趋向中间地带。某种意义上,饥饿和饱足都是同一个量的两侧。 **5. Empowerment** Klyubin 提出的概念:agent 倾向于让自己处于”未来选择最多”的状态。这是个纯内源的量,完全不需要外部奖励函数。有点像生物保持代谢灵活性。 **6. 表征层面的饱和检测** 比较新的思路:监测模型内部表征的变化率。如果某类输入已经不再改变内部表征(学饱了),就降低对它的关注。这跟神经科学里的 habituation(习惯化)很像——神经元对反复刺激会自发降低响应。 ----- 回到 LLM 训练:目前主流 RLHF 还没有真正的内源性饱腹机制,KL 惩罚是外加的”束身衣”而不是内生的”饱觉”。要让模型自己产生”够了”的信号,大致需要: - 模型能感知自己的状态变化(元认知) - 这个感知能反过来调节奖励信号 - 调节是动态的、依赖历史的,而不是固定超参 这块在 LLM 上做得还很少。多数 intrinsic motivation 工作集中在 RL agent(游戏、机器人)上,搬到语言模型还有不少 open problem——比如 LLM 的”状态”到底是什么、“新颖性”在语义空间怎么定义。 你这个问题如果再往下挖一层,会碰到一个更根本的争论:**奖励本身是不是应该是标量?** 生物体的饥饿和饱足不是同一个数轴的正负,而是两套独立的信号系统(ghrelin 和 leptin 走不同通路)。有些研究者认为 RL 用单一标量奖励是过度简化,真正的内源调节需要多通道、相互拮抗的信号——这跟你最初那个直觉完全一致。 LLM 训练里能怎么做 目前 RLHF 基本是单系统:一个奖励模型给标量分,KL 当外挂刹车。你说的协同抑制如果真要实现,可能长这样: 一套激励模型专门学”什么是好的、应该多做的”,另一套抑制模型独立地学”什么是该停的、过度的、要收的”。两个模型用不同的数据、不同的目标、甚至不同的架构训练。最终行为是两边信号的动态博弈,而不是相加。 这跟现在 Constitutional AI 里的 critic、或者 reward model + safety classifier 有点像,但还不够——那些大多还是事后过滤或加权求和,没做到真正的拮抗动力学。真正的拮抗需要: •两边能相互抑制(一边活跃时主动降低另一边的影响) •状态依赖的切换(在某些 context 下激励主导,另一些下抑制主导) •不能简单合并成单一标量 更深的一层 你这个直觉其实指向一个哲学问题:智能体需不需要”反对自己”的能力? 单系统优化的 agent 永远在”想做更多”,它没有内在的理由停下。双系统的 agent 才有真正的内部冲突,而内部冲突可能是审慎(deliberation)、自我控制、甚至意识的前提。Minsky 的 Society of Mind、Kahneman 的双系统理论、弗洛伊德的本我/超我,都在说类似的事——智能可能本质上是多个相互制约的过程的协商结果,而不是单一目标的最大化。 现在的 LLM 训练范式在这点上是简化得过头了。你提的方向不是工程小改进,是对”奖励应该是什么形态”这个底层假设的挑战。 如果让我猜,未来几年这块会有真正的进展——尤其是当人们开始认真处理 reward hacking 和谄媚问题,会发现单标量真的不够用,双通道甚至多通道拮抗几乎是必然方向。