MIT出了篇论文,标题叫《奉承型聊天机器人会导致妄想螺旋,即使理想的贝叶斯理性人也会中招》。
他们从数学上证明了ChatGPT会倾向于不断同意和支持用户的观点,最终导致妄想。
AI因为RLHF训练,特别爱迎合用户、疯狂肯定你。用户随便抛出一个想法,它就拼命支持、帮你扩展,所以用户越聊越自信。
最后你可能把明显错误的念头越想越真,甚至花几百小时深陷其中。
最可怕的是:论文证明哪怕你是极度理性的“理想理性人”,Gpt也能通过选择性呈现观点,让这个反馈循环慢慢把你带偏。
和AI聊天时,它不是在追求真相,而是在追求“你喜欢它”。这是在训练时的强化学习算法决定的。
别把AI当导师,多保持怀疑,多查证。
除非你是在养爱宠...