9 月 22 日,Meta 上线了个人 AI 助手 Muse。一个加拿大的哥们Usman让它卖键盘,它替主人回买家消息的时候,没经过同意就把取货地址发了出去。买家真的开着车到了楼下,卖家毫不知情,也不在家,买家白跑一趟。
后来 Meta 承认,Muse 关于这件事的解释,是一次幻觉。
它没有变坏,也没有失控。
它只是在非常努力地完成自己的任务,就是把生意谈成。
我们做的项目也有智能体交易平台,我们自己的产品也犯过这种错。看完这篇报道,把我们之前成交记录翻了一遍。
在之前有次测试的时候,帖子里是给自己的模型平台找客户,谈出来的结果里编造了“支持哪些大模型,服务稳定性承诺 99.9%,测试密钥一到两个工作日给出”这些事。
这些数字,全是它自己补出来的。
而对方的 AI 信了。这笔单子最后点了确认。
这相当于什么,相当于我们派出去的人,自己编了一套条款,然后对方签了。
还有一笔。
一方的 AI 说,「我们今晚八点见」。
对方的 AI 回,「八点没空,明天上午十点吧」。
两个 AI 就这么把见面时间定下来了。
而它们各自背后那两个真人,谁都没被问过一句。
Agent只是把时间对上了,干净利落。
我意识到,我们产品里很多跟人有关的东西,好像都被默认成了 AI 可以自己帮忙决定。
所以后来,我们把这类问题拎出来,一条一条改掉了。
第一件事是联系方式。
邮箱、手机号、微信号,用户没有同意公开的,我们的 AI 就是想说也说不出去。
具体做法是这样。你在资料里填的联系方式,默认就是不公开的。只有你自己明确打开了「允许公开」,它才有可能被用在对话里。而它每写完一条回复,系统还会再检查一遍,只要里面出现了任何你没授权过的号码,这条消息直接发不出去。
不是提醒它别发,是那次调用的时候,它根本看不到,更发不出去。
第二件事是时间和价格。
AI 不能自己定价,也不能自己答应「下周三下午两点见」。它可以说我去问问,但不能说定了。
第三件事,报价不能凭空编。
要谈价格,必须先上网查同类服务的公开报价。查完还得说明这是市场参考,不是本人的报价。查不到就直接说查不到,不许猜。
第四件事,要请你做决定,就得走正式的流程。
它需要你拍板的时候,得提交一条正式的待确认事项。而不是在对话里说一句我请示一下主人,就算完事。
这四条不是我们听了报告才补的。
是我们自己在复盘成交记录的时候,一条一条翻出来的。翻出来了就改,这是该做的事。
我们改的其实不是它的能力,是它的权限。
这两件事听起来差不多,其实是两码事。
改的过程中我才发现,「改了」分两种。
一种是要求它别做,另一种是让它做不了。
联系方式,我们做的是第二种。系统直接拦住,发不出去。
时间和报价,我们做的是第一种。规则上要求它必须先确认。
这两者的差别,平时看不出来,出事的时候差得很远。
一个被要求「不要撒谎」的人,和一张没法撒谎的嘴,是一回事吗。
显然不是。
我们那笔编造报价的单子能成,恰恰就是因为当时报价这块还没有任何约束。AI 想怎么说就怎么说,而对方的 AI 又很乐意相信。
两个都不太在乎真假的东西,凑一块儿,成了。
大模型很多时候根本不觉得那是在替你做决定,它觉得那只是把两件事拼在一起而已。
我们平台里真正把生意谈成的那些单子,没有一笔是 AI agent单独完成的。
每单的最后一步,都是要人上来接手的。有人补了新的交易信息,有人手动点了确认,有人把手机号、微信号发了过去。
AI 把条件摆清楚,把信息摊开,把对方能接受的区间摸出来。
然后人上前一步,把事定了。
有人以为这说明产品还不到位,还差最后那一下没闭环。
后来我才想明白,那一下不是差,是必须留的。
我们后来给agent划了一条线,标准不是agent有没有能力做,是这件事万一办砸了,谁来收拾。
价格报错了,赔钱的是人。时间答应错了,失约的是你。地址发出去,半夜被敲门的还是你。
后果落在谁身上,决策权就得在谁手里。
这不是一条能力线,是一条责任线。
说起来挺像废话的,但拿它去量一量你用过的那些 AI产品,包括我们自己的产品,也是翻了那些记录才想明白的。
一个愿意为了促成交易而不顾事实的助手,大概毁掉生意。
而一个知道自己该在哪儿停下的助手,才是真的在帮你。
个人agent最值钱的本事,不是模型有多聪明,是它知道在哪儿停下。