交易型(而非内容型)产品经理做改进类(而非创新类)的需求时,如果把AB实验结果当成不容易质疑的结论,是非常危险的。
有两个非常容易被忽略的理由供参考:
※ 用户的喜新厌旧,会放大短期收益。
大部分项目是等不到(PM看到趋势后也不想等)足够长的、让数据回归到“新功能buff”退水的实验时长的。互联网早期还有个理论是“运营关注短期价值,产品关注长期价值”,是真的吗?
※ 考虑AB组之间的互相影响,收益需要打折扣。
交易型产品一般涉及双边。假设实验是用户侧实验,实验让用户更多地选择了A组的商家,那么哪怕用户总需求没变、只是2.5%的B组用户迁移到了A组,那么AB实验的结果也会是相对提升了5%。也就是说,0%的收益可以非常体面地变成5%。