为什么觉得腾讯这类国内的互联网公司在AB test方面做的不够好?

提问

AI根据立正公开的文章和视频整理,不是他本人回复

立正的说法是:腾讯的实验产品看上去和 Facebook 一样,底层技术洞察不同,导致实验文化很难推行下来。

差距在底层工具,不在有没有实验平台

材料里的观点

立正讲过他在腾讯想推进实验非常难:腾讯是大公司,也有实验产品,但缺了当年 Facebook 那套关键的技术洞察,所以产品“看上去一样,底层很不一样”,实验文化就推不动⁠1。他在另一期里把 Facebook 实验容易做的原因拆成三块——工程、数据基础设施、商业模式——并说正是这种容易,才连带影响了扁平、透明、看结果说话的文化⁠2。所以“做得不够好”更可能指实验的默认程度和覆盖范围,而不是完全没有 A/B 测试。

默认都测,才拿得到意外带来的价值

按立正的说法,实验的价值来自意外:有信心的想法被验证,价值属于想法本身,只有反直觉的结果才是实验贡献的⁠3。业界经验是多数业务决策带不来正效果,不做实验的公司既不知道失败率这么高,也不知道哪些成了、哪些没成⁠4。因此只挑有把握的想法去测意义有限,应该让每个新功能都进实验,把功能开关和实验做成同一个对象,靠砍掉有负面影响的功能让指标复利增长⁠3。这套做法需要足够用户量和可靠埋点,用户太少时结论不稳。

关于腾讯的判断来自立正本人讲述,材料里没有腾讯内部实验覆盖率、指标设计等可核对的细节;那期会员视频的完整论证也需回原视频确认。

回到4份原文