A/B Experiment

分层实验

• 分层实验：召回、粗排、精排、重排、用户界面、广告…(例如GNN召回通道属于召回层。)
• 同层互斥：GNN实验占了召回层的4个桶，其他召回实验只能用剩余的6个桶
• 不同层正交：每一层独立随机对用户做分桶。每一层都可以独立用100%的用户做实验。

互斥VS正交

• 如果所有实验都正交’则可以同时做无数组实验·
• 同类的策略（例如精排模型的两种结构)天然互斥，对于一个用户’只能用其中一种。
• 同类的策略（例如添加两条召回通道)效果会相互增强（1+1>2)或相互抵消（1+1<2)。互斥可以避免同类策略相互干扰。
• 不同类型的策略（例如添加召回通道、优化粗排模型）通常不会相互千扰（1+1=2)，可以作为正交的两层

Holdout机制

• 每个实验（召回、粗排、精排、重排)独立汇报对业务指标的提升。
• 公司考察一个部门（比如推荐系统）在一段时间内对业务指标总体的提升。
• 取10%的用户作为holdout桶，推荐系统使用剩余90%的用户做实验’两者互斥。

实验推全、实验反转