AB测试相关知识

知识点

1. 实验设计过程：
   1. 确定业务所需的metric
   2. 设置baseline的数据以及最低提升期望（5%）
   3. 调用power analysis计算所需样本
   4. 根据历史样本采集量，估算采集的时间
   5. 在数据进来的过程中，随机分配到对照组和实验组
   6. 对于比例型指标，可以使用Z检验。如果对于平均值类的指标，可以使用t检验。。
2. power analysis
   主要绘制power和sample size的曲线从而得到所需power，如80%所需要的sample size。

• 样本量(sample size)
• 效应量(effect size)
• 显著性水平(significance level)
• 效力(power)
  以上因素只要知道3个即可推出剩下的一个。

3. 举个例子比如计算转化率的显著性：

• 确定用户数量，计算转化率及对比情况
• 设计原假设和备择假设，分析数据结果(原假设一般为想要拒绝的假设)
  $$H_0:P_{new}-P_{old}\le 0$$
  $$H_1:P_{new}-P_{old}>0$$
• 计算统计量Z：
  $$z=\frac{P_{new}-P_{old}}{\sqrt{\frac{P_{new}(1-P_{new})}{n_{new}}+\frac{P_{old}(1-P_{old})}{n_{old}}}}$$
• 查表可得p值从而得出结论

4. 相关概念：

• 显著性水平(significance level)：是估计总体参数落在某一区间内，可能犯错误的概率。$\alpha$，也是第一类错误
• 置信度/置信水平(statistical significance)：$1-\alpha$
• p值：计算原假设时犯错误的概率。p小于$\alpha$则拒绝原假设
• 置信区间：$[\mu -z\ast \sigma ,\mu +z\ast \sigma ]$
• 样本量(sample size)：研究使用的样本量
• 效果大小(effect size)：计算实验中观察到的效果大小的标准化方法
• 功效(power)：$1-\beta$，$\beta$为第二类错误。当你确定结果存在显著性差异时正确的概率。

5. 检验选择

• Proportions：Z检验(click rate, conversion rate, response rate)
• Mean: t检验(rev,cost,operation times)

6. AA实验：在AB测试前为了验证人群相似性，可以将人群分为5个组，随机选取两组验证指标是否相近。
7. 一些参考。

• https://zhuanlan.zhihu.com/p/47480430
• https://mp.weixin.qq.com/s/IdlqK3oPtF8tBdo_0xzBHA
• https://zhuanlan.zhihu.com/p/134085246
• https://www.evanmiller.org/ab-testing/chi-squared.html
• https://cloud.tencent.com/developer/article/2012979
• https://zhuanlan.zhihu.com/p/325773972

8. PowerAnalysis全计算公式研究。