两比例Z-t检验

两比例Z-t检验是AB测试方法论中最基础、应用最广泛的统计检验方法，适用于二分类指标的比较。

适用场景

• 指标类型：二分类指标（如转化率、点击率、购买率等）
• 样本要求：样本量较大
• 分布特征：正常流量实验，符合正态分布假设

数学原理

两比例Z检验基于以下数学假设与推导：

基本原理

对于样本量为 $n_A$ 和 $n_B$ 的两组数据，观察到的成功比例为 $p_A$ 和 $p_B$：

$Z=\frac{p_A-p_B}{\sqrt{p(1-p)(\frac{1}{n_A}+\frac{1}{n_B})}}$

其中 $p=\frac{成功总数}{n_A+n_B}$ 是合并比例。

关键假设

1. 样本独立性 - A/B两组样本相互独立
2. 大样本 - $n_A\cdot p_A$, $n_A\cdot (1-p_A)$, $n_B\cdot p_B$, $n_B\cdot (1-p_B)$ 均大于5
3. 随机抽样 - 样本通过随机分流与试验设计随机分配

实际操作步骤

1. 假设设定

   • 零假设H₀: $p_A=p_B$（两组比例无差异）
   • 备择假设H₁: $p_A\ne p_B$（两组比例有差异）

2. 样本量计算

   • 基于预期最小可检测差异(MDE)
   • 考虑所需的统计功效（通常为80%）
   • 显著性水平α（通常为0.05）

3. 结果解读

   • 计算Z统计量和对应的p值
   • 若p值 < α，则拒绝零假设，认为差异显著
   • 计算效应大小与置信区间

优缺点分析

优势

• 计算简单，易于实现
• 结果直观，易于解释
• 适用于大多数互联网场景的转化率类指标

局限性

• 依赖大样本假设，小样本时不准确
• 假设数据服从正态分布
• 不适合复杂指标（如均值、分布异常的指标）
• 对异常值敏感

改进方向

对于两比例Z检验的局限性，可考虑：

• 样本量不足时，使用贝叶斯-Beta-Binomial-AB检验
• 有强相关预测量时，使用Cuped-AB检验结合CUPED方法
• 分布异常时，考虑Mann-Whitney U_非参数方法

实际应用案例

在用户增长与营销优化方法论中，两比例Z检验常用于：

• 广告点击率(CTR)优化实验
• 注册流程转化率测试
• 购买按钮设计变更效果评估
• AB回流闭环与迭代优化中的基础验证

代码实现示例

# Python实现两比例Z检验
from statsmodels.stats.proportion import proportions_ztest
 
# 假设数据
count = [success_A, success_B]  # 两组成功数
nobs = [n_A, n_B]  # 两组样本量
 
# 执行检验
stat, pvalue = proportions_ztest(count, nobs)
 
# 判断结果
alpha = 0.05
if pvalue < alpha:
    print("存在统计显著差异")
else:
    print("无统计显著差异")

两比例Z检验是AB测试入门的首选方法，掌握其应用场景和局限性，对于正确开展用户增长与营销优化方法论中的实验至关重要。